ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
CAPTCHAは本当にボットを止めるのか、それとも遅らせるだけなのか? 抑止力と解読率の測定
CAPTCHAに関する20年間の研究が示すこと。人間が費やす時間、ボットやAIエージェントが解読する頻度、そしてCAPTCHAが今やコストとして機能する理由。
公益目的の価格モニタリング:精査に耐える証拠を収集する
消費者団体、ジャーナリスト、コンプライアンスチームが割引表示を検証するために価格をどのように監視し、小売業者が反論できない証拠をどのように収集するか。
スクレイピングプロジェクトを承認する前に法務チームが尋ねること
法務・コンプライアンスチームがウェブデータ収集を承認する前に尋ねる質問、それらが尋ねられる理由、そして良い回答がどのようなものかについて。
ローカルディレクトリ全体でのNAP一貫性の監査
複数のディレクトリに古い電話番号や住所が掲載されているビジネスは、顧客や検索エンジンを混乱させます。NAPデータを監査し、重要な点を修正する方法。
レジデンシャルプロキシが不要な場合
30の公開サイトに対し、データセンターIPとレジデンシャルの出口経由でアクセスした。半数以上はプロキシを全く必要としなかった。どちらの種類のサイトかを見分ける方法。
スクレイパーのテスト:フィクスチャ、リプレイ、回帰テストスイート
スクレイパーはサイトの変更によって壊れ、本番サイトにアクセスするテストも一緒に壊れます。記録したフィクスチャ、リプレイ、デイリーカナリアを使ってスクレイパーをテストする方法。
あなたのスクレイパーが遅いのは、おそらくプロキシのせいではない
レジデンシャルプロキシ経由で動作するスクレイパーを、プロキシに手を加えることなく7.5倍高速化しました。時間が本当にどこで失われているかを見つけ、修正する方法を紹介します。
ペイロード効率:スクレイピングしたページのうち、費用を払って取得した定型文はどれくらいの割合か
上位1,000サイトから278件のコンテンツページを測定した。欲しいテキストはHTMLの約1%にすぎず、ブラウザがダウンロードするデータ全体の中ではごくわずかな割合にとどまる。