ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
CAPTCHAは本当にボットを止めるのか、それとも遅らせるだけなのか? 抑止力と解読率の測定
CAPTCHAに関する20年間の研究が示すこと。人間が費やす時間、ボットやAIエージェントが解読する頻度、そしてCAPTCHAが今やコストとして機能する理由。
公益目的の価格モニタリング:精査に耐える証拠を収集する
消費者団体、ジャーナリスト、コンプライアンスチームが割引表示を検証するために価格をどのように監視し、小売業者が反論できない証拠をどのように収集するか。
スクレイピングプロジェクトを承認する前に法務チームが尋ねること
法務・コンプライアンスチームがウェブデータ収集を承認する前に尋ねる質問、それらが尋ねられる理由、そして良い回答がどのようなものかについて。
ローカルディレクトリ全体でのNAP一貫性の監査
複数のディレクトリに古い電話番号や住所が掲載されているビジネスは、顧客や検索エンジンを混乱させます。NAPデータを監査し、重要な点を修正する方法。
オンライン価格は実際どれほど速く変動するのか?ボラティリティ調査
小売サイトからマーケットプレイスのBuy Boxまで、オンライン価格がどれほどの頻度で変わるかについて公開研究が示す内容と、それが監視頻度に意味することについて
スクレイピングしたデータの所有者は誰か:権利、ライセンス、再販できるもの
ウェブデータを収集しても、その所有者になるわけではない。スクレイピングしたデータセットにはどのような権利が存在し、何をライセンス供与または再販でき、何が他者のものであり続けるのか。
ジオグリッドランク追跡:ブロックごとにローカルランキングを測定する
ローカルビジネスには単一のGoogleランキングは存在しない:数ブロックごとに変化する。ジオグリッドで測定し、指標を読み取り、マップ上で対応する方法。
学術研究のためのウェブデータ収集:再現性、倫理審査、スクレイピングデータセットの引用方法 | Shifter
スクレイピングデータは今や研究において一般的になっているが、再現、審査、引用が難しいことが多い。査読や倫理委員会の審査、再利用に耐えるウェブデータを収集する方法とは。