ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
クリーンレコード当たりのコスト:財務部門が実際に理解できるスクレイピング指標
ギガバイト数やリクエスト数は、データにかかるコストを財務部門に伝えるものではありません。クリーンレコード当たり、そして有用な変更当たりのコストをどう測定するか、そしてどのレバーが最も大きく影響するか。
James Meadow · 2026年9月27日 大規模な変更検知：ノイズに埋もれずにWebページの差分を取る方法
広告、タイムスタンプ、トークンなど、Webページは読み込むたびに変化する。正規化、フィールド単位の差分、simhashを使って本当の変更をノイズと区別する方法を、テスト済みコードとともに解説する。
Chris Collins · 2026年9月27日 HTMLのパース作業を終わらせる:JSON-LDと埋め込みデータから構造化データを抽出する方法
ほとんどのページには、すでに機械可読なデータが存在する。壊れやすいセレクタの代わりにJSON-LDや埋め込みJSONを抽出する方法、そしてそれが不完全な場合の対処法について。
Matt Brown · 2026年9月26日 robots.txt、AIオプトアウト、予約シグナル:2026年にウェブデータ収集者が尊重すべきもの
robots.txtはEUで法的な重みを持つようになり、新しいAIシグナルが広がりつつある。それぞれが何を意味し、AIクローラーが何を尊重し、データチームがどう対応すべきかを解説する。
James Meadow · 2026年9月26日 ブランドがオンラインの模倣品リスティングから法廷対応可能な証拠を構築する方法
模倣品リスティングを見つけるのは簡単だ。しかし後でそれを証明するのは容易ではない。法廷で通用するリスティング証拠を取得し、ハッシュ化し、タイムスタンプを付与し、保全する方法。
Chris Collins · 2026年9月25日 ESGに関する主張を公開されたウェブ証拠で検証する
グリーン・クレームに関するEUの新規則は2026年9月27日から適用される。持続可能性に関する主張を公開証拠と照合して確認し、変化を追跡するための実践的な方法。
Matt Brown · 2026年9月25日 サプライヤーの公開情報を監視する:実践的な収集方法
サプライヤーリスクは、通常、監査に届く前に公開情報として現れます。制裁リスト、登記情報、ウェブサイト、地元ニュースを監視するための段階的な方法。
James Meadow · 2026年9月25日 航空会社やホテルは出発国によって異なる料金を提示するのか?実際に確認してみた
6カ国のレジデンシャルIPを使って、同じRyanairの運賃とBooking.comのホテル料金を読み込んでみた。何が変わり、何が変わらず、そして何にアクセスできなかったのか。
Chris Collins · 2026年9月24日 平日、週末、祝日:ブロック率はカレンダーとともにどう動くか
スクレイパーのブロック率を曜日別に公開している例はない。ボット、祝日、ピークイベントのデータが示す変動の理由と、自分自身のカレンダーで測定する方法。
Matt Brown · 2026年9月24日