ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
スクレイピングデータのスキーマドリフト:ユーザーより先に壊れた抽出処理を検知する
サイトが変更されても、スクレイパーはめったにクラッシュしません。動き続けたまま、微妙に間違ったデータを返し続けます。データコントラクトとバッチプロファイリングがどのようにドリフトを早期に検知するかを解説します。
Matt Brown · 2026年9月29日 スクレイピングデータの重複排除:製品・企業・掲載情報のためのエンティティ解決
同じ製品、企業、掲載情報が複数のソースや実行にまたがって何度も現れる。識別子を正規化し、大規模に安全にマッチングを行い、1つのクリーンなレコードを維持する方法。
Matt Brown · 2026年9月28日 クリーンレコード当たりのコスト:財務部門が実際に理解できるスクレイピング指標
ギガバイト数やリクエスト数は、データにかかるコストを財務部門に伝えるものではありません。クリーンレコード当たり、そして有用な変更当たりのコストをどう測定するか、そしてどのレバーが最も大きく影響するか。
James Meadow · 2026年9月27日 robots.txt、AIオプトアウト、予約シグナル:2026年にウェブデータ収集者が尊重すべきもの
robots.txtはEUで法的な重みを持つようになり、新しいAIシグナルが広がりつつある。それぞれが何を意味し、AIクローラーが何を尊重し、データチームがどう対応すべきかを解説する。
James Meadow · 2026年9月26日 ブランドがオンラインの模倣品リスティングから法廷対応可能な証拠を構築する方法
模倣品リスティングを見つけるのは簡単だ。しかし後でそれを証明するのは容易ではない。法廷で通用するリスティング証拠を取得し、ハッシュ化し、タイムスタンプを付与し、保全する方法。
Chris Collins · 2026年9月25日 ESGに関する主張を公開されたウェブ証拠で検証する
グリーン・クレームに関するEUの新規則は2026年9月27日から適用される。持続可能性に関する主張を公開証拠と照合して確認し、変化を追跡するための実践的な方法。
Matt Brown · 2026年9月25日 サプライヤーの公開情報を監視する:実践的な収集方法
サプライヤーリスクは、通常、監査に届く前に公開情報として現れます。制裁リスト、登記情報、ウェブサイト、地元ニュースを監視するための段階的な方法。
James Meadow · 2026年9月25日 航空会社やホテルは出発国によって異なる料金を提示するのか?実際に確認してみた
6カ国のレジデンシャルIPを使って、同じRyanairの運賃とBooking.comのホテル料金を読み込んでみた。何が変わり、何が変わらず、そして何にアクセスできなかったのか。
Chris Collins · 2026年9月24日 平日、週末、祝日:ブロック率はカレンダーとともにどう動くか
スクレイパーのブロック率を曜日別に公開している例はない。ボット、祝日、ピークイベントのデータが示す変動の理由と、自分自身のカレンダーで測定する方法。
Matt Brown · 2026年9月24日