ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
国別に見る同意ウォール:ウェブが最も読みにくい場所はどこか
同意バナー、拒否ウォール、pay-or-okay画面は均等に分布しているわけではない。31カ国のクロール調査から、ウェブへのアクセスが最も難しい場所が見えてくる。
Chris Collins · 2026年9月20日 各サイトの企業口コミと評価を監視する方法
企業口コミは応募者の判断に影響する。口コミサイト全体の評価やテーマを監視し、競合他社をベンチマークし、各サイトのルールを遵守する方法。
James Meadow · 2026年9月19日 レイオフと労働力の変化をリアルタイムで追跡する方法
レイオフは見出しになる前と後に、公開された兆候の痕跡を残す。WARN通知、届出書類、ニュース、採用データを組み合わせて、信頼できるイベントフィードを構築する方法。
Matt Brown · 2026年9月19日 プロキシ経由のライブWebデータでLLMエージェントをグラウンディングする
グラウンディングは、エージェントの回答を引用可能なソースに結び付けます。グラウンディングとは何か、ライブWebグラウンディングループがどのように機能するか、そしてそれが静かに壊れる箇所について。
James Meadow · 2026年9月18日 オープンウェブから大規模トレーニングデータセットを構築する方法
ページを収集すること自体は簡単な部分にすぎません。オープンウェブのクロールをトレーニングコーパスに変える方法として、フロンティア、オプトアウト、抽出、フィルタリング、重複排除、汚染除去について解説します。
Matt Brown · 2026年9月18日 ウェブデータセット内のAI生成コンテンツを検出・フィルタリングする方法
単独でAI生成テキストを確実に見抜ける検出器は存在しない。MLチームがプロベナンス、ソース、重複、統計的シグナルを組み合わせてウェブデータセットをフィルタリングする方法。
Chris Collins · 2026年9月18日 コンタクトおよび企業エンリッチメント:データソース+プロキシインフラストラクチャ
データエンリッチメントは、すでに保有しているレコードのギャップを埋めます。各エンリッチメントタイプに必要なもの、データの出所、そしてプロキシインフラストラクチャが果たす役割について解説します。
James Meadow · 2026年9月17日 Webスクレイピングによる B2Bリードデータベースの構築(コンプライアンス対応かつスケーラブルに)
リードデータベースとは、メールアドレスのリストではなく、連絡先が紐づいたアカウントモデルである。コンプライアンスをスキーマに組み込みながら、公開情報源から構築する方法を解説する。
Chris Collins · 2026年9月17日 ダークウェブとペーストサイトを監視して漏洩認証情報を発見する方法
認証情報の漏洩の大半は、隠されたマーケットではなくペーストサイトや公開チャンネルに現れます。それらを監視し、発見した情報をトリアージし、法の範囲内にとどまる方法を解説します。
James Meadow · 2026年9月16日