ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
サブネットの伝染:1つのブロックされたIPが隣接IPを汚染する仕組み
ブロックリストやレピュテーションシステムは、しばしばIPをその隣接IPによって判断する。レンジ単位のブロッキングとその被害、そしてそれを見抜く方法について、研究が示す内容とは。
サイレント失敗率:成功したリクエストのうち、誤ったコンテンツを返す割合とは
HTTP 200は、目的のページを取得できたことを意味しません。ブロックページ、ソフト404、そして成功の裏に隠れたチャレンジについて調査結果が示す内容と、自分自身で測定する方法を解説します。
SEOツールは実際の検索ボリュームを報告しているのか? 3つのベンダーとSERPの実態を比較
Keyword Planner、SemrushおよびAhrefsはそれぞれ検索ボリュームの推定方法が異なる。独自テストで判明したこと、そして数値よりもライブのSERPが重要な理由。
最もジオブロックされる国はどこか、そして誰によって
制裁対象国はジオブロックのあらゆる測定基準で上位を占めるが、それが全てではない。誰が誰をブロックしているのか、その調査結果が示す内容とは。
市場別広告量:国ごとに見る、ページ内の広告が占める割合
国別のページバイト数に占める広告バイト数の割合を公表したデータはこれまで存在しなかった。ここでは、実際に得られるデータが示す内容と、Chromeによって本当の答えが得られるようになった理由を紹介する。
国別に見る同意ウォール:ウェブが最も読みにくい場所はどこか
同意バナー、拒否ウォール、pay-or-okay画面は均等に分布しているわけではない。31カ国のクロール調査から、ウェブへのアクセスが最も難しい場所が見えてくる。
レイオフと労働力の変化をリアルタイムで追跡する方法
レイオフは見出しになる前と後に、公開された兆候の痕跡を残す。WARN通知、届出書類、ニュース、採用データを組み合わせて、信頼できるイベントフィードを構築する方法。
プロキシ経由のライブWebデータでLLMエージェントをグラウンディングする
グラウンディングは、エージェントの回答を引用可能なソースに結び付けます。グラウンディングとは何か、ライブWebグラウンディングループがどのように機能するか、そしてそれが静かに壊れる箇所について。
ウェブデータセット内のAI生成コンテンツを検出・フィルタリングする方法
単独でAI生成テキストを確実に見抜ける検出器は存在しない。MLチームがプロベナンス、ソース、重複、統計的シグナルを組み合わせてウェブデータセットをフィルタリングする方法。