ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
サブネットの伝染：1つのブロックされたIPが隣接IPを汚染する仕組み
ブロックリストやレピュテーションシステムは、しばしばIPをその隣接IPによって判断する。レンジ単位のブロッキングとその被害、そしてそれを見抜く方法について、研究が示す内容とは。
James Meadow · 2026年9月23日 サイレント失敗率:成功したリクエストのうち、誤ったコンテンツを返す割合とは
HTTP 200は、目的のページを取得できたことを意味しません。ブロックページ、ソフト404、そして成功の裏に隠れたチャレンジについて調査結果が示す内容と、自分自身で測定する方法を解説します。
Chris Collins · 2026年9月23日 ターゲットヘルススコアの構築:サイトが自分に敵対し始めたことを知る
サイトがクローラーを一度でブロックすることは稀だ。まずチャレンジを課し、ソフトブロックを行い、速度を落とす。これらの信号をサイトごとに1つのスコアへ変換し、行動に移す方法。
Matt Brown · 2026年9月22日 コストを意識したクロールスケジューリング:変化のある場所に予算を使う
再クロール予算の大半は、何も変わっていないことを確認するために使われている。コスト当たりの期待値でスケジューリングする方法、そして最も速く変化するページが必ずしも最良の投資先ではない理由。
James Meadow · 2026年9月22日 分散クローラにおけるバックプレッシャーとフロー制御
クローラはパイプラインであり、最も速いステージが最も遅いステージを溢れさせる。有限キュー、プル型ワークとホスト単位の適応的制限がクローラを安定させる仕組み。
Chris Collins · 2026年9月22日 CI/CDでスクレイパーを実行する:プロキシ認証情報、シークレット、テスト実行
プッシュごとにプロキシ認証情報を漏洩させたり帯域を消費したりせずにCIでスクレイパーを実行する方法:シークレット管理、テストの階層分け、セッション、クォータチェック、ローテーション。
Chris Collins · 2026年9月21日 SEOツールは実際の検索ボリュームを報告しているのか? 3つのベンダーとSERPの実態を比較
Keyword Planner、SemrushおよびAhrefsはそれぞれ検索ボリュームの推定方法が異なる。独自テストで判明したこと、そして数値よりもライブのSERPが重要な理由。
Matt Brown · 2026年9月21日 最もジオブロックされる国はどこか、そして誰によって
制裁対象国はジオブロックのあらゆる測定基準で上位を占めるが、それが全てではない。誰が誰をブロックしているのか、その調査結果が示す内容とは。
James Meadow · 2026年9月21日 市場別広告量:国ごとに見る、ページ内の広告が占める割合
国別のページバイト数に占める広告バイト数の割合を公表したデータはこれまで存在しなかった。ここでは、実際に得られるデータが示す内容と、Chromeによって本当の答えが得られるようになった理由を紹介する。
Matt Brown · 2026年9月20日