ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
スクレイパーのテスト:フィクスチャ、リプレイ、回帰テストスイート
スクレイパーはサイトの変更によって壊れ、本番サイトにアクセスするテストも一緒に壊れます。記録したフィクスチャ、リプレイ、デイリーカナリアを使ってスクレイパーをテストする方法。
Chris Collins · 2026年10月9日 あなたのスクレイパーが遅いのは、おそらくプロキシのせいではない
レジデンシャルプロキシ経由で動作するスクレイパーを、プロキシに手を加えることなく7.5倍高速化しました。時間が本当にどこで失われているかを見つけ、修正する方法を紹介します。
Matt Brown · 2026年10月8日 ペイロード効率:スクレイピングしたページのうち、費用を払って取得した定型文はどれくらいの割合か
上位1,000サイトから278件のコンテンツページを測定した。欲しいテキストはHTMLの約1%にすぎず、ブラウザがダウンロードするデータ全体の中ではごくわずかな割合にとどまる。
Elena Petrova · 2026年10月8日 AIクローラーを拒否しているのは誰か? 上位1万サイトにおけるGPTBot、ClaudeBotなどの実態
上位1万ドメインのrobots.txtを調査した。5サイトに1つは少なくとも1つのAIクローラーをブロックしている一方、検索エンジンはほぼすべてのサイトで引き続き許可されている。
Chris Collins · 2026年10月6日 古いユーザーエージェントのコスト:ブラウザバージョンのドリフトを測定する
スクレイパーはブラウザバージョンをハードコードしたまま放置することが多い。我々は最大6.5年前のChromeバージョンを名乗り、上位397サイトにリクエストを送った。拒否率は年数が経つごとに上昇した。
Chris Collins · 2026年10月5日 あなたのターゲットはブロック可能か?アンチボットスタック検索
スクレイパーを構築する前に、ターゲットが何に守られているかを確認しましょう。上位1,000ドメインを調査し、使用されているアンチボットベンダーと、素のクライアントでの結果を確認しました。
Chris Collins · 2026年10月3日 多腕バンディット問題としてのプロキシ選択
次のリクエストはどのプロキシ設定を使うべきか。これをバンディット問題として扱う。シミュレーションでは、適応的選択は完全な事後最適解の2%以内に収まった。
James Meadow · 2026年10月2日 べき等なスクレイパーの設計:重複なしで再開する
スクレイパーはクラッシュする。クロール中に10回落としてみた結果、素朴な実装は最大4.3倍の行数を保存し、べき等な実装は正確に500件だった。後者を作る方法。
Chris Collins · 2026年10月2日