ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
古いユーザーエージェントのコスト:ブラウザバージョンのドリフトを測定する
スクレイパーはブラウザバージョンをハードコードしたまま放置することが多い。我々は最大6.5年前のChromeバージョンを名乗り、上位397サイトにリクエストを送った。拒否率は年数が経つごとに上昇した。
Chris Collins · 2026年10月5日 企業データ収集ポリシーの書き方:実用テンプレート
ウェブデータを収集するほとんどのチームには、そのための明文化されたルールがありません。適用範囲、承認、収集元、個人データ、削除対応をカバーする実用的なポリシーテンプレートです。
Matt Brown · 2026年10月4日 市場横断のアクセシビリティ監査：各国のユーザーが実際に目にするものをテストする
米国のホームページの監査結果は、ドイツや日本のページについてはほとんど何も語らない。私たちは4カ国の23のサイトを監査したところ、4分の1がその市場固有の問題を抱えていた。
James Meadow · 2026年10月4日 あなたのターゲットはブロック可能か?アンチボットスタック検索
スクレイパーを構築する前に、ターゲットが何に守られているかを確認しましょう。上位1,000ドメインを調査し、使用されているアンチボットベンダーと、素のクライアントでの結果を確認しました。
Chris Collins · 2026年10月3日 レート・パリティ監視:自社在庫のアンダーカットを見つける
自社の客室が他のチャネルでより安く表示されると、ホテルは直接予約を失います。誤検知を避けながら、チャネルや市場をまたいでレート・パリティを監視する方法。
Matt Brown · 2026年10月3日 多腕バンディット問題としてのプロキシ選択
次のリクエストはどのプロキシ設定を使うべきか。これをバンディット問題として扱う。シミュレーションでは、適応的選択は完全な事後最適解の2%以内に収まった。
James Meadow · 2026年10月2日 べき等なスクレイパーの設計:重複なしで再開する
スクレイパーはクラッシュする。クロール中に10回落としてみた結果、素朴な実装は最大4.3倍の行数を保存し、べき等な実装は正確に500件だった。後者を作る方法。
Chris Collins · 2026年10月2日 偽レビューとレビュー詐欺を大規模に検出する方法
偽レビューは米国、英国、EUで禁止されており、プラットフォームは数億件を削除している。多数の製品にわたってレビュー詐欺を検出する方法を、テスト済みのコードとともに解説する。
Matt Brown · 2026年10月2日 hreflangを使ってページのすべての言語・国別バージョンを見つける方法
hreflangはページのローカライズされたすべてのバージョンを一覧化します。主要サイトがこれをどう使っているか、何が壊れているか、そして一部のバージョンが特定の国内からしか開けない理由を調査しました。
James Meadow · 2026年10月1日