ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
Puppeteerでレジデンシャルプロキシを使う方法(page.authenticateを含む)
Puppeteerにおけるプロキシ: プロキシはlaunch argsで指定し、認証情報はpage.authenticateで渡し、1つのゲートウェイを通じてページ単位でジオローテーションを行い、リソースをブロックする。
Chris Collins · 2026年8月5日 スクレイピングパイプラインの監視: データが壊れる前に異常を教えてくれる指標
スクレイパーは静かに失敗する。cronは動き、ログは200を返し、それでもデータは間違っている。それを役員会議室ではなくパイプラインの中で捉える指標とアラート。
Chris Collins · 2026年8月4日 2026年におけるWebスクレイピングの現状
AIによってデータ収集は戦略的なものとなり、アンチボット対策はネットワークレベルへと移行し、ブロックは見えないものとなり、価格設定は帯域幅ベースへとシフトした。2026年におけるWebスクレイピングの現状を見る。
James Meadow · 2026年8月3日 C#でHttpClientを使ってレジデンシャルプロキシを利用する方法
C#におけるプロキシ:NetworkCredentialを使ったWebProxy、SocketsHttpHandlerとPooledConnectionLifetime、IHttpClientFactory、そしてジオローテーション用のID別クライアント
Chris Collins · 2026年8月2日 自前構築か購入か:スクレイピング基盤は自社で運用すべきか
デモ用のスクレイパーを作るのは半日仕事だ。しかしそれをスケールさせて運用するのはプロダクトそのものになる。何を自社で構築し、何を購入し、そしてどの層だけは常に借りるべきかを判断するためのフレームワーク。
Chris Collins · 2026年8月1日 サイトが偽のコンテンツやブロックされたコンテンツを表示しているかを見分ける方法
危険なスクレイピングの失敗は目に見える403ではなく、ゴミデータで満たされた200 OKである。ソフトブロック、ハニーポット、汚染されたデータを検出する方法
Chris Collins · 2026年7月31日 自動ウォレットチャージ機能の導入
しきい値とチャージ額を設定すれば、Shifterウォレットが自動的にチャージされるため、使用量に応じた課金でプロキシが停止することはありません。月間上限の設定も、いつでもオフにすることも可能です。
James Meadow · 2026年7月30日 Node.jsでAxiosとGotを使ってレジデンシャルプロキシを利用する方法
Node.jsにおけるプロキシ: Axiosでhttps-proxy-agentとproxy:falseが必要な理由、Gotのagentオプション、fetch用のundiciのProxyAgent、リクエストごとのジオローテーション。
Chris Collins · 2026年7月29日 Kubernetesでレジデンシャルプロキシのスクレイピング作業をスケールする方法
Kubernetes上でスクレイピングを実行する: プロキシ認証情報をSecretsとして管理し、Downward APIでPodごとのセッションIDを付与し、キュー駆動のオートスケーリングとグレースフルシャットダウンを行う。
Chris Collins · 2026年7月28日