ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
スクレイピングデータの文字エンコーディング: 文字コードの検出と文字化けの修正
6カ国の上位ホームページ193件を取得した。一般的なPythonのデフォルト設定により、そのうち37件のテキストが文字化けした。ブラウザと同じ方法でスクレイピングしたページをデコードする方法。
Chris Collins · 2026年10月1日 生のレスポンスを残す: スクレイピングしたページをWARCでリプレイ用にアーカイブする
パーサーは改善され、エクストラクターは壊れるが、保存していなかったページは再度パースできない。WARCで生のレスポンスを保存する方法を、検証済みのコードと実際のサイズとともに解説する。
Matt Brown · 2026年10月1日 ロケール間での価格、数値、日付の正規化
1.234,56 €と$1,234.56はどちらも価格であり、03/04/2026は2つの異なる日付を表します。ロケールごとにスクレイピングした値を正しく解析する方法を、テスト済みのコードとともに解説します。
James Meadow · 2026年9月30日 ページの裏にあるAPIを見つける: HTMLではなくJSONエンドポイントから収集する
多くのページはデータをJSONとして読み込みます。それを運ぶエンドポイントの見つけ方、それがページのセッションに紐づいていることが多い理由、そして責任を持って収集する方法について。
Chris Collins · 2026年9月30日 IP Infoのご紹介:APIキー不要の無料IPジオロケーションAPI
IP Infoは、Shifterが提供する無料のIPジオロケーション・ASN APIです。当社のプロキシプールを支える同じデータベース上で動作し、サインアップやAPIキーは不要で、AIエージェントにも対応しています。
James Meadow · 2026年9月29日 スクレイピングデータのスキーマドリフト:ユーザーより先に壊れた抽出処理を検知する
サイトが変更されても、スクレイパーはめったにクラッシュしません。動き続けたまま、微妙に間違ったデータを返し続けます。データコントラクトとバッチプロファイリングがどのようにドリフトを早期に検知するかを解説します。
Matt Brown · 2026年9月29日 発見ソースとしてのサイトマップ:サイト全体をクロールせずにすべてのURLを見つける方法
XMLサイトマップはサイトのURL一覧を示し、変更日時が含まれることもあります。それを正しく読み取る方法と、lastmodを確認せずに信用してはいけない理由。
James Meadow · 2026年9月29日 LLM抽出 vs セレクター: モデルにページを読ませるべき時
大規模言語モデルに18の実際のニュースページからフィールドを抽出させ、各ページ自身の構造化データと照合してスコアを算出しました。精度、コスト、そして使うべき場面について。
Chris Collins · 2026年9月28日 スクレイピングデータの重複排除:製品・企業・掲載情報のためのエンティティ解決
同じ製品、企業、掲載情報が複数のソースや実行にまたがって何度も現れる。識別子を正規化し、大規模に安全にマッチングを行い、1つのクリーンなレコードを維持する方法。
Matt Brown · 2026年9月28日