Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Zeichenkodierungen in gescrapten Daten: Zeichensätze erkennen und Mojibake beheben
Wir haben 193 Top-Startseiten in sechs Ländern abgerufen. Ein gängiger Python-Standard hat den Text von 37 davon verstümmelt. Wie man gescrapte Seiten so dekodiert wie Browser es tun.
Chris Collins · 1. Oktober 2026 Die Rohantwort behalten: Gescrapte Seiten im WARC-Format für die Wiedergabe archivieren
Parser werden besser und Extraktoren brechen, aber eine Seite, die nicht gespeichert wurde, kann nicht erneut geparst werden. Wie man Rohantworten im WARC-Format speichert, mit getestetem Code und realen Größenangaben.
Matt Brown · 1. Oktober 2026 Normalisierung von Preisen, Zahlen und Daten über verschiedene Sprachräume hinweg
1.234,56 € und $1,234.56 sind beides Preise, und 03/04/2026 ist zwei verschiedene Daten. So werden gescrapte Werte je nach Sprachraum korrekt geparst, mit getestetem Code.
James Meadow · 30. September 2026 Die API hinter der Seite finden: Datenerfassung aus JSON-Endpunkten statt HTML
Viele Seiten laden ihre Daten als JSON. Wie man den Endpunkt findet, der die Daten enthält, warum er oft an die Sitzung der Seite gebunden ist und wie man sie verantwortungsvoll erfasst.
Chris Collins · 30. September 2026 Vorstellung von IP Info: Eine kostenlose IP-Geolokalisierungs-API, kein API-Schlüssel erforderlich
IP Info ist Shifters kostenlose IP-Geolokalisierungs- und ASN-API. Sie läuft auf derselben Datenbank, die auch hinter unseren Proxy-Pools steht, benötigt keine Anmeldung oder API-Schlüssel und ist bereit für KI-Agenten.
James Meadow · 29. September 2026 Schema Drift in gescrapten Daten: Defekte Extraktoren erkennen, bevor es Ihre Nutzer tun
Scraper stürzen selten ab, wenn sich eine Website ändert. Sie laufen weiter und liefern subtil falsche Daten. Wie Data Contracts und Batch-Profiling Drift frühzeitig erkennen.
Matt Brown · 29. September 2026 Sitemaps als Entdeckungsquelle: Jede URL finden, ohne die gesamte Website zu crawlen
XML-Sitemaps listen die URLs einer Website auf, manchmal auch, wann sie geändert wurden. Wie man sie richtig liest und warum man lastmod niemals ohne Überprüfung vertrauen sollte.
James Meadow · 29. September 2026 LLM-Extraktion vs. Selektoren: Wann man ein Modell die Seite lesen lässt
Wir haben ein großes Sprachmodell Felder aus 18 aktiven Nachrichtenseiten extrahieren lassen und es anhand der eigenen strukturierten Daten der Seiten bewertet. Genauigkeit, Kosten und wann man es einsetzen sollte.
Chris Collins · 28. September 2026 Deduplizierung gescrapter Daten: Entity Resolution für Produkte, Unternehmen und Anzeigen
Dasselbe Produkt, Unternehmen oder dieselbe Anzeige taucht über Quellen und Durchläufe hinweg mehrfach auf. Wie man Identifikatoren normalisiert, sicher in großem Maßstab abgleicht und einen sauberen Datensatz erhält.
Matt Brown · 28. September 2026