Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Idempotente Scraper entwerfen: Neustart ohne Duplizierung
Scraper stürzen ab. Wir haben einen zehnmal mitten im Crawl abgebrochen: Eine naive Version speicherte bis zu 4,3-mal so viele Zeilen, eine idempotente genau 500. So baut man die zweite.
Chris Collins · 2. Oktober 2026 Zeichenkodierungen in gescrapten Daten: Zeichensätze erkennen und Mojibake beheben
Wir haben 193 Top-Startseiten in sechs Ländern abgerufen. Ein gängiger Python-Standard hat den Text von 37 davon verstümmelt. Wie man gescrapte Seiten so dekodiert wie Browser es tun.
Chris Collins · 1. Oktober 2026 Die Rohantwort behalten: Gescrapte Seiten im WARC-Format für die Wiedergabe archivieren
Parser werden besser und Extraktoren brechen, aber eine Seite, die nicht gespeichert wurde, kann nicht erneut geparst werden. Wie man Rohantworten im WARC-Format speichert, mit getestetem Code und realen Größenangaben.
Matt Brown · 1. Oktober 2026 Die API hinter der Seite finden: Datenerfassung aus JSON-Endpunkten statt HTML
Viele Seiten laden ihre Daten als JSON. Wie man den Endpunkt findet, der die Daten enthält, warum er oft an die Sitzung der Seite gebunden ist und wie man sie verantwortungsvoll erfasst.
Chris Collins · 30. September 2026 Sitemaps als Entdeckungsquelle: Jede URL finden, ohne die gesamte Website zu crawlen
XML-Sitemaps listen die URLs einer Website auf, manchmal auch, wann sie geändert wurden. Wie man sie richtig liest und warum man lastmod niemals ohne Überprüfung vertrauen sollte.
James Meadow · 29. September 2026 LLM-Extraktion vs. Selektoren: Wann man ein Modell die Seite lesen lässt
Wir haben ein großes Sprachmodell Felder aus 18 aktiven Nachrichtenseiten extrahieren lassen und es anhand der eigenen strukturierten Daten der Seiten bewertet. Genauigkeit, Kosten und wann man es einsetzen sollte.
Chris Collins · 28. September 2026 Änderungserkennung im großen Maßstab: Webseiten vergleichen, ohne im Rauschen zu ertrinken
Seiten ändern sich bei jedem Laden: Werbung, Zeitstempel, Tokens. Wie man echte Änderungen vom Rauschen unterscheidet, mit Normalisierung, feldbasierten Diffs und Simhash, inklusive getestetem Code.
Chris Collins · 27. September 2026 Schluss mit HTML-Parsing: Strukturierte Daten aus JSON-LD und eingebetteten Daten extrahieren
Die meisten Seiten enthalten bereits maschinenlesbare Daten. Wie man JSON-LD und eingebettetes JSON extrahiert statt sich auf brüchige Selektoren zu verlassen, und was zu tun ist, wenn die Daten unvollständig sind.
Matt Brown · 26. September 2026 Aufbau eines Target Health Score: Erkennen, dass sich eine Website gegen Sie wendet
Websites blockieren einen Crawler selten in einem Schritt. Sie fordern zunächst heraus, blockieren sanft und verlangsamen. Wie man diese Signale in einen Score pro Website verwandelt und danach handelt.
Matt Brown · 22. September 2026