Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Testing von Scrapern: Fixtures, Replay und Regressions-Suiten
Scraper brechen, wenn sich Websites ändern, und Tests, die die Live-Website aufrufen, brechen mit ihnen. So testet man einen Scraper mit aufgezeichneten Fixtures, Replay und täglichen Canaries.
Chris Collins · 9. Oktober 2026 Ihr Scraper ist langsam, und wahrscheinlich liegt es nicht am Proxy
Wir haben einen Scraper, der über Residential Proxys läuft, um das 7,5-fache beschleunigt, ohne den Proxy anzufassen. Wie man herausfindet, wo die Zeit wirklich verloren geht, und das behebt.
Matt Brown · 8. Oktober 2026 Payload-Effizienz: Welcher Anteil einer gescrapten Seite ist Boilerplate, für die Sie bezahlt haben
Wir haben 278 Inhaltsseiten der Top-1.000-Websites gemessen. Der Text, den Sie wollen, macht etwa 1% des HTML aus und einen winzigen Anteil dessen, was ein Browser herunterlädt.
Elena Petrova · 8. Oktober 2026 Wer blockiert die KI-Crawler? GPTBot, ClaudeBot und Co. bei den Top 10.000 Websites
Wir haben die robots.txt der Top 10.000 Domains ausgelesen. Jede fünfte Website blockiert mindestens einen KI-Crawler, während fast alle Suchmaschinen weiterhin willkommen heißen.
Chris Collins · 6. Oktober 2026 Die Kosten eines veralteten User-Agents: Messung der Browser-Versionsdrift
Scraper hinterlegen oft eine feste Browser-Version und vergessen sie. Wir riefen 397 Top-Websites auf und gaben dabei Chrome-Versionen von bis zu 6,5 Jahren Alter an. Die Ablehnungsrate stieg mit jedem Jahr.
Chris Collins · 5. Oktober 2026 Ist Ihr Ziel blockierbar? Ein Anti-Bot-Stack-Lookup
Bevor Sie einen Scraper bauen, finden Sie heraus, was das Ziel schützt. Wir haben die Top 1.000 Domains geprüft: welche Anti-Bot-Anbieter sie nutzen und wie sich ein einfacher Client geschlagen hat.
Chris Collins · 3. Oktober 2026 Proxy-Auswahl als Multi-Armed-Bandit-Problem
Welche Proxy-Konfiguration sollte die nächste Anfrage verwenden? Betrachten Sie es als Bandit-Problem. In unserer Simulation kam die adaptive Auswahl bis auf 2% an die perfekte Rückschau heran.
James Meadow · 2. Oktober 2026 Idempotente Scraper entwerfen: Neustart ohne Duplizierung
Scraper stürzen ab. Wir haben einen zehnmal mitten im Crawl abgebrochen: Eine naive Version speicherte bis zu 4,3-mal so viele Zeilen, eine idempotente genau 500. So baut man die zweite.
Chris Collins · 2. Oktober 2026