Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Die Kosten eines veralteten User-Agents: Messung der Browser-Versionsdrift
Scraper hinterlegen oft eine feste Browser-Version und vergessen sie. Wir riefen 397 Top-Websites auf und gaben dabei Chrome-Versionen von bis zu 6,5 Jahren Alter an. Die Ablehnungsrate stieg mit jedem Jahr.
Eine Richtlinie zur Unternehmensdatenerfassung verfassen: Eine praxistaugliche Vorlage
Die meisten Teams, die Webdaten erfassen, haben dafür keine schriftlichen Regeln. Eine praxistaugliche Vorlage: Umfang, Freigaben, Quellen, personenbezogene Daten und Löschanfragen.
Barrierefreiheitsprüfung über Märkte hinweg: Testen, was Nutzer in jedem Land tatsächlich sehen
Eine Prüfung Ihrer US-Startseite sagt wenig über Ihre deutsche oder japanische aus. Wir haben 23 Websites aus vier Ländern geprüft: Ein Viertel hatte marktspezifische Probleme.
Ist Ihr Ziel blockierbar? Ein Anti-Bot-Stack-Lookup
Bevor Sie einen Scraper bauen, finden Sie heraus, was das Ziel schützt. Wir haben die Top 1.000 Domains geprüft: welche Anti-Bot-Anbieter sie nutzen und wie sich ein einfacher Client geschlagen hat.
Ratenparitätsüberwachung: Wenn das eigene Inventar unterboten wird
Hotels verlieren Direktbuchungen, wenn ihre eigenen Zimmer anderswo günstiger erscheinen. So überwachen Sie die Ratenparität über Kanäle und Märkte hinweg, ohne Fehlalarme.
Proxy-Auswahl als Multi-Armed-Bandit-Problem
Welche Proxy-Konfiguration sollte die nächste Anfrage verwenden? Betrachten Sie es als Bandit-Problem. In unserer Simulation kam die adaptive Auswahl bis auf 2% an die perfekte Rückschau heran.
Idempotente Scraper entwerfen: Neustart ohne Duplizierung
Scraper stürzen ab. Wir haben einen zehnmal mitten im Crawl abgebrochen: Eine naive Version speicherte bis zu 4,3-mal so viele Zeilen, eine idempotente genau 500. So baut man die zweite.
Wie man gefälschte Bewertungen und Bewertungsbetrug im großen Maßstab erkennt
Gefälschte Bewertungen sind in den USA, Großbritannien und der EU verboten, und Plattformen entfernen Hunderte Millionen davon. Wie man Bewertungsbetrug bei vielen Produkten erkennt, mit getestetem Code.
Mit hreflang jede Sprach- und Länderversion einer Seite finden
hreflang listet jede lokalisierte Version einer Seite auf. Wir haben untersucht, wie Top-Websites es nutzen, was dabei nicht funktioniert und warum manche Versionen sich nur aus einem Land heraus öffnen lassen.