Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Tester les scrapers : fixtures, replay et suites de régression
Les scrapers cassent quand les sites changent, et les tests qui ciblent le site en direct cassent avec eux. Comment tester un scraper avec des fixtures enregistrées, du replay et des canaris quotidiens.
Chris Collins · 9 octobre 2026 Votre scraper est lent et ce n'est probablement pas le proxy
Nous avons accéléré un scraper fonctionnant via des proxys résidentiels 7,5 fois sans toucher au proxy. Comment trouver où le temps est réellement perdu, et y remédier.
Matt Brown · 8 octobre 2026 Efficacité de la charge utile : quelle part d'une page scrapée est du code répétitif que vous avez payé
Nous avons mesuré 278 pages de contenu parmi les 1 000 premiers sites. Le texte que vous voulez représente environ 1% du HTML et une infime part de ce qu'un navigateur télécharge.
Elena Petrova · 8 octobre 2026 Qui bloque les robots d'exploration IA ? GPTBot, ClaudeBot et consorts sur les 10 000 premiers sites
Nous avons lu le fichier robots.txt des 10 000 premiers domaines. Un site sur cinq bloque au moins un robot d'exploration IA, tandis que presque tous accueillent encore les moteurs de recherche.
Chris Collins · 6 octobre 2026 Le coût d'un User-Agent obsolète : mesurer le décalage des versions de navigateur
Les scrapers codent souvent en dur une version de navigateur et l'oublient. Nous avons interrogé 397 sites majeurs en déclarant des versions de Chrome vieilles de jusqu'à 6,5 ans. Les refus ont augmenté chaque année.
Chris Collins · 5 octobre 2026 Votre cible est-elle bloquable ? Une recherche de pile anti-bot
Avant de créer un scraper, découvrez ce qui protège la cible. Nous avons vérifié les 1 000 principaux domaines : quels fournisseurs anti-bot ils utilisent et comment un client standard s'en est sorti.
Chris Collins · 3 octobre 2026 La sélection de proxy comme problème de bandit manchot
Quelle configuration de proxy la prochaine requête doit-elle utiliser ? Traitez cela comme un problème de bandit. Dans notre simulation, la sélection adaptative s'est approchée à 2% près de la solution optimale a posteriori.
James Meadow · 2 octobre 2026 Concevoir des scrapers idempotents : redémarrer sans dupliquer
Les scrapers plantent. Nous en avons tué un dix fois en plein crawl : une version naïve stockait jusqu'à 4,3 fois plus de lignes, une version idempotente exactement 500. Comment construire la seconde.
Chris Collins · 2 octobre 2026