Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Les CAPTCHA arrêtent-ils les bots ou les ralentissent-ils simplement ? Mesurer la dissuasion face au taux de résolution
Ce que deux décennies de recherche nous apprennent sur les CAPTCHA : combien de temps ils coûtent aux humains, à quelle fréquence les bots et les agents IA les résolvent, et pourquoi ils fonctionnent désormais comme un coût.
Surveillance des prix d'intérêt public : collecter des preuves qui résistent à l'examen
Comment les groupes de consommateurs, les journalistes et les équipes de conformité surveillent les prix pour vérifier les allégations de réduction, et comment collecter des preuves qu'un détaillant ne peut pas écarter.
Ce que votre équipe juridique demandera avant d'approuver un projet de scraping
Les questions que les équipes juridiques et de conformité posent avant de valider une collecte de données web, pourquoi elles les posent, et à quoi ressemble une bonne réponse.
Vérifier la cohérence NAP sur les annuaires locaux
Une entreprise référencée avec un ancien numéro de téléphone ou une ancienne adresse sur une douzaine d'annuaires sème la confusion chez les clients et les moteurs de recherche. Comment auditer les données NAP et corriger ce qui compte.
Quand vous n'avez pas besoin d'un proxy residentiel
Nous avons recupere 30 sites publics depuis une IP de datacenter et via des sorties residentielles. Plus de la moitie ne necessitaient aucun proxy. Comment identifier le type de site auquel vous avez affaire.
Tester les scrapers : fixtures, replay et suites de régression
Les scrapers cassent quand les sites changent, et les tests qui ciblent le site en direct cassent avec eux. Comment tester un scraper avec des fixtures enregistrées, du replay et des canaris quotidiens.
Votre scraper est lent et ce n'est probablement pas le proxy
Nous avons accéléré un scraper fonctionnant via des proxys résidentiels 7,5 fois sans toucher au proxy. Comment trouver où le temps est réellement perdu, et y remédier.
Efficacité de la charge utile : quelle part d'une page scrapée est du code répétitif que vous avez payé
Nous avons mesuré 278 pages de contenu parmi les 1 000 premiers sites. Le texte que vous voulez représente environ 1% du HTML et une infime part de ce qu'un navigateur télécharge.