Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Testando Scrapers: Fixtures, Replay e Suítes de Regressão
Scrapers quebram quando os sites mudam, e os testes que acessam o site ao vivo quebram junto. Como testar um scraper com fixtures gravadas, replay e canaries diários.
Chris Collins · 9 de outubro de 2026 Seu Scraper Está Lento e Provavelmente Não É o Proxy
Aceleramos um scraper rodando por proxies residenciais 7,5 vezes sem mexer no proxy. Como descobrir para onde o tempo realmente vai, e corrigir isso.
Matt Brown · 8 de outubro de 2026 Eficiência de Payload: Qual Parcela de uma Página Raspada É Boilerplate Pelo Qual Você Pagou
Medimos 278 páginas de conteúdo dos 1.000 principais sites. O texto que você quer é cerca de 1% do HTML e uma fração minúscula do que um navegador baixa.
Elena Petrova · 8 de outubro de 2026 Quem Bloqueia os Crawlers de IA? GPTBot, ClaudeBot e Companhia nos 10.000 Maiores Sites
Lemos o robots.txt dos 10.000 maiores domínios. Um site em cada cinco bloqueia pelo menos um crawler de IA, enquanto quase todos ainda recebem bem os mecanismos de busca.
Chris Collins · 6 de outubro de 2026 O Custo de um User-Agent Desatualizado: Medindo a Defasagem de Versão do Navegador
Scrapers geralmente fixam uma versão de navegador no código e se esquecem dela. Fizemos requisições a 397 sites importantes informando versões do Chrome de até 6.5 anos atrás. As recusas aumentaram a cada ano.
Chris Collins · 5 de outubro de 2026 Seu Alvo Pode Ser Bloqueado? Uma Consulta à Stack Anti-Bot
Antes de criar um scraper, descubra o que protege o alvo. Verificamos os 1.000 principais domínios: quais fornecedores anti-bot eles usam e como um cliente simples se saiu.
Chris Collins · 3 de outubro de 2026 Seleção de Proxy como um Problema de Multi-Armed Bandit
Qual configuração de proxy a próxima requisição deve usar? Trate isso como um problema de bandit. Em nossa simulação, a seleção adaptativa ficou a 2% da perfeição em retrospectiva.
James Meadow · 2 de outubro de 2026 Projetando Scrapers Idempotentes: Reiniciando Sem Duplicar
Scrapers travam. Matamos um dez vezes no meio da coleta: uma versão ingênua armazenou até 4,3 vezes mais linhas, uma idempotente exatamente 500. Como construir a segunda.
Chris Collins · 2 de outubro de 2026