Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Projetando Scrapers Idempotentes: Reiniciando Sem Duplicar
Scrapers travam. Matamos um dez vezes no meio da coleta: uma versão ingênua armazenou até 4,3 vezes mais linhas, uma idempotente exatamente 500. Como construir a segunda.
Chris Collins · 2 de outubro de 2026 Codificações de Caracteres em Dados Extraídos: Detectando Charsets e Corrigindo Mojibake
Buscamos 193 das principais homepages em seis países. Um padrão comum do Python corrompeu o texto de 37 delas. Como decodificar páginas extraídas da mesma forma que os navegadores fazem.
Chris Collins · 1 de outubro de 2026 Mantenha a Resposta Bruta: Arquivando Páginas Raspadas em WARC para Replay
Parsers melhoram e extratores quebram, mas uma página que você não guardou não pode ser analisada novamente. Como armazenar respostas brutas em WARC, com código testado e tamanhos reais.
Matt Brown · 1 de outubro de 2026 Encontrando a API Por Trás da Página: Coletando de Endpoints JSON em Vez de HTML
Muitas páginas carregam seus dados como JSON. Como encontrar o endpoint que os carrega, por que ele costuma estar vinculado à sessão da página e como coletá-los de forma responsável.
Chris Collins · 30 de setembro de 2026 Sitemaps como Fonte de Descoberta: Encontrando Cada URL Sem Rastrear o Site Inteiro
Sitemaps XML listam as URLs de um site, e às vezes quando elas mudaram. Como lê-los corretamente, e por que você nunca deve confiar no lastmod sem verificá-lo.
James Meadow · 29 de setembro de 2026 Extração com LLM vs Seletores: Quando Deixar um Modelo Ler a Página
Fizemos um modelo de linguagem grande extrair campos de 18 páginas de notícias ao vivo e avaliamos o resultado contra os dados estruturados das próprias páginas. Precisão, custo e quando usá-lo.
Chris Collins · 28 de setembro de 2026 Detecção de Mudanças em Escala: Comparando Páginas Web Sem Se Afogar em Ruído
Páginas mudam a cada carregamento: anúncios, timestamps, tokens. Como distinguir mudanças reais de ruído com normalização, diffs em nível de campo e simhash, com código testado.
Chris Collins · 27 de setembro de 2026 Pare de Fazer Parsing de HTML: Extraindo Dados Estruturados de JSON-LD e Dados Incorporados
A maioria das páginas já traz dados legíveis por máquina. Como extrair JSON-LD e JSON incorporado em vez de seletores frágeis, e o que fazer quando os dados estão incompletos.
Matt Brown · 26 de setembro de 2026 Construindo um Target Health Score: Saber Quando um Site Está Se Voltando Contra Você
Sites raramente bloqueiam um crawler em uma única etapa. Eles desafiam, aplicam soft-block e diminuem a velocidade primeiro. Como transformar esses sinais em uma única pontuação por site e agir sobre ela.
Matt Brown · 22 de setembro de 2026