Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Codificações de Caracteres em Dados Extraídos: Detectando Charsets e Corrigindo Mojibake
Buscamos 193 das principais homepages em seis países. Um padrão comum do Python corrompeu o texto de 37 delas. Como decodificar páginas extraídas da mesma forma que os navegadores fazem.
Chris Collins · 1 de outubro de 2026 Mantenha a Resposta Bruta: Arquivando Páginas Raspadas em WARC para Replay
Parsers melhoram e extratores quebram, mas uma página que você não guardou não pode ser analisada novamente. Como armazenar respostas brutas em WARC, com código testado e tamanhos reais.
Matt Brown · 1 de outubro de 2026 Normalizando preços, números e datas entre localidades
1.234,56 € e $1,234.56 são ambos preços, e 03/04/2026 são duas datas diferentes. Como analisar corretamente valores extraídos por localidade, com código testado.
James Meadow · 30 de setembro de 2026 Encontrando a API Por Trás da Página: Coletando de Endpoints JSON em Vez de HTML
Muitas páginas carregam seus dados como JSON. Como encontrar o endpoint que os carrega, por que ele costuma estar vinculado à sessão da página e como coletá-los de forma responsável.
Chris Collins · 30 de setembro de 2026 Apresentando o IP Info: uma API Gratuita de Geolocalização de IP, Sem Necessidade de Chave de API
O IP Info é a API gratuita de geolocalização de IP e ASN da Shifter. Ele funciona com a mesma base de dados por trás dos nossos pools de proxies, não exige cadastro ou chave de API, e está pronto para agentes de IA.
James Meadow · 29 de setembro de 2026 Schema Drift em Dados Raspados: Detectando Extratores Quebrados Antes dos Seus Usuários
Raspadores raramente travam quando um site muda. Eles continuam rodando e retornam dados sutilmente incorretos. Como contratos de dados e profiling em lote detectam desvios cedo.
Matt Brown · 29 de setembro de 2026 Sitemaps como Fonte de Descoberta: Encontrando Cada URL Sem Rastrear o Site Inteiro
Sitemaps XML listam as URLs de um site, e às vezes quando elas mudaram. Como lê-los corretamente, e por que você nunca deve confiar no lastmod sem verificá-lo.
James Meadow · 29 de setembro de 2026 Extração com LLM vs Seletores: Quando Deixar um Modelo Ler a Página
Fizemos um modelo de linguagem grande extrair campos de 18 páginas de notícias ao vivo e avaliamos o resultado contra os dados estruturados das próprias páginas. Precisão, custo e quando usá-lo.
Chris Collins · 28 de setembro de 2026 Deduplicação de Dados Coletados: Resolução de Entidades para Produtos, Empresas e Anúncios
O mesmo produto, empresa ou anúncio aparece várias vezes entre fontes e execuções. Como normalizar identificadores, fazer correspondência segura em escala e manter um único registro limpo.
Matt Brown · 28 de setembro de 2026