Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
Codificaciones de caracteres en datos extraídos: detección de charsets y corrección de mojibake
Obtuvimos 193 páginas de inicio principales en seis países. Un valor predeterminado habitual de Python distorsionó el texto de 37 de ellas. Cómo decodificar páginas extraídas igual que lo hacen los navegadores.
Chris Collins · 1 de octubre de 2026 Conserva la respuesta en bruto: archivado de páginas extraídas en WARC para su repetición
Los parsers mejoran y los extractores se rompen, pero una página que no has conservado no se puede volver a analizar. Cómo almacenar respuestas en bruto en WARC, con código probado y tamaños reales.
Matt Brown · 1 de octubre de 2026 Normalización de precios, números y fechas entre configuraciones regionales
1.234,56 € y $1,234.56 son ambos precios, y 03/04/2026 son dos fechas distintas. Cómo analizar correctamente los valores extraídos según la configuración regional, con código probado.
James Meadow · 30 de septiembre de 2026 Encontrar la API detrás de la página: recopilar desde endpoints JSON en lugar de HTML
Muchas páginas cargan sus datos como JSON. Cómo encontrar el endpoint que los transporta, por qué a menudo está vinculado a la sesión de la página y cómo recopilarlos de forma responsable.
Chris Collins · 30 de septiembre de 2026 Presentamos IP Info: una API gratuita de geolocalización de IP, sin necesidad de clave API
IP Info es la API gratuita de geolocalización de IP y ASN de Shifter. Funciona con la misma base de datos que respalda nuestros pools de proxies, no necesita registro ni clave API, y está lista para agentes de IA.
James Meadow · 29 de septiembre de 2026 Schema Drift en Datos Extraídos: Detectando Extractores Rotos Antes que tus Usuarios
Los scrapers rara vez fallan cuando un sitio cambia. Siguen funcionando y devuelven datos sutilmente incorrectos. Cómo los contratos de datos y el perfilado por lotes detectan la deriva a tiempo.
Matt Brown · 29 de septiembre de 2026 Sitemaps como fuente de descubrimiento: encontrar todas las URL sin rastrear el sitio entero
Los sitemaps XML enumeran las URL de un sitio, y a veces cuándo cambiaron. Cómo leerlos correctamente, y por qué nunca debes confiar en lastmod sin comprobarlo.
James Meadow · 29 de septiembre de 2026 Extracción con LLM vs selectores: cuándo dejar que un modelo lea la página
Hicimos que un modelo de lenguaje extenso extrajera campos de 18 páginas de noticias en vivo y lo comparamos con los datos estructurados propios de esas páginas. Precisión, coste y cuándo usarlo.
Chris Collins · 28 de septiembre de 2026 Deduplicación de datos extraídos: resolución de entidades para productos, empresas y listados
El mismo producto, empresa o listado aparece muchas veces en distintas fuentes y ejecuciones. Cómo normalizar identificadores, hacer coincidencias de forma segura a gran escala y mantener un único registro limpio.
Matt Brown · 28 de septiembre de 2026