Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
Diseño de scrapers idempotentes: reiniciar sin duplicar
Los scrapers fallan. Matamos uno diez veces en mitad del rastreo: una versión ingenua almacenó hasta 4.3 veces las filas, una idempotente exactamente 500. Cómo construir la segunda.
Chris Collins · 2 de octubre de 2026 Codificaciones de caracteres en datos extraídos: detección de charsets y corrección de mojibake
Obtuvimos 193 páginas de inicio principales en seis países. Un valor predeterminado habitual de Python distorsionó el texto de 37 de ellas. Cómo decodificar páginas extraídas igual que lo hacen los navegadores.
Chris Collins · 1 de octubre de 2026 Conserva la respuesta en bruto: archivado de páginas extraídas en WARC para su repetición
Los parsers mejoran y los extractores se rompen, pero una página que no has conservado no se puede volver a analizar. Cómo almacenar respuestas en bruto en WARC, con código probado y tamaños reales.
Matt Brown · 1 de octubre de 2026 Encontrar la API detrás de la página: recopilar desde endpoints JSON en lugar de HTML
Muchas páginas cargan sus datos como JSON. Cómo encontrar el endpoint que los transporta, por qué a menudo está vinculado a la sesión de la página y cómo recopilarlos de forma responsable.
Chris Collins · 30 de septiembre de 2026 Sitemaps como fuente de descubrimiento: encontrar todas las URL sin rastrear el sitio entero
Los sitemaps XML enumeran las URL de un sitio, y a veces cuándo cambiaron. Cómo leerlos correctamente, y por qué nunca debes confiar en lastmod sin comprobarlo.
James Meadow · 29 de septiembre de 2026 Extracción con LLM vs selectores: cuándo dejar que un modelo lea la página
Hicimos que un modelo de lenguaje extenso extrajera campos de 18 páginas de noticias en vivo y lo comparamos con los datos estructurados propios de esas páginas. Precisión, coste y cuándo usarlo.
Chris Collins · 28 de septiembre de 2026 Detección de cambios a escala: comparar páginas web sin ahogarse en el ruido
Las páginas cambian en cada carga: anuncios, marcas de tiempo, tokens. Cómo distinguir los cambios reales del ruido con normalización, diffs a nivel de campo y simhash, con código probado.
Chris Collins · 27 de septiembre de 2026 Deja de analizar HTML: extracción de datos estructurados desde JSON-LD y datos incrustados
La mayoría de las páginas ya incluyen datos legibles por máquina. Cómo extraer JSON-LD y JSON incrustado en lugar de usar selectores frágiles, y qué hacer cuando están incompletos.
Matt Brown · 26 de septiembre de 2026 Cómo construir un Target Health Score: saber cuándo un sitio se está volviendo en tu contra
Los sitios rara vez bloquean un rastreador en un solo paso. Primero desafían, aplican bloqueos parciales y ralentizan. Cómo convertir esas señales en una puntuación por sitio, y actuar en consecuencia.
Matt Brown · 22 de septiembre de 2026