Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
Pruebas de scrapers: fixtures, repetición y suites de regresión
Los scrapers se rompen cuando los sitios cambian, y las pruebas que acceden al sitio en vivo se rompen con ellos. Cómo probar un scraper con fixtures grabados, repetición y canarios diarios.
Chris Collins · 9 de octubre de 2026 Tu scraper es lento y probablemente no sea el proxy
Aceleramos un scraper que funcionaba con proxies residenciales 7,5 veces sin tocar el proxy. Cómo encontrar a dónde va realmente el tiempo y solucionarlo.
Matt Brown · 8 de octubre de 2026 Eficiencia del payload: qué porcentaje de una página scrapeada es contenido superfluo que pagaste
Medimos 278 páginas de contenido de los 1.000 sitios principales. El texto que realmente quieres supone alrededor del 1% del HTML y una fracción mínima de lo que descarga un navegador.
Elena Petrova · 8 de octubre de 2026 ¿Quién bloquea a los rastreadores de IA? GPTBot, ClaudeBot y compañía en los 10.000 sitios principales
Leímos el robots.txt de los 10.000 dominios principales. Uno de cada cinco sitios bloquea al menos un rastreador de IA, mientras que casi todos siguen dando la bienvenida a los motores de búsqueda.
Chris Collins · 6 de octubre de 2026 El coste de un User-Agent obsoleto: midiendo el desfase de versión del navegador
Los scrapers suelen fijar una versión de navegador y olvidarla. Solicitamos 397 sitios principales simulando versiones de Chrome de hasta 6.5 años de antigüedad. Los rechazos aumentaron cada año.
Chris Collins · 5 de octubre de 2026 ¿Es tu objetivo bloqueable? Una consulta de la pila anti-bot
Antes de crear un scraper, averigua qué protege el objetivo. Revisamos los 1.000 dominios principales: qué proveedores anti-bot utilizan y cómo le fue a un cliente básico.
Chris Collins · 3 de octubre de 2026 La selección de proxies como un problema de bandido multibrazo
¿Qué configuración de proxy debería usar la siguiente solicitud? Trátalo como un problema de bandido. En nuestra simulación, la selección adaptativa quedó a menos de un 2% de la elección perfecta en retrospectiva.
James Meadow · 2 de octubre de 2026 Diseño de scrapers idempotentes: reiniciar sin duplicar
Los scrapers fallan. Matamos uno diez veces en mitad del rastreo: una versión ingenua almacenó hasta 4.3 veces las filas, una idempotente exactamente 500. Cómo construir la segunda.
Chris Collins · 2 de octubre de 2026