Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
El coste de un User-Agent obsoleto: midiendo el desfase de versión del navegador
Los scrapers suelen fijar una versión de navegador y olvidarla. Solicitamos 397 sitios principales simulando versiones de Chrome de hasta 6.5 años de antigüedad. Los rechazos aumentaron cada año.
Redacción de una política de recopilación de datos de empresa: una plantilla funcional
La mayoría de los equipos que recopilan datos web no tienen normas escritas para ello. Una plantilla de política funcional: alcance, aprobaciones, fuentes, datos personales y retiradas.
Auditoría de accesibilidad en distintos mercados: comprobando lo que realmente ven los usuarios de cada país
Una auditoría de tu página de inicio en EE. UU. dice poco sobre la alemana o la japonesa. Auditamos 23 sitios de cuatro países: una cuarta parte tenía problemas exclusivos de un mercado.
¿Es tu objetivo bloqueable? Una consulta de la pila anti-bot
Antes de crear un scraper, averigua qué protege el objetivo. Revisamos los 1.000 dominios principales: qué proveedores anti-bot utilizan y cómo le fue a un cliente básico.
Monitorización de la paridad de tarifas: detectando cuando tu propio inventario te hace la competencia
Los hoteles pierden reservas directas cuando sus propias habitaciones aparecen más baratas en otros sitios. Cómo monitorizar la paridad de tarifas entre canales y mercados sin falsas alarmas.
La selección de proxies como un problema de bandido multibrazo
¿Qué configuración de proxy debería usar la siguiente solicitud? Trátalo como un problema de bandido. En nuestra simulación, la selección adaptativa quedó a menos de un 2% de la elección perfecta en retrospectiva.
Diseño de scrapers idempotentes: reiniciar sin duplicar
Los scrapers fallan. Matamos uno diez veces en mitad del rastreo: una versión ingenua almacenó hasta 4.3 veces las filas, una idempotente exactamente 500. Cómo construir la segunda.
Cómo detectar reseñas falsas y fraude de reseñas a escala
Las reseñas falsas están prohibidas en EE. UU., Reino Unido y la UE, y las plataformas eliminan cientos de millones. Cómo detectar el fraude de reseñas en muchos productos, con código probado.
Usar hreflang para encontrar todas las versiones de idioma y país de una página
hreflang enumera todas las versiones localizadas de una página. Comprobamos cómo lo usan los principales sitios, qué falla y por qué algunas versiones solo se abren desde dentro de un país.