Guías, Tutoriales e Ideas
Aprende sobre proxies residenciales, web scraping, estrategias de recopilación de datos y buenas prácticas del sector con el equipo de Shifter.
¿Los CAPTCHAs detienen a los bots o solo los ralentizan? Midiendo la disuasión frente a la tasa de resolución
Lo que dos décadas de investigación dicen sobre los CAPTCHAs: cuánto tiempo les cuestan a los humanos, con qué frecuencia los resuelven los bots y los agentes de IA, y por qué ahora funcionan como un coste.
Monitoreo de precios de interés público: recopilación de pruebas que resisten el escrutinio
Cómo los grupos de consumidores, periodistas y equipos de cumplimiento monitorizan los precios para comprobar las afirmaciones de descuento, y cómo recopilar pruebas que un minorista no pueda descartar.
Lo que tu equipo legal preguntará antes de aprobar un proyecto de scraping
Las preguntas que los equipos legales y de cumplimiento hacen antes de dar luz verde a la recopilación de datos web, por qué las hacen y cómo es una buena respuesta.
Auditoría de la consistencia NAP en directorios locales
Una empresa que figura con un número de teléfono o una dirección antigua en una decena de directorios confunde a los clientes y a los motores de búsqueda. Cómo auditar los datos NAP y corregir lo que importa.
Cuándo no necesitas un proxy residencial
Obtuvimos 30 sitios públicos desde una IP de centro de datos y a través de salidas residenciales. Más de la mitad no necesitaba ningún proxy. Cómo saber con qué tipo de sitio te encuentras.
Pruebas de scrapers: fixtures, repetición y suites de regresión
Los scrapers se rompen cuando los sitios cambian, y las pruebas que acceden al sitio en vivo se rompen con ellos. Cómo probar un scraper con fixtures grabados, repetición y canarios diarios.
Tu scraper es lento y probablemente no sea el proxy
Aceleramos un scraper que funcionaba con proxies residenciales 7,5 veces sin tocar el proxy. Cómo encontrar a dónde va realmente el tiempo y solucionarlo.
Eficiencia del payload: qué porcentaje de una página scrapeada es contenido superfluo que pagaste
Medimos 278 páginas de contenido de los 1.000 sitios principales. El texto que realmente quieres supone alrededor del 1% del HTML y una fracción mínima de lo que descarga un navegador.