가이드, 튜토리얼 및 인사이트
레지덴셜 프록시, 웹 스크래핑, 데이터 수집 전략 및 업계 모범 사례를 Shifter 팀으로부터 배우세요.
스크래퍼 테스트: 픽스처, 리플레이, 회귀 테스트 스위트
사이트가 변경되면 스크래퍼가 깨지고, 실제 사이트에 접근하는 테스트도 함께 깨집니다. 기록된 픽스처, 리플레이, 데일리 카나리를 활용해 스크래퍼를 테스트하는 방법입니다.
Chris Collins · 2026년 10월 9일 당신의 스크레이퍼가 느린 이유, 프록시 때문이 아닐 수도 있습니다
프록시를 건드리지 않고도 레지덴셜 프록시를 거치는 스크레이퍼 속도를 7.5배 높였습니다. 시간이 실제로 어디서 소모되는지 찾아내고 해결하는 방법입니다.
Matt Brown · 2026년 10월 8일 페이로드 효율성: 스크래핑한 페이지 중 비용을 지불한 상용구는 얼마나 되는가
상위 1,000개 사이트에서 278개의 콘텐츠 페이지를 측정했습니다. 원하는 텍스트는 HTML의 약 1%에 불과하며, 브라우저가 다운로드하는 전체 양에서는 극히 작은 비중을 차지합니다.
Elena Petrova · 2026년 10월 8일 누가 AI 크롤러를 차단하는가? 상위 10,000개 사이트 전반의 GPTBot, ClaudeBot과 그 동료들
상위 10,000개 도메인의 robots.txt를 조사했다. 다섯 사이트 중 하나는 최소 하나의 AI 크롤러를 차단하는 반면, 거의 모든 사이트는 여전히 검색엔진을 환영한다.
Chris Collins · 2026년 10월 6일 오래된 User-Agent의 비용: 브라우저 버전 드리프트 측정하기
스크레이퍼는 브라우저 버전을 하드코딩한 뒤 잊어버리는 경우가 많습니다. 저희는 최대 6.5년 전의 Chrome 버전을 주장하며 397개 상위 사이트에 요청을 보냈습니다. 거부율은 해마다 상승했습니다.
Chris Collins · 2026년 10월 5일 타겟이 차단 가능한가? 안티봇 스택 조회
스크레이퍼를 만들기 전에 타겟을 보호하는 것이 무엇인지 확인하세요. 상위 1,000개 도메인을 조사해 어떤 안티봇 벤더를 사용하는지, 그리고 일반 클라이언트가 어떤 결과를 보였는지 확인했습니다.
Chris Collins · 2026년 10월 3일 멀티 암드 밴딧 문제로 보는 프록시 선택
다음 요청에는 어떤 프록시 구성을 사용해야 할까? 이를 밴딧 문제로 다뤄보자. 시뮬레이션에서 적응형 선택은 완벽한 사후 판단 대비 2% 이내로 근접했다.
James Meadow · 2026년 10월 2일 멱등성 스크레이퍼 설계: 중복 없이 재시작하기
스크레이퍼는 죽는다. 크롤링 도중 열 번을 강제 종료해봤다: 단순한 버전은 최대 4.3배의 행을 저장했고, 멱등성 버전은 정확히 500개를 저장했다. 후자를 만드는 방법.
Chris Collins · 2026년 10월 2일