가이드, 튜토리얼 및 인사이트
레지덴셜 프록시, 웹 스크래핑, 데이터 수집 전략 및 업계 모범 사례를 Shifter 팀으로부터 배우세요.
클린 레코드당 비용: 재무팀이 실제로 이해하는 스크레이핑 지표
기가바이트와 요청 수는 재무팀에게 데이터 비용을 알려주지 않습니다. 클린 레코드당 비용과 유효한 변경당 비용을 측정하는 방법, 그리고 이를 가장 크게 움직이는 요인은 무엇인지 알아봅니다.
James Meadow · 2026년 9월 27일 대규모 변경 감지: 노이즈에 파묻히지 않고 웹 페이지 비교하기
페이지는 로드할 때마다 바뀝니다: 광고, 타임스탬프, 토큰. 정규화, 필드 단위 diff, simhash를 활용해 실제 변경과 노이즈를 구분하는 방법을 테스트된 코드와 함께 알아봅니다.
Chris Collins · 2026년 9월 27일 HTML 파싱은 그만: JSON-LD와 임베디드 데이터에서 구조화된 데이터 추출하기
대부분의 페이지에는 이미 기계가 읽을 수 있는 데이터가 포함되어 있습니다. 취약한 셀렉터 대신 JSON-LD와 임베디드 JSON을 추출하는 방법과 데이터가 불완전할 때 대처하는 방법을 소개합니다.
Matt Brown · 2026년 9월 26일 robots.txt, AI 옵트아웃, 예약 신호: 2026년 웹 데이터 수집자가 준수해야 할 것
robots.txt는 이제 EU에서 법적 효력을 가지며, 새로운 AI 신호가 확산되고 있다. 각 신호가 의미하는 바, AI 크롤러가 준수하는 항목, 데이터 팀이 대응해야 할 방법을 다룬다.
James Meadow · 2026년 9월 26일 브랜드가 온라인 위조품 판매 목록에서 법정 증거를 확보하는 방법
위조품 판매 목록을 찾는 것은 쉽다. 나중에 이를 입증하는 것은 그렇지 않다. 법정에서 인정받는 판매 목록 증거를 캡처, 해싱, 타임스탬프 처리 및 보존하는 방법.
Chris Collins · 2026년 9월 25일 공개 웹 증거로 ESG 주장 검증하기
그린워싱 관련 새로운 EU 규정은 2026년 9월 27일부터 적용됩니다. 공개 증거를 바탕으로 지속가능성 주장을 확인하고 변화를 추적하는 실용적인 방법입니다.
Matt Brown · 2026년 9월 25일 공급업체의 공개 정보 모니터링: 실용적인 수집 방법
공급업체 리스크는 보통 감사에 도달하기 전에 공개적으로 먼저 드러납니다. 제재 목록, 등록 정보, 웹사이트, 현지 뉴스를 모니터링하는 단계별 방법입니다.
James Meadow · 2026년 9월 25일 항공사와 호텔은 출국 국가에 따라 다른 가격을 제시할까? 직접 확인해봤다
여섯 개 국가의 레지덴셜 IP를 통해 동일한 Ryanair 항공권과 Booking.com 호텔 가격을 불러왔다. 무엇이 달라졌고, 무엇이 그대로였으며, 접근할 수 없었던 것은 무엇인지 살펴본다.
Chris Collins · 2026년 9월 24일 평일, 주말, 공휴일: 차단율은 달력에 따라 어떻게 변하는가
요일별 스크레이퍼 차단율을 공개하는 곳은 없다. 봇, 공휴일, 피크 이벤트 데이터가 차단율 변동 원인에 대해 보여주는 것과 자신만의 달력을 측정하는 방법.
Matt Brown · 2026년 9월 24일