스크래핑 프로젝트를 승인하기 전에 법무팀이 물어볼 질문

법무 및 컴플라이언스 팀이 웹 데이터 수집을 승인하기 전에 묻는 질문, 그들이 그런 질문을 하는 이유, 그리고 좋은 답변의 모습.

대부분의 스크래핑 프로젝트는 법무팀에 늦게 전달되는데, 이미 만들어진 것을 승인해 달라는 요청의 형태로 전달된다. 이것이 승인을 받는 가장 느린 방법이다. 변호사들이 묻는 질문은 예측 가능하며, 미리 답을 준비하는 팀은 보통 몇 주가 아니라 며칠 안에 결정을 받는다.

이 체크리스트는 법무 검토가 보통 진행되는 순서대로 질문을 묶어서 제시하며, 각 질문이 왜 중요한지와 좋은 답변은 어떤 모습인지를 설명한다. 프로젝트를 가져오는 엔지니어와 데이터 담당자를 위해 작성되었으며, 무엇을 준비해야 하는지 알 수 있도록 한다.

이는 일반적인 정보이며 법률 자문이 아니다. 규칙은 국가마다 다르고 빠르게 바뀌며, 여러분의 프로젝트에 무엇이 적용되는지는 자체 법률 자문이 판단한다.

1. 정확히 어떤 데이터인가?

첫 번째 질문은 범위에 관한 것이며, 여기서 모호한 답변은 이후 모든 것을 느리게 만든다.

어떤 필드를 수집할 것인가? 나열하라. “제품 데이터”는 답이 아니며, “제품명, 가격, 통화, 재고 상태, URL”이 답이다.
어떤 사이트에서, 몇 페이지나? 출처, 물량, 빈도를 명시하라.
무엇을 위한 것인가? 목적이 이후 많은 부분을 결정한다. 내부 가격 모니터링, 제품 기능, 재판매, AI 모델 학습은 각각 다른 문제를 야기한다.
전부 필요한가? 목적에 기여하지 않는 필드를 제외하라는 요청을 받을 것으로 예상하라.

좋은 답변은 샘플 레코드와 필드 목록이 포함된 한 페이지짜리 범위 문서이며, 각 필드가 목적과 연결되어 있다.

2. 그 중 개인 데이터가 있는가?

이것은 종종 가장 중요한 질문이며, 팀들이 공개된 것은 제한 없다고 가정하여 가장 자주 틀리는 질문이기도 하다.

어떤 필드가 단독으로 또는 다른 것과 결합되어 개인을 식별할 수 있는가? 이름, 사용자 이름, 사진, 프로필 URL, 연락처 정보가 모두 해당된다. 작성자가 붙은 리뷰나 게시물도 마찬가지다.
누구의 데이터이고, 그들은 어디에 사는가? 유럽과 영국의 데이터 보호법은 수집자가 어디에 기반을 두든 해당 지역 사람들의 개인 데이터에 적용되며, 공개적으로 이용 가능한 데이터라고 해서 예외를 두지 않는다.
법적 근거는 무엇이며, 누군가가 프로젝트의 이익과 사람들의 권리를 비교 형량했는가?
사람들에게 어떻게 알릴 것인가? 사람에 대한 데이터가 그들로부터가 아니라 그들에 관해 수집되는 경우에도 법은 여전히 그들에게 고지할 것을 기대하며, 규제 당국은 공개적으로 게시된 자료로 데이터베이스를 구축한 회사에 벌금을 부과한 바 있다.
피할 수 있는가? 가장 좋은 답은 흔히 수집 시점에 개인 필드를 제외하는 것이다.

좋은 답변은 어떤 필드가 개인 데이터인지, 각각이 왜 필요한지, 나머지는 저장 전에 어떻게 걸러지는지를 보여준다. 개인 데이터가 프로젝트의 핵심이라면 공식적인 영향평가가 요구될 것으로 예상하라. GDPR 준수 개요에서 기본 사항을 다룬다.

3. 어디서 오는 데이터인가?

법무팀은 프로젝트가 정확히 어떤 종류의 접근에 의존하는지 알고 싶어할 것이다.

로그인 없이 모든 것이 공개적으로 보이는가? 로그인 뒤에 있는 데이터는 다른 문제다. 그것을 수집하는 것은 보통 사이트의 약관에 동의하는 것을 의미하며, 미국의 판례들은 바로 이 지점에서 결론이 갈렸다. hiQ와 LinkedIn 분쟁에서 hiQ는 해킹방지법에 관한 초기 판결에서 승소했지만, 이후 가짜 계정을 통해서 포함해 사용자 계약을 위반한 것으로 판단되었고, 사건은 금지명령과 데이터 폐기 명령으로 끝났다.
사이트의 약관에 동의했는가? 계정이나 클릭으로 동의한 약관이 관련되어 있다면 법무팀은 그 약관을 읽을 것이다. 2024년 미국 법원은 Meta의 약관이 로그아웃 상태의 공개 데이터 수집을 금지하지 않는다고 판결했는데, 이는 로그인 상태와 로그아웃 상태의 사건이 왜 그렇게 다르게 취급되는지를 보여준다.
robots.txt와 다른 옵트아웃 신호는 무엇을 말하는가? robots.txt가 법적 구속력이 없는 경우에도 법무팀은 여러분이 이를 준수하는지 물을 것이다. EU에서의 AI 학습의 경우, 기계가 읽을 수 있는 유보 선언은 법적 효력을 가진다. robots.txt와 AI 옵트아웃 가이드에서 해당 신호를 다룬다.
공식 API나 라이선스가 있는가? 사이트가 API나 유료로 데이터를 제공한다면, 법무팀은 왜 그 경로를 사용하지 않는지 물을 것이다.

좋은 답변은 각 출처를 접근 유형(공개, 로그인, API), 약관, 명시된 날짜에 확인한 robots.txt 상태와 함께 나열한다.

4. 어떻게 수집할 것인가?

방법도 데이터와는 별개로 중요하다. 사이트에 어떻게 접근했는지에 기반한 주장은 데이터 자체에 대한 주장이 실패한 경우에도 법정에서 살아남았다. X Corp의 2024년 한 데이터 회사를 상대로 한 소송에서, 법원은 공개 게시물의 스크래핑과 재판매에 관한 주장은 기각했지만 이후 서버 부하에 관한 주장은 진행되도록 허용했다.

얼마나 빠르고, 부하는 얼마나 되는가? 사이트별 요청 속도와 오류 및 느린 응답에 어떻게 적응하는지 명시하라.
접근 통제를 우회하는 것이 있는가? 로그인, 페이월, 접근을 제한하는 기술적 조치는 법적 위험이 급격히 커지는 지점이다. 여기서 강한 질문을 예상하라.
자신을 어떻게 식별하는가? 법무팀은 수집자가 자신의 신원을 밝히거나 연락처를 제공하는지 물을 수 있다.
인프라는 누가 제공하는가? 프록시 네트워크나 스크래핑 서비스를 사용한다면, 법무팀은 제공업체가 IP 주소를 어떻게 확보하고 무엇을 기록하는지 물을 것이다. 제공업체가 레지덴셜 IP를 윤리적으로 확보하는 방법에서 벤더에게 물어볼 사항을 다룬다.

좋은 답변은 수집 설정을 평이한 언어로 설명한다: 속도, 재시도 및 백오프 동작, 차단 처리 방법, 그리고 프로젝트가 로그인이나 페이월을 우회하지 않는다는 진술.

5. 누가 소유하며, 무엇을 할 수 있는가?

데이터를 수집한다고 해서 그 소유자가 되는 것은 아니다. 법무팀은 자유롭게 사용할 수 있는 것과 여전히 타인의 것으로 남아 있는 것을 구분할 것이다.

사실인가, 콘텐츠인가? 가격, 날짜, 수량은 일반적으로 저작권으로 보호되지 않는다. 기사 본문, 사진, 리뷰의 문구는 보호된다.
유럽 데이터베이스에서 나온 것인가? EU와 영국에서는 데이터베이스에 상당한 투자를 한 제작자가 각 항목이 단순한 사실이라 하더라도 타인이 상당 부분을 추출하는 것을 막을 수 있다.
공유, 판매, 또는 게시할 것인가? 내부 분석, 고객 대상 기능, 재판매는 각각 그 전보다 더 큰 위험을 수반한다.
AI 모델을 학습시킬 것인가? 옵트아웃, 데이터셋의 모든 부분의 출처, 수집이 어떻게 문서화되었는지에 관한 질문을 예상하라. 최근 미국 판결들은 학습 자료가 어떻게 획득되었는지를 어떻게 사용되었는지와는 별개의 문제로 다루었다.

좋은 답변은 데이터셋을 사실, 파생 데이터, 복제된 콘텐츠로 구분하고 회사 밖으로 나가는 것이 무엇인지 설명한다. 스크래핑된 데이터는 누가 소유하는가 가이드에서 이러한 층위를 심도 있게 다룬다.

6. 어디에 보관하며, 얼마나 오래 보관하는가?

어디에 저장되고 처리되는가? 관할권은 어떤 법이 적용되는지에 영향을 미치며, 프록시 출구의 위치는 데이터의 위치와 같지 않다. 데이터 거주지는 프록시 위치가 아니다를 참고하라.
누가 접근할 수 있는가? 특히 개인 정보와 관련해서는 접근 통제와 보안에 관한 질문을 예상하라.
얼마나 오래 보관할 것인가? 보관 기간과 종료 시 데이터를 삭제하는 방법을 마련하라.
요청 시 특정 레코드나 출처를 제거할 수 있는가? 누군가나 사이트 소유자가 요청하면, 그들로부터 나온 것을 찾아 삭제할 수 있어야 한다.

좋은 답변은 저장 위치, 접근 그룹, 보관 기간, 삭제 절차를 명시한다.

7. 누가 책임지며, 누군가 이의를 제기하면 어떻게 되는가?

프로젝트는 누구의 소유인가? 질문에 답하고 수집을 중단시킬 수 있는 지정된 담당자.
무엇이 문서화되는가? 출처, 날짜, 설정, 변경 사항이 보관되어 나중에 무엇이 어떻게 수집되었는지 보여줄 수 있어야 한다. 모니터링도 여기서 도움이 된다. 웹 스크래핑 파이프라인을 모니터링하는 방법을 참고하라.
사이트가 불만이나 중지 요청 서한을 보내면 어떻게 되는가? 법무팀은 계획을 원할 것이다: 누가 받는지, 해당 출처로부터의 수집을 얼마나 빨리 중단할 수 있는지, 다음에 무엇을 할지 누가 결정하는지.
프로젝트는 언제 다시 검토되는가? 사이트는 약관과 신호를 변경하므로, 연간 검토 또는 목적이 바뀔 때마다의 검토가 일반적이다.

좋은 답변은 담당자를 지정하고, 문서화 자료를 가리키며, 당일 실행 가능한 중단 절차를 설명한다.

한 페이지짜리 인테이크 요약

첫 회의에 작성해서 가져오라. 이것이 위 질문들 대부분에 질문받기 전에 답한다.

주제	준비할 것
범위	필드 목록, 샘플 레코드, 출처, 물량, 빈도
목적	데이터의 용도, 누가 사용할 것인지
개인 데이터	어떤 필드가 개인 데이터인지, 왜 필요한지, 다른 것들은 어떻게 제외되는지
접근	각 출처별로: 공개 또는 로그인, 약관, robots.txt, API 제공 여부
방법	요청 속도, 백오프, 차단 처리, 로그인이나 페이월 우회 없음
인프라	프록시 또는 스크래핑 벤더, IP 확보 방법
용도	내부용, 고객 대상, 재판매 또는 AI 학습
저장	위치, 접근 그룹, 보관 기간, 삭제 절차
책임	프로젝트 담당자, 문서화, 불만 및 중단 절차, 검토 일자

상시 정책이 있으면 첫 프로젝트 이후 모든 프로젝트가 더 빨라진다. 데이터 수집 정책 템플릿은 이러한 답변을 회사 전체 규칙으로 바꾸어, 각 새 프로젝트가 다른 부분만 문서화하면 되도록 한다. 더 넓은 법적 배경은 웹 스크래핑은 합법인가를 참고하라.

FAQ

스크래핑에는 법무 승인이 필요한가?

많은 회사가 이를 요구하며, 특히 개인 데이터, 로그인 접근, 재판매 또는 AI 학습이 관련된 프로젝트의 경우 그렇다. 요구되지 않는 경우에도 짧은 검토를 거치면 나중에 철거해야 하는 것을 만드는 일을 피할 수 있다.

법무팀이 스크래핑 프로젝트를 막는 가장 흔한 이유는 무엇인가?

공개 데이터는 자유롭게 스크래핑할 수 있는가?

스크래핑 프로젝트의 법무 검토는 얼마나 걸리는가?

회사와 프로젝트에 따라 다르지만, 대부분의 지연은 범위와 데이터에 관한 주고받음에서 발생한다. 완성된 인테이크 요약을 첫 회의에 가져오면 그 지연의 대부분이 제거된다.

결론

법무팀은 모든 스크래핑 프로젝트에 대해 같은 질문을 한다: 어떤 데이터인지, 누구의 데이터인지, 어디서 오는지, 어떻게 수집하는지, 무엇을 위한 것인지, 어디에 저장되는지, 누가 책임지는지. 검토가 시작되기 전에 답을 준비하고, 개인 데이터와 로그인 접근은 필수적이지 않은 한 범위에서 제외하며, 출처와 방법을 진행하면서 문서화하라. 명확한 인테이크 요약을 가지고 오는 프로젝트는 더 빨리 승인되며, 나중에 누군가 질문할 때도 방어하기 더 쉽다.