大多数抓取项目都是很晚才被提交给法务团队，作为对已经做好的东西进行签字确认的请求。这是获得批准的最慢方式。律师提出的问题是可以预见的，提前准备好答案的团队通常能在几天内而不是几周内拿到结论。
本清单按照法务审查通常进行的方式，将这些问题分组列出，说明每个问题为什么重要，以及一个好的答案应该是什么样子。它是为提出项目的工程师和数据负责人而写的，便于他们知道要准备什么。
这是一般性信息，不是法律建议。各国规则不同且变化很快，具体适用于你的项目的规则由你自己的法律顾问决定。
1. 具体是什么数据？
最先要问的问题是关于范围的，而含糊的答案会拖慢后面的一切。
- 你将收集哪些字段？ 把它们列出来。“产品数据”不是一个答案；“产品名称、价格、货币、库存状态和URL”才是。
- 来自哪些网站，多少页面？ 说明来源、数量和频率。
- 用途是什么？ 用途决定了后面的大部分问题：内部价格监控、产品功能、转售，或训练AI模型，各自引发不同的问题。
- 你需要全部数据吗？ 预计会被要求删除不服务于该用途的字段。
一个好的答案是一页纸的范围说明，附带一条样本记录和字段列表，每个字段都与用途相关联。
2. 其中是否包含个人数据？
这通常是最重要的问题，也是团队最常因为假设”公开即不受限制”而答错的问题。
- 任何字段是否可能识别出一个人， 单独或与其他字段组合？姓名、用户名、照片、个人主页URL和联系方式都算。附带作者信息的评论和帖子也算。
- 数据属于谁，他们住在哪里？ 欧洲和英国的数据保护法适用于这些地区居民的个人数据，无论收集方位于何处，并且对公开可得的数据也不例外。
- 法律依据是什么， 是否有人权衡过项目利益与当事人权利之间的关系？
- 当事人将如何被告知？ 当数据是关于某人而非来自某人收集时，法律仍然期望他们被告知，监管机构已经对那些利用公开发布的材料建立数据库的公司进行过罚款。
- 你能避免收集这些数据吗？ 最好的答案往往是在收集时就排除个人字段。
一个好的答案说明哪些字段是个人数据、每个字段为何需要，以及其余字段如何在存储前被过滤掉。如果个人数据是项目的核心，预计需要一份正式的影响评估。我们的GDPR合规概览涵盖了基础知识。
3. 数据来自哪里？
法务会想确切知道项目依赖的是哪种访问方式。
- 一切是否都是无需登录即可公开查看的？ 登录后才能看到的数据则另当别论：收集这些数据通常意味着接受网站的条款，美国的判例正是围绕这一点展开的。在hiQ诉LinkedIn的纠纷中，hiQ在反黑客法上早期获胜，但后来被认定违反了用户协议，部分原因是使用了虚假账户，该案以禁令和销毁数据的命令告终。
- 你是否已接受网站的条款？ 如果涉及账户或点击同意的协议，法务会去阅读这些条款。美国一家法院在2024年裁定，Meta的条款并未禁止登出状态下对公开数据的收集，这说明了为何登录和未登录的情形会被区别对待。
- robots.txt和其他退出信号怎么说？ 即使robots.txt没有法律约束力，法务也会询问你是否遵守它。对于欧盟境内的AI训练而言，机器可读的保留声明具有法律效力。我们关于robots.txt与AI退出机制的指南涵盖了这些信号。
- 是否有官方API或许可协议？ 如果某网站通过API或付费方式提供其数据，法务会问你为何不走这条路线。
一个好的答案列出每个来源及其访问类型（公开、登录、API）、其条款以及robots.txt立场，并注明检查日期。
4. 你将如何收集数据？
方法很重要，这与数据本身是分开的问题。基于网站访问方式提出的诉求，即使关于数据本身的诉求未能成立，也曾在法庭上站得住：在X Corp于2024年对一家数据公司提起的案件中，法院驳回了关于抓取和转售公开帖子的诉求，但后来允许了关于服务器负担的诉求继续进行。
- 速度有多快，负载有多大？ 说明每个网站的请求速率，以及它如何根据错误和响应缓慢进行调整。
- 是否绕过了任何访问控制？ 登录、付费墙和限制访问的技术措施，是法律风险急剧上升的地方。预计这里会被严格追问。
- 你们如何表明身份？ 法务可能会问收集方是否表明自己的名称或提供联系方式。
- 谁提供基础设施？ 如果你使用代理网络或抓取服务，法务会问供应商如何获取其IP地址以及记录了什么。我们关于供应商如何合规获取住宅IP的说明涵盖了应向供应商询问的内容。
一个好的答案用简单的语言描述收集设置：速率、重试和退避行为、如何处理封锁，以及一份声明，说明项目不会绕过登录或付费墙。
5. 数据归谁所有，你能用它做什么？
收集数据并不意味着你拥有它。法务会区分哪些你可以自由使用，哪些仍属于他人。
- 这是事实还是内容？ 价格、日期和数量通常不受版权保护。文章正文、照片和评论的措辞则受保护。
- 它是否来自欧洲的数据库？ 在欧盟和英国，对数据库进行了大量投入的制作者可以阻止他人提取其中实质性的部分，即使每一项都是单纯的事实。
- 你会分享、出售还是发布它？ 内部分析、面向客户的功能和转售，风险依次递增。
- 它会用于训练AI模型吗？ 预计会被问到退出机制、数据集每个部分的来源，以及获取过程如何被记录。美国近期的判例将训练材料获取方式作为与使用方式分开的独立问题来处理。
一个好的答案将数据集分为事实、衍生数据和复制内容，并说明哪些会流出公司。我们关于抓取数据归谁所有的指南深入探讨了这些层次。
6. 数据将存放在哪里，保留多久？
- 存储和处理在哪里进行？ 司法管辖区会影响适用的法律，而你的代理出口位置与数据所在位置并不相同。参见数据驻留地并非代理位置。
- 谁可以访问它？ 预计会被问到访问控制和安全问题，尤其是涉及任何个人数据的情况。
- 你将保留多久？ 要有一个保留期限，以及到期后删除数据的方式。
- 你能否应要求删除特定记录或来源的数据？ 如果有人或网站所有者提出要求，你需要能够找到并删除来自他们的数据。
一个好的答案说明存储位置、访问群体、保留期限和删除流程。
7. 谁负责，如果有人提出异议该怎么办？
- 谁负责这个项目？ 一位能回答问题并能停止收集的指定负责人。
- 记录了哪些内容？ 来源、日期、设置和变更，保留下来以便日后能说明收集了什么以及如何收集的。监控在这方面也有帮助；参见如何监控网页抓取流水线。
- 如果网站发来投诉或停止侵权函该怎么办？ 法务会希望有一份计划：谁来接收、能多快暂停对该来源的收集，以及谁来决定接下来该怎么做。
- 项目何时会再次接受审查？ 网站会改变其条款和信号；每年一次的审查，或在用途改变时进行审查，是常见做法。
一个好的答案指明负责人，指向相关文档，并描述一个当天即可执行的停止流程。
一页纸的摘要说明
把这个填好带到第一次会议上。它能在被问到之前就回答上述大部分问题。
| 主题 | 需要准备的内容 |
|---|---|
| 范围 | 字段列表、样本记录、来源、数量、频率 |
| 用途 | 数据的用途，以及谁将使用它 |
| 个人数据 | 哪些字段是个人数据、为何需要、如何排除其他字段 |
| 访问方式 | 对每个来源：公开还是登录、条款、robots.txt、是否有API |
| 方法 | 请求速率、退避、封锁处理、不绕过登录或付费墙 |
| 基础设施 | 代理或抓取供应商，以及它如何获取IP |
| 用途 | 内部使用、面向客户、转售或AI训练 |
| 存储 | 位置、访问群体、保留期限、删除流程 |
| 问责 | 项目负责人、文档记录、投诉和停止流程、审查日期 |
一份长期有效的政策能让每个项目（在第一个项目之后）都更快推进。我们的数据收集政策模板将这些答案转化为公司通用规则，这样每个新项目只需记录有所不同的部分。关于更广泛的法律背景，参见网页抓取是否合法。
常见问题
抓取需要法务批准吗？
许多公司要求如此，尤其是涉及个人数据、登录访问、转售或AI训练的项目。即使不要求，简短的审查也能避免构建出后来不得不下架的东西。
法务拦截抓取项目最常见的原因是什么？
没有明确用途和法律依据的个人数据是一个常见原因。登录后的收集，以及重新发布受版权保护内容的计划，是另外两个原因。缩小范围往往能解决这三个问题。
公开数据可以自由抓取吗？
并非没有限制。公开的个人数据在欧洲和英国仍受数据保护法保护，创意内容仍受版权保护，在欧盟，一些数据库即使只包含事实也受到保护。你如何收集它也很重要。
抓取项目的法务审查需要多长时间？
这取决于公司和项目，但大部分延误来自于关于范围和数据的反复沟通。在第一次会议上带上一份完整的摘要说明可以消除大部分延误。
总结
法务团队对每个抓取项目都会提出相同的问题：什么数据、谁的数据、来自哪里、如何收集、用途是什么、存储在哪里、谁负责。在审查开始前准备好答案，除非个人数据和登录访问是必不可少的，否则将它们排除在范围之外，并随时记录来源和方法。带着清晰的摘要说明来的项目能更快获得批准，日后如果有人提出问题，也更容易为其辩护。