一个团队花了六个月时间,从公开网站上构建产品价格、招聘信息或公司简介的数据集。然后买家问了一个简单的问题:这是你的吗,你能卖给我们吗?诚实的答案通常是”部分是”,而是哪一部分决定了数据集的价值。
抓取的数据不是一个由单一方拥有的东西。它是一堆独立权利的集合:单个条目中的权利、源站点数据库中的权利、网站通过其条款创设的权利、人们对自身数据所拥有的权利,以及最后采集者通过构建新事物而获得的权利。本指南将逐层梳理这些内容,探讨美国和欧洲法院对此的处理方式,以及这对许可和转售意味着什么。
这是一般性信息,不构成法律建议。各国法律各不相同,且变化迅速;在许可或出售数据集之前请咨询律师。
关键要点
- 事实不受所有权保护。 根据美国版权法,价格、地址、日期和数量通常可以自由复制。文本、照片和其他创意内容无论在哪里采集,都会保持受保护状态。
- 欧洲增加了数据库权利。 如果一个网站在收集或核实其数据方面投入了大量资源,就可以阻止他人提取其中实质性的部分,即使每一个单独条目都只是普通事实。
- 采集方式的重要性可能与采集内容同样大。 你所接受的条款、虚假账户和服务器负担,即使在没有人拥有该数据的情况下,也曾引发法律责任。
- 个人数据永远不会成为你可以自由出售的东西。 在欧洲数据保护法下,公开可得不构成豁免。
- 你所拥有的是你自己的贡献。 你可以许可你所添加的筛选、结构、清洗和分析成果。你永远不会获得你所复制内容的版权。
第一层:条目本身
从你采集的单个事物开始。
事实。 美国最高法院在1991年的Feist v. Rural Telephone案中解决了这个问题:事实不受版权保护,因为版权要求原创性,而没有人能”创造”一个事实。电话簿中的姓名和号码可以自由复制。该判决还否定了”收集事实的辛劳”(“sweat of the brow”)可以获得版权的观点。对于抓取的数据而言,这涵盖了企业实际采集内容的大部分:价格、库存水平、航班时间、企业名称和地址、职位名称、以数字形式呈现的评分。
表达。 文章文本、品牌撰写的产品描述、照片,以及用户评论的措辞都是创意作品。无论它们是否出现在公开页面上,版权都予以保护。公开可见不等于已获得许可。
实际的界限在于记录一个页面说了什么,与复制它是如何说的之间。“这款笔记本电脑在德国售价899欧元”是一个事实。描述该笔记本电脑的三段文字则属于撰写者。
第二层:源站点的数据库
美国版权法仅在事实汇编的原创筛选或编排方面给予保护,法院将这种保护描述为”薄弱”。只要竞争对手不复制其创意结构,就可以重新使用这些事实。美国没有单独的数据库权利。
欧洲则不同。根据欧盟的特殊数据库权利(sui generis database right),如果数据库制作者在获取、核实或呈现其内容方面进行了大量投资,就可以阻止他人提取或再利用全部或实质性部分的内容。该权利持续15年,且当内容发生重大变化时可以续期。它还涵盖了反复、系统性地提取小部分内容,当这些累积起来足以损害数据库时的情形。
欧盟法院(CJEU)的三项判决塑造了该权利如何适用于数据采集者:
| 案件 | 年份 | 对抓取行为的意义 |
|---|---|---|
| British Horseracing Board v William Hill | 2004 | 只有在收集和核实现有数据方面的投资才算数,而不是在创造数据方面的投资。自行生成数据的网站(自己的赛程、自己的列表)可能难以主张该权利。发布数据并不意味着放弃该权利。 |
| Ryanair v PR Aviation | 2015 | 一个既不受版权保护、也不受数据库权利保护的数据库,仍然可以通过合同加以限制。在欧盟,使用条款可以实现知识产权法所不能实现的效果。 |
| CV-Online Latvia v Melons | 2021 | 一个复制并索引公开数据库的专业搜索引擎是在提取和再利用该数据库,但只有当这危及制作者收回投资的能力时,制作者才能加以阻止。 |
英国在脱欧后保留了自己的数据库权利。自2021年1月1日起,该权利仅保护英国的制作者,新的英国数据库不再享有欧盟的权利,反之亦然。
因此,对于采集者而言,在欧洲的问题不仅是”这些是事实吗?“,还包括”是否有人为收集这些数据进行了大量投资,而我是否正在获取其中的实质性部分?”
第三层:合同与采集方式
即使没有人拥有该数据,采集方式本身也可能产生法律责任。三起美国案件展示了这一模式。
- LinkedIn 与 hiQ。 第九巡回上诉法院在2019年以及2022年再次认定,hiQ提出了严肃的问题,即抓取公开资料是否构成联邦反黑客法规下的”未经授权”访问。但后来一家地区法院认定hiQ违反了LinkedIn的用户协议,包括使用虚假资料。该案于2022年12月以针对hiQ的判决告终,法院下达了永久禁令并命令销毁抓取的数据。在”黑客”问题上获胜并不意味着整体获胜。
- Meta在2024年针对一家网络数据公司的案件。 加州一家联邦法院于2024年1月裁定,Facebook和Instagram的条款”不禁止在未登录状态下抓取公开数据;因此也不禁止出售此类公开数据。“Meta撤回了其剩余的诉求,未提出上诉。
- X针对同一家公司的案件。 2024年5月,法院驳回了X关于抓取和出售公开帖子违反其条款的主张,认定这些主张被联邦版权法所优先排除:X仅持有其用户帖子的非排他性许可,不能利用其条款创设私有的、类似版权的控制权。2024年晚些时候,法院允许X继续基于数据访问方式(例如据称对其服务器造成的负担)提出主张。该案于2025年以保密条款和解。
对于所有权而言,这一教训虽然有限但很重要。平台的条款可能无法让其控制自己并不拥有的公开数据,但登录、接受条款、创建虚假账户或使服务器超负荷,每一项都会产生与数据所有权无关的独立风险。我们关于网络抓取是否合法的概述更详细地探讨了访问方面的问题。
第四层:文本与数据挖掘以及AI训练
如果数据集将用于训练或提供给AI模型,还会适用一套进一步的规则。
在欧盟,版权规则包含两项文本与数据挖掘的例外情形。研究机构和文化遗产机构可以为科学研究目的挖掘其合法获取的内容,权利人不能对此选择退出。其他所有人,包括商业用户,可以挖掘可合法获取的内容,除非权利人以适当方式保留了其权利,而对于在线内容而言,这意味着机器可读的方式。欧盟《人工智能法案》要求通用人工智能模型的提供者制定尊重这些保留的政策,并公布其训练内容的摘要。
什么构成有效的保留,目前仍在裁定之中。在摄影师Robert Kneschke针对非营利组织LAION提起的德国案件中,汉堡的法院认定LAION的使用属于研究例外范畴,上诉法院则认定图片代理机构的退出声明未能证明是机器可读的。德国联邦最高法院于2026年9月审理了该案,并表示正在考虑是否提请欧盟最高法院裁决。我们关于robots.txt、AI退出与保留信号的指南详细介绍了这些信号本身,我们关于哪些网站阻止AI爬虫的研究则展示了它们被使用的广泛程度。
美国法院的裁决结果不一,而获取方式的问题也不断浮现:
- 在Bartz v. Anthropic(2025年)案中,法院认定对合法获取的图书进行训练属于合理使用,但保留盗版副本则不属于合理使用。该案以15亿美元和解,最终批准于2026年7月作出。
- 在Kadrey v. Meta(2025年)案中,法院基于该案记录认定构成合理使用,但强调该裁决并未使此类训练在一般意义上合法。
- 2026年9月,第三巡回上诉法院在Thomson Reuters v. Ross案中维持原判,认定为训练一个竞争性法律研究工具而复制Westlaw的编辑性摘要(headnotes)不属于合理使用。法院指出,该AI系统无法生成新的表达,并将此案视为竞争者之间的普通版权纠纷处理。
对于数据集出售者而言,结论是数据的来源和获取的合法性会随数据一同流转。训练模型的买家会询问每一部分数据的来源。
第五层:个人数据
如果数据集包含有关可识别个人的信息,数据保护法将在其他一切之上额外适用。根据GDPR,公开可得的个人数据不存在豁免。无论是谁采集数据并决定如何处理,都是控制者,负有相应义务,包括告知个人其数据正被处理以及数据的来源。出售或许可该数据是另一个目的,需要有自己的法律依据,而买家也会成为控制者,承担自己的义务。
监管机构已就抓取行为采取执法行动。荷兰数据保护局于2024年对Clearview AI处以3050万欧元的罚款,原因是其通过抓取构建了一个面部图像数据库,此前意大利、希腊和法国也曾对其处以罚款。“它是公开的”并不构成抗辩理由。我们的GDPR合规概述涵盖了采集团队所需了解的基础知识。
你实际拥有什么
把各层内容放在一起,采集者的处境就变得清晰了。
- 你的筛选和编排。 在美国,版权可以保护你所做出的关于包含哪些内容以及如何组织的原创性选择,但不保护其中的事实本身。
- 你的数据库投资。 在欧盟或英国,如果你的公司在当地注册,且在获取、核实或呈现数据方面进行了大量投资,你的数据集可能拥有自己的数据库权利,你可以对其进行许可或转让。
- 你在此基础上所做的工作。 清洗、去重、规范化、增强、分类、评分、指数和分析都属于你。它们往往是数据集中最有价值、也最容易获得许可的部分。
- 永远不包括源站点的权利。 你的权利仅覆盖你所贡献的部分。它们不赋予你对所复制的文章、照片或评论的版权,也不会取消源站点的数据库权利或任何人的数据保护权利。
你可以许可或转售的内容
| 风险较低 | 风险较高 |
|---|---|
| 事实与度量数据:价格、库存情况、数量、日期 | 文章、产品描述或评论文本的副本 |
| 衍生数据:指数、趋势、聚合数据、评分、标记 | 照片、视频及其他媒体内容 |
| 规范化字段和你自己的分类 | 原样复制的单一欧洲数据库的实质性部分 |
| 指向源站点的链接,而非其副本 | 个人数据,尤其是个人资料 |
| 未经登录或未接受条款而采集的数据 | 通过账户、虚假资料或规避屏蔽所采集的数据 |
最安全的产品出售的是你从网络中获得的”认知”,而不是网络内容的副本。一个由数百万次观测构建而成的价格指数,无论在法律上还是商业上,都与零售商目录的镜像是不同的东西。
许可数据集之前
- 记录来源。 对数据集每一部分的来源、日期和采集方法进行记录。买家、审计人员和法院都会询问这些信息。
- 将事实与内容分开。 将表达性材料排除在转售产品之外,或者链接到它,而不是复制它。
- 核查欧洲数据库。 如果数据集的实质性部分来自单一的欧盟或英国来源,评估该来源是否拥有数据库权利。
- 审查采集方式。 记录你所接受的任何条款、使用过的登录方式,或遇到过的屏蔽。
- 筛查个人数据。 在分享前将其移除,或确认存在合法依据并保证透明度。
- 将其写入许可协议。 明确说明买家获得什么、可以对其做什么,以及买家承担哪些合规义务。
一份书面政策可以使上述大多数检查变得常规化。我们的数据采集政策模板是一个不错的起点。
常见问题
我拥有我从公开网站抓取的数据吗?
你拥有你自己的贡献:筛选、结构、清洗和分析成果,在欧洲,如果你进行了大量投资,还可能拥有数据库权利。你不拥有事实本身,也永远不会获得你所复制的创意内容的版权。
我可以出售抓取的数据吗?
对于事实以及由其衍生的数据,通常可以,前提是你是合法采集的,且数据集中不包含你无权分享的个人数据。转售文章、照片或评论的副本,转售受保护的欧洲数据库的实质性部分,或转售个人数据,风险要高得多。
网站的服务条款能决定其数据的所有权归属吗?
条款不能创设对事实的所有权,一家美国法院已认定平台不能利用其条款对公开数据创设类似版权的控制权。但条款仍然可以约束接受条款的人,并且在欧盟,条款可以限制对那些本身未受其他保护的数据库的使用。
公开可得的个人数据可以自由使用吗?
不可以。在欧盟和英国,无论个人数据是否公开,数据保护法都适用,监管机构已经因企业利用公开发布的图像构建数据库而对其处以罚款。
结论
抓取数据并不会转移数据的所有权。事实保持自由,创意内容归属其作者,欧洲数据库可以归属其制作者,个人数据依然受其所描述之人的权利约束。采集者所拥有的,是其所添加的内容:将原始页面转化为有用之物的筛选、结构、清洗和分析。构建并出售这些内容,记录一切的来源,并将他人作品和数据的副本排除在产品之外。
来源与参考文献
- 美国最高法院,Feist Publications v. Rural Telephone Service,1991年;17 U.S.C. 103。
- 关于数据库法律保护的96/9/EC指令。
- 欧盟法院,British Horseracing Board v William Hill,C-203/02,2004年;Ryanair v PR Aviation,C-30/14,2015年;CV-Online Latvia v Melons,C-762/19,2021年。
- 英国政府,自2021年1月1日起的特殊数据库权利。
- 美国第九巡回上诉法院,hiQ Labs v. LinkedIn,2022年4月18日。
- 美国北加州地区法院,案号3:23-cv-00077,2024年1月23日裁定;案号3:23-cv-03698,2024年5月9日裁定。
- 关于数字单一市场版权的(EU) 2019/790指令;(EU) 2024/1689条例,即AI法案。
- 美国第三巡回上诉法院,Thomson Reuters v. Ross Intelligence,案号25-2153,2026年9月29日。
- 美国北加州地区法院,Bartz v. Anthropic案,最终批准裁定,2026年7月20日。
- (EU) 2016/679条例,即GDPR;荷兰数据保护局,对Clearview AI的罚款,2024年9月。