博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 3 分钟阅读
去重抓取数据:产品、公司和列表的实体解析
同一产品、公司或列表在不同来源和不同抓取批次中多次出现。如何规范化标识符,大规模安全匹配,并保留一条干净的记录。
Matt Brown · 2026年9月28日 知识
知识 2 分钟阅读
每条干净记录的成本：财务真正能理解的抓取指标
GB数和请求次数无法告诉财务数据的真实成本。如何衡量每条干净记录及每次有效变更的成本，以及哪些杠杆对其影响最大。
James Meadow · 2026年9月27日 知识
知识 3 分钟阅读
robots.txt、AI退出选项与保留信号:2026年网络数据采集者应遵守的规则
robots.txt现在在欧盟具有法律效力,新的AI信号正在普及。每种信号意味着什么、AI爬虫遵守哪些信号,以及数据团队应如何应对。
James Meadow · 2026年9月26日 知识
知识 3 分钟阅读
品牌如何从在线假冒商品列表中构建可用于法庭的证据
发现假冒商品列表很容易,但事后证明却并不容易。如何捕获、哈希、加时间戳并保存能在法庭上站得住脚的列表证据。
Chris Collins · 2026年9月25日 知识
知识 2 分钟阅读
通过公开网络证据核实ESG声明
欧盟关于绿色声明的新规定将于2026年9月27日起适用。一种根据公开证据核查可持续性声明并跟踪变化的实用方法。
Matt Brown · 2026年9月25日 知识
知识 2 分钟阅读
监控供应商的公开信息足迹：一种实用的采集方法
供应商风险通常会先在公开信息中显现，然后才会出现在审计中。这是一套监控制裁名单、注册记录、网站和当地新闻的分步方法。
James Meadow · 2026年9月25日 知识
知识 2 分钟阅读
航空公司和酒店会按你所在的出境国给出不同报价吗?我们做了核实
我们通过住宅IP从六个国家加载了相同的Ryanair票价和Booking.com酒店价格。哪些发生了变化,哪些没有变化,以及我们无法访问到的内容。
Chris Collins · 2026年9月24日 知识
知识 2 分钟阅读
工作日、周末、假期：拦截率如何随日历变化
没有人会公布按星期几统计的爬虫拦截率。数据来自机器人、假期和高峰事件，揭示了拦截率变化的原因，以及如何衡量你自己的日历规律。
Matt Brown · 2026年9月24日 知识
知识 4 分钟阅读
子网传染：当一个被封锁的IP连累其邻居
黑名单和信誉系统常常根据IP的邻居来判断该IP。研究揭示了范围级封锁及其附带损害，以及如何识别这种情况。
James Meadow · 2026年9月23日