博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
数据抓取
数据抓取 4 分钟阅读
过时 User-Agent 的代价:衡量浏览器版本漂移
爬虫常常硬编码一个浏览器版本,然后就不再更新。我们以声称长达6.5年之久的旧版Chrome身份请求了397个热门网站,拒绝率逐年攀升。
Chris Collins · 2026年10月5日 知识
知识 2 分钟阅读
制定企业数据采集政策:一份实用模板
大多数采集网络数据的团队都没有成文规则。一份实用的政策模板:涵盖范围、审批、数据来源、个人数据及下架处理。
Matt Brown · 2026年10月4日 知识
知识 3 分钟阅读
跨市场无障碍审计：测试每个国家用户实际看到的内容
对美国首页的审计几乎说明不了你的德国或日本首页的情况。我们审计了来自四个国家的23个网站：四分之一存在仅特定市场才有的问题。
James Meadow · 2026年10月4日 数据抓取
数据抓取 5 分钟阅读
你的目标可以被屏蔽吗？反爬虫技术栈查询
在构建爬虫之前，先了解目标受何种保护。我们检查了排名前1000的域名：它们使用了哪些反爬虫厂商，以及一个普通客户端的表现如何。
Chris Collins · 2026年10月3日 知识
知识 3 分钟阅读
价格一致性监控：发现自家库存被低价竞标
当酒店房间在其他渠道上显示更便宜的价格时，酒店会失去直接预订。如何在不引发误报的情况下监控各渠道和市场的价格一致性。
Matt Brown · 2026年10月3日 数据抓取
数据抓取 3 分钟阅读
代理选择作为多臂老虎机问题
下一个请求应该使用哪种代理配置？把它当作一个老虎机问题来处理。在我们的模拟中，自适应选择的结果与完美事后判断的差距仅为2%。
James Meadow · 2026年10月2日 数据抓取
数据抓取 4 分钟阅读
设计幂等爬虫:中断后重启而不重复
爬虫会崩溃。我们在抓取过程中将一个爬虫强制终止了十次:简单版本存储的行数多达4.3倍,幂等版本则恰好是500行。如何构建后者。
Chris Collins · 2026年10月2日 知识
知识 4 分钟阅读
如何大规模检测虚假评论和评论欺诈
美国、英国和欧盟均已禁止虚假评论,各平台也删除了数以亿计的虚假评论。如何在众多产品中检测评论欺诈,附经过测试的代码。
Matt Brown · 2026年10月2日 知识
知识 4 分钟阅读
使用 hreflang 查找页面的所有语言和国家版本
hreflang 列出页面的所有本地化版本。我们检查了顶级网站如何使用它、哪些地方会出错,以及为什么有些版本只能在特定国家内打开。
James Meadow · 2026年10月1日