博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
数据抓取
数据抓取 4 分钟阅读
测试爬虫：Fixtures、重放与回归套件
网站一变化，爬虫就会失效，而直接访问真实网站的测试也会随之失效。如何用录制的 fixtures、重放和每日金丝雀测试来测试爬虫。
Chris Collins · 2026年10月9日 数据抓取
数据抓取 4 分钟阅读
你的爬虫很慢,而问题可能不在代理
我们在不改动代理的情况下,将一个通过住宅代理运行的爬虫速度提升了7.5倍。如何找到时间真正耗费在哪里,并加以解决。
Matt Brown · 2026年10月8日 数据抓取
数据抓取 4 分钟阅读
有效载荷效率:抓取的页面中有多少是你花钱买的样板内容
我们测量了来自前1000个网站的278个内容页面。你想要的文本大约占HTML的1%,只是浏览器下载内容中极小的一部分。
Elena Petrova · 2026年10月8日 数据抓取
数据抓取 4 分钟阅读
谁在屏蔽AI爬虫？GPTBot、ClaudeBot及其他在前10,000个网站中的表现
我们查阅了前10,000个域名的robots.txt文件。五分之一的网站至少屏蔽了一个AI爬虫，而几乎所有网站仍然对搜索引擎敞开大门。
Chris Collins · 2026年10月6日 数据抓取
数据抓取 4 分钟阅读
过时 User-Agent 的代价:衡量浏览器版本漂移
爬虫常常硬编码一个浏览器版本,然后就不再更新。我们以声称长达6.5年之久的旧版Chrome身份请求了397个热门网站,拒绝率逐年攀升。
Chris Collins · 2026年10月5日 数据抓取
数据抓取 5 分钟阅读
你的目标可以被屏蔽吗？反爬虫技术栈查询
在构建爬虫之前，先了解目标受何种保护。我们检查了排名前1000的域名：它们使用了哪些反爬虫厂商，以及一个普通客户端的表现如何。
Chris Collins · 2026年10月3日 数据抓取
数据抓取 3 分钟阅读
代理选择作为多臂老虎机问题
下一个请求应该使用哪种代理配置？把它当作一个老虎机问题来处理。在我们的模拟中，自适应选择的结果与完美事后判断的差距仅为2%。
James Meadow · 2026年10月2日 数据抓取
数据抓取 4 分钟阅读
设计幂等爬虫:中断后重启而不重复
爬虫会崩溃。我们在抓取过程中将一个爬虫强制终止了十次:简单版本存储的行数多达4.3倍,幂等版本则恰好是500行。如何构建后者。
Chris Collins · 2026年10月2日