指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
15家住宅代理服务商,基于同一测试的排名
每家主要住宅代理网络均依据实测数据排名:IP池深度、网络覆盖范围、价格与响应时间,均来自同一测试。15家服务商的完整评分。
如何抓取重度防护的站点:从朴素请求到全隐身的升级阶梯
别把每一次抓取都跑成最高隐身。把力气匹配到目标:先用一个朴素客户端加一个干净 IP,只有当一个站点逼你时才往上爬。
如何抓取需要登录的站点:会话、Cookie 与规模化的粘性代理
登录之后的抓取,讲的是身份、而不是轮换。持久化会话 Cookie,把每个账户钉在一个干净的粘性 IP 上,并在不被封的情况下保持登录。
为什么你的爬虫在加载页面之前就被拦截:TLS 和 HTTP/2 指纹识别
用干净的住宅 IP、真实的 User-Agent,却依然瞬间被拦截?反爬机制会在 TLS 和 HTTP/2 层对你的 HTTP 客户端进行指纹识别,在你的请求被读取之前就已完成。
什么是反检测浏览器,以及住宅代理如何嵌入其中
反检测浏览器给每个配置文件它自己的设备指纹。但那只是身份的一半,IP 是另一半,而这两者必须匹配。
如何在 Scrapy 中用自定义中间件轮换住宅代理
Scrapy 按 meta 设代理,但 Proxy-Authorization 缓存这个坑会让轮换失效。一个自定义中间件,干净地轮换身份、并在遇到封锁时重试。
如何在 Selenium 中使用住宅代理(含需认证的代理)
Selenium 设代理主机很容易,但没有内建方式来传凭据。如何用 Selenium Wire、一个扩展、或 CDP 来处理需认证的代理。
如何在规模上可靠地抓取分页与无限滚动
分页正是抓取器无声丢数据的地方:跳过的页、重复计数、过早停下。如何把每个条目恰好取一次,并知道你到底有没有取完。
Shifter 对比 Decodo:我们统计了 5 个国家的每一个存活 IP
Shifter 的价格低至 $0.75/GB,而 Decodo 为 $2.75。我们在 5 个国家分别通过两者发送了 560,000 次请求,并统计了每一个唯一出口 IP。完整结果和方法。