博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 2 分钟阅读
如何在 Puppeteer 中使用住宅代理（含 page.authenticate）
Puppeteer 里的代理：代理放进启动参数，凭据放进 page.authenticate，经一个 gateway 做按页面地理轮换，以及资源拦截。
Chris Collins · 2026年8月5日 数据抓取
数据抓取 1 分钟阅读
监控一条抓取管线：那些在你的数据崩坏之前就告诉你它正在崩的指标
抓取器会无声地失败：cron 在跑，日志写着 200，数据却悄悄坏掉。那些在管线里、而不是在董事会里抓住它的指标与告警。
Chris Collins · 2026年8月4日 知识
知识 1 分钟阅读
2026 年网页抓取的现状
AI 让数据采集变得战略化，反爬走向网络层，封锁变得隐形，计价转向了带宽。2026 年网页抓取身处何地。
James Meadow · 2026年8月3日 知识
知识 3 分钟阅读
如何在 C# 中用 HttpClient 使用住宅代理
C# 里的代理：带 NetworkCredential 的 WebProxy、SocketsHttpHandler 与 PooledConnectionLifetime、IHttpClientFactory，以及用于地理轮换的按身份客户端。
Chris Collins · 2026年8月2日 知识
知识 1 分钟阅读
自建还是购买：你该自己运营抓取基础设施吗？
一个演示抓取器只要一个下午。把它跑到规模上则是一个产品。一套框架，讲清什么该自建、什么该购买，以及那唯一一层永远该租。
Chris Collins · 2026年8月1日 数据抓取
数据抓取 1 分钟阅读
如何识别一个站点正在给你返回伪造或被封的内容
危险的抓取失败不是你看得见的 403，而是那个塞满垃圾的 200 OK。如何检测软封锁、蜜罐和被投毒的数据。
Chris Collins · 2026年7月31日 新闻
新闻 1 分钟阅读
隆重推出：钱包自动充值
设一个阈值和一个充值额，你的 Shifter 钱包就会自己充值，让按用量计费的扣款永不暂停你的代理。带每月上限，随时可关。
James Meadow · 2026年7月30日 知识
知识 4 分钟阅读
如何在 Node.js 中用 Axios 和 Got 使用住宅代理
Node.js 里的代理：为什么 Axios 需要 https-proxy-agent 和 proxy:false、Got 的 agent 选项、undici 给 fetch 用的 ProxyAgent，以及按请求的地理轮换。
Chris Collins · 2026年7月29日 知识
知识 3 分钟阅读
如何用 Kubernetes 扩展住宅代理抓取工作负载
在 Kubernetes 上跑抓取：代理凭据用 Secret，用 Downward API 给每个 Pod 分配会话身份，按队列深度自动扩缩，以及优雅关停。
Chris Collins · 2026年7月28日