网页抓取防封禁:12 个实用技巧
让爬虫持续稳定运行的十二个技巧:遵守规则、控制请求节奏、合理轮换 IP、保持行为一致、出错时退避、做好缓存并监控成功率。
作者:Proxonym 团队
网页抓取如何避免被封?关键是让您的流量在外观和行为上都像一位正常访客:遵守网站规则,保持适度的请求速率,把负载分散到多个 IP 上,发送完整且一致的请求头,保持会话连贯,在网站开始抵制时及时退避,并持续衡量成功率,以便尽早发现问题。没有哪一招能单独奏效。封禁源于一系列细小信号的累积,下面的十二个技巧会逐一消除这些信号。
从遵守规则开始
1. 遵守 robots.txt、服务条款和法律
在编写任何代码之前,先阅读目标网站的 robots.txt 和条款。只采集公开数据,未经许可不要抓取需要登录才能访问的内容,并尽量减少个人数据的采集,因为无论以何种方式获取,个人数据都受 GDPR 等法律的监管。合规与长期稳定指向同一个方向:保持礼貌的爬虫很少触发那些让抓取成本飙升的激进防御。代理帮助您分散合法流量,但并不能让被禁止的采集行为变得可以接受;我们的可接受使用政策适用于每一个请求。
控制请求速率
2. 按域名限制请求速率
按目标域名而不是按爬虫设定请求预算。从低速率开始,例如对中等规模的网站每秒一个请求,然后一边观察错误率一边逐步提高。如果 robots.txt 中有 Crawl-delay 指令,请遵守它。速率限制保护的是网站的承载能力,而一个没有承受压力的网站几乎没有理由封禁您。请围绕预算安排抓取计划,而不是一味提高预算:在单个域名上以每秒一个请求的速度抓取 100,000 个页面,大约需要 28 小时。
3. 限制并发数
轮换 IP 让您可以并行发送大量请求,但目标网站看到的仍是请求总量。使用带有按域名并发上限的队列(视网站情况,例如同时处理 5 至 20 个请求),可以避免出现看起来像攻击的突发流量。代理端的不限并发是为了把工作分散到众多域名上,而不是把所有请求都对准同一个域名。
4. 出错时退避,并加入随机抖动
把 429 和 503 视为放慢速度的指令。遵守 Retry-After;如果没有该响应头,就在每次重试之间按指数级延长等待时间,并加入随机抖动,避免并行的工作线程同时重试:
import random
import time
import requests
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
def polite_get(session, url, tries=5, base=1.0, cap=60.0):
for attempt in range(tries):
try:
r = session.get(url, proxies=PROXIES, timeout=(10, 60))
except requests.RequestException:
r = None # network or tunnel error
if r is not None and r.status_code != 429 and r.status_code < 500:
return r # success, or a 4xx to inspect
if attempt == tries - 1:
break
wait = min(cap, base * 2 ** attempt)
if r is not None and r.headers.get("Retry-After", "").isdigit():
wait = int(r.headers["Retry-After"]) # the server says how long
time.sleep(wait + random.uniform(0, wait / 2))
raise RuntimeError(f"giving up on {url} after {tries} attempts")保持访客特征一致
5. 选对 IP 池并轮换 IP
把请求分散到大量 IP 上,可以让每个地址都低于单 IP 限制。根据目标选择 IP 池:防护较弱的网站用数据中心代理,会过滤托管 IP 的网站用动态住宅代理。在我们的住宅代理网关上,不带会话参数的请求会自动获得新 IP,因此轮换无需额外编写代码。
6. 发送完整且一致的请求头
HTTP 库的默认请求头等于在宣告“我是脚本”:一个 python-requests User-Agent、却没有 Accept-Language,过滤起来轻而易举。请发送真实浏览器会发送的完整请求头:User-Agent、Accept、Accept-Language 和 Accept-Encoding;在页面之间跳转时,再加上合理的 Referer。各项声明也要保持一致。如果客户端自称是 Chrome,其 TLS 和 HTTP/2 指纹却明显不是 Chrome,这比如实报出库的 User-Agent 更容易引起怀疑。
7. 保持会话连贯
像浏览器一样接收 Cookie 并在后续请求中回传。当一个流程包含多个请求时(例如基于游标的翻页、购物车或登录),请用粘性会话在整个流程中保持同一个 IP,下一个流程再开启新会话。IP 应保持多长时间,请参阅轮换会话与粘性会话。
8. 匹配地理位置
使用位于目标内容所在国家的出口 IP,并让请求的其他部分与之一致:Accept-Language、货币和地区参数,以及浏览器中的时区。一个德国 IP 却请求以美元标价的英文页面,这就很反常。如果结果因地而异,可使用城市定位(例如 -country-us-city-chicago),让 IP 与内容处于同一地点。
少做无用功
9. 仅在必要时使用无头浏览器
浏览器速度慢、成本高,还会暴露更多指纹特征。在动用浏览器之前,先打开浏览器的“网络”面板看看:许多页面的数据都来自一个您可以直接调用的 JSON 接口。如果必须进行 JavaScript 渲染,请屏蔽图片、字体和媒体文件,并为每个浏览器上下文分配独立的粘性会话。相关代码见 Puppeteer 与 Playwright 指南。
10. 缓存与去重
最省钱的请求,就是根本不发的请求。把抓取到的内容存储起来,跳过已有的 URL,并使用条件请求(If-None-Match、If-Modified-Since),让未变化的页面只返回一个很小的 304。站点地图和更新订阅源能告诉您哪些内容是新的,无需重新抓取所有页面。除了解析后的数据,也要保留原始响应,这样解析器出了 bug 时只需重新解析,而不必重新抓取。
11. 把验证码当作信号,而不是障碍
出现验证码,意味着网站已经判定您看起来像自动化程序。绕过验证码并不能改变这个判断,只会掩盖问题的根源。请降低请求速率,检查请求头和会话;如果问题出在 IP 上,就换用信任度更高的 IP 池;如果人机验证接连不断,就暂停对该域名的抓取。目标是减少人机验证,而不是更快地通过它们。
全面监测
12. 按域名监控成功率
按域名跟踪状态码、响应大小和延迟,并在成功率下降时发出告警。不要只看状态码,也要检查内容:返回 200 但内容是人机验证页面或空白商品列表,仍然属于被封禁。常见信号及应对方法如下:
| 信号 | 通常含义 | 响应 |
|---|---|---|
429 或 Retry-After 响应头 | 触发速率限制 | 放慢速度并遵循该响应头 |
原本正常的页面返回 403 | IP 信誉或指纹被标记 | 检查请求头;将该域名切换到住宅代理 |
返回 200,但正文极小或包含人机验证代码 | 软封禁 | 计为失败并降低速率 |
| 被重定向到登录页或 Cookie 同意页 | 会话或 Cookie 问题 | 使用粘性会话并保留 Cookie |
| 延迟和超时不断增加 | 目标网站负载过高,或正在对您限速 | 降低并发数 |
网关返回 502 | 上游节点掉线 | 重试即可,这不是封禁 |
每次失败都记录会话 ID 或出口 IP,以便区分是 IP 有问题还是请求模式有问题。持续关注这些数字,封禁就从突如其来的意外变成了一项可管理的指标;成功率下降时,通常意味着上述某项技巧需要改进,而且要赶在该域名彻底无法抓取之前。按目标类型划分的架构和 IP 池选择,请参阅使用代理进行网页抓取。
要点总结
- 遵守 robots.txt、服务条款和法律;礼貌的爬虫触发的防御更少。
- 按域名规划请求量和并发数,遇到 429 和 503 时加入随机抖动进行退避。
- 从合适的 IP 池中轮换 IP,并在每个流程内保持 IP、Cookie、请求头和地理位置一致。
- 优先使用 JSON 接口和缓存,而不是无头浏览器和重复抓取。
- 把验证码和软封禁视为放慢速度的信号,并按域名跟踪成功率。
