---
title: "网页抓取如何避免被封：12 个实用技巧 | Proxonym"
description: "网页抓取防封禁的 12 个技巧：速率限制、IP 轮换、请求头、会话、退避重试、缓存和监控，并以合规方式进行抓取。"
url: https://proxonym.com/zh/blog/web-scraping-without-getting-blocked
updated: 2026-10-02T03:03:46+00:00
---

指南 · 2026年10月1日 · 阅读约 5 分钟

# 网页抓取防封禁：12 个实用技巧

让爬虫持续稳定运行的十二个技巧：遵守规则、控制请求节奏、合理轮换 IP、保持行为一致、出错时退避、做好缓存并监控成功率。

作者：Proxonym 团队

网页抓取如何避免被封？关键是让您的流量在外观和行为上都像一位正常访客：遵守网站规则，保持适度的请求速率，把负载分散到多个 IP 上，发送完整且一致的请求头，保持会话连贯，在网站开始抵制时及时退避，并持续衡量成功率，以便尽早发现问题。没有哪一招能单独奏效。封禁源于一系列细小信号的累积，下面的十二个技巧会逐一消除这些信号。

## 从遵守规则开始

### 1. 遵守 robots.txt、服务条款和法律

在编写任何代码之前，先阅读目标网站的 robots.txt 和条款。只采集公开数据，未经许可不要抓取需要登录才能访问的内容，并尽量减少个人数据的采集，因为无论以何种方式获取，个人数据都受 GDPR 等法律的监管。合规与长期稳定指向同一个方向：保持礼貌的爬虫很少触发那些让抓取成本飙升的激进防御。代理帮助您分散合法流量，但并不能让被禁止的采集行为变得可以接受；我们的[可接受使用政策](https://proxonym.com/zh/acceptable-use)适用于每一个请求。

## 控制请求速率

### 2. 按域名限制请求速率

按目标域名而不是按爬虫设定请求预算。从低速率开始，例如对中等规模的网站每秒一个请求，然后一边观察错误率一边逐步提高。如果 robots.txt 中有 `Crawl-delay` 指令，请遵守它。速率限制保护的是网站的承载能力，而一个没有承受压力的网站几乎没有理由封禁您。请围绕预算安排抓取计划，而不是一味提高预算：在单个域名上以每秒一个请求的速度抓取 100,000 个页面，大约需要 28 小时。

### 3. 限制并发数

轮换 IP 让您可以并行发送大量请求，但目标网站看到的仍是请求总量。使用带有按域名并发上限的队列（视网站情况，例如同时处理 5 至 20 个请求），可以避免出现看起来像攻击的突发流量。代理端的不限并发是为了把工作分散到众多域名上，而不是把所有请求都对准同一个域名。

### 4. 出错时退避，并加入随机抖动

把 `429` 和 `503` 视为放慢速度的指令。遵守 `Retry-After`；如果没有该响应头，就在每次重试之间按指数级延长等待时间，并加入随机抖动，避免并行的工作线程同时重试：

**Python**

```python
import random
import time

import requests

PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}

def polite_get(session, url, tries=5, base=1.0, cap=60.0):
    for attempt in range(tries):
        try:
            r = session.get(url, proxies=PROXIES, timeout=(10, 60))
        except requests.RequestException:
            r = None                                  # network or tunnel error
        if r is not None and r.status_code != 429 and r.status_code < 500:
            return r                                  # success, or a 4xx to inspect
        if attempt == tries - 1:
            break
        wait = min(cap, base * 2 ** attempt)
        if r is not None and r.headers.get("Retry-After", "").isdigit():
            wait = int(r.headers["Retry-After"])      # the server says how long
        time.sleep(wait + random.uniform(0, wait / 2))
    raise RuntimeError(f"giving up on {url} after {tries} attempts")
```

## 保持访客特征一致

### 5. 选对 IP 池并轮换 IP

把请求分散到大量 IP 上，可以让每个地址都低于单 IP 限制。根据目标选择 IP 池：防护较弱的网站用[数据中心代理](https://proxonym.com/zh/datacenter-proxies)，会过滤托管 IP 的网站用[动态住宅代理](https://proxonym.com/zh/residential-proxies)。在我们的住宅代理网关上，不带会话参数的请求会自动获得新 IP，因此轮换无需额外编写代码。

### 6. 发送完整且一致的请求头

HTTP 库的默认请求头等于在宣告“我是脚本”：一个 `python-requests` User-Agent、却没有 `Accept-Language`，过滤起来轻而易举。请发送真实浏览器会发送的完整请求头：`User-Agent`、`Accept`、`Accept-Language` 和 `Accept-Encoding`；在页面之间跳转时，再加上合理的 `Referer`。各项声明也要保持一致。如果客户端自称是 Chrome，其 TLS 和 HTTP/2 指纹却明显不是 Chrome，这比如实报出库的 User-Agent 更容易引起怀疑。

### 7. 保持会话连贯

像浏览器一样接收 Cookie 并在后续请求中回传。当一个流程包含多个请求时（例如基于游标的翻页、购物车或登录），请用粘性会话在整个流程中保持同一个 IP，下一个流程再开启新会话。IP 应保持多长时间，请参阅[轮换会话与粘性会话](https://proxonym.com/zh/blog/rotating-vs-sticky-sessions)。

### 8. 匹配地理位置

使用位于目标内容所在国家的出口 IP，并让请求的其他部分与之一致：`Accept-Language`、货币和地区参数，以及浏览器中的时区。一个德国 IP 却请求以美元标价的英文页面，这就很反常。如果结果因地而异，可使用城市定位（例如 `-country-us-city-chicago`），让 IP 与内容处于同一地点。

## 少做无用功

### 9. 仅在必要时使用无头浏览器

浏览器速度慢、成本高，还会暴露更多指纹特征。在动用浏览器之前，先打开浏览器的“网络”面板看看：许多页面的数据都来自一个您可以直接调用的 JSON 接口。如果必须进行 JavaScript 渲染，请屏蔽图片、字体和媒体文件，并为每个浏览器上下文分配独立的粘性会话。相关代码见 [Puppeteer 与 Playwright 指南](https://proxonym.com/zh/blog/puppeteer-playwright-proxies)。

### 10. 缓存与去重

最省钱的请求，就是根本不发的请求。把抓取到的内容存储起来，跳过已有的 URL，并使用条件请求（`If-None-Match`、`If-Modified-Since`），让未变化的页面只返回一个很小的 `304`。站点地图和更新订阅源能告诉您哪些内容是新的，无需重新抓取所有页面。除了解析后的数据，也要保留原始响应，这样解析器出了 bug 时只需重新解析，而不必重新抓取。

### 11. 把验证码当作信号，而不是障碍

出现验证码，意味着网站已经判定您看起来像自动化程序。绕过验证码并不能改变这个判断，只会掩盖问题的根源。请降低请求速率，检查请求头和会话；如果问题出在 IP 上，就换用信任度更高的 IP 池；如果人机验证接连不断，就暂停对该域名的抓取。目标是减少人机验证，而不是更快地通过它们。

## 全面监测

### 12. 按域名监控成功率

按域名跟踪状态码、响应大小和延迟，并在成功率下降时发出告警。不要只看状态码，也要检查内容：返回 `200` 但内容是人机验证页面或空白商品列表，仍然属于被封禁。常见信号及应对方法如下：

| 信号 | 通常含义 | 响应 |
| --- | --- | --- |
| `429` 或 `Retry-After` 响应头 | 触发速率限制 | 放慢速度并遵循该响应头 |
| 原本正常的页面返回 `403` | IP 信誉或指纹被标记 | 检查请求头；将该域名切换到住宅代理 |
| 返回 `200`，但正文极小或包含人机验证代码 | 软封禁 | 计为失败并降低速率 |
| 被重定向到登录页或 Cookie 同意页 | 会话或 Cookie 问题 | 使用粘性会话并保留 Cookie |
| 延迟和超时不断增加 | 目标网站负载过高，或正在对您限速 | 降低并发数 |
| 网关返回 `502` | 上游节点掉线 | 重试即可，这不是封禁 |

每次失败都记录会话 ID 或出口 IP，以便区分是 IP 有问题还是请求模式有问题。持续关注这些数字，封禁就从突如其来的意外变成了一项可管理的指标；成功率下降时，通常意味着上述某项技巧需要改进，而且要赶在该域名彻底无法抓取之前。按目标类型划分的架构和 IP 池选择，请参阅[使用代理进行网页抓取](https://proxonym.com/zh/use-cases/web-scraping)。

## 要点总结

- 遵守 robots.txt、服务条款和法律；礼貌的爬虫触发的防御更少。
- 按域名规划请求量和并发数，遇到 429 和 503 时加入随机抖动进行退避。
- 从合适的 IP 池中轮换 IP，并在每个流程内保持 IP、Cookie、请求头和地理位置一致。
- 优先使用 JSON 接口和缓存，而不是无头浏览器和重复抓取。
- 把验证码和软封禁视为放慢速度的信号，并按域名跟踪成功率。

学以致用

- [住宅代理](https://proxonym.com/zh/residential-proxies): 最适合抓取防护严密的网站。 低至 **$0.74**/GB
- [数据中心代理](https://proxonym.com/zh/datacenter-proxies): 最适合在防护较弱的目标上追求速度和规模。 低至 **$0.013**/IP
- [不限流量住宅代理](https://proxonym.com/zh/unlimited-residential-proxies): 最适合大规模爬取和 AI 训练数据采集。 低至 **$33.25**/天

分步配置指南

- [Scrapy 代理配置](https://proxonym.com/zh/integrations/scrapy)
- [Python Requests 代理配置](https://proxonym.com/zh/integrations/python-requests)
- [Playwright 代理配置](https://proxonym.com/zh/integrations/playwright)

在您的目标网站上实测

自助购买套餐，支持加密货币付款，几分钟内即可开通。套餐绝不自动续费。

## 继续阅读

[全部文章](https://proxonym.com/zh/blog)

- [面向 AI 智能体的代理：为 LLM 应用提供可靠的网页访问](https://proxonym.com/zh/blog/proxies-for-ai-agents): 一旦被网站封锁，AI 智能体就会失灵。从搜索增强到浏览型智能体，本文说明每类任务适合哪种工具，并附上 Playwright 代码，以及让智能体始终受网站欢迎的使用规则。 (指南, 阅读约 5 分钟)
- [如何选择住宅代理服务商：10 项检查要点](https://proxonym.com/zh/blog/choose-residential-proxy-provider): 标价往往掩盖了大部分真实成本。本文给出区分住宅代理服务商的十项检查、一份危险信号对照表，以及在您自己的目标网站上进行测试的简单方法。 (指南, 阅读约 5 分钟)
- [住宅代理与数据中心代理：如何按业务需求选择](https://proxonym.com/zh/blog/residential-vs-datacenter-proxies): 住宅代理与数据中心代理的逐项对比，附决策表、混合路由策略，以及基于真实按 GB 和按 IP 价格的成本测算。 (指南, 阅读约 6 分钟)
