---
title: "Scrapy 代理中间件：轮换与粘性 IP | Proxonym"
description: "通过下载器中间件让 Scrapy 爬虫使用轮换代理：按请求设置粘性会话、地理定位、重试和并发参数，附可直接复制的代码示例。"
url: https://proxonym.com/zh/integrations/scrapy
updated: 2026-10-02T03:03:46+00:00
---

# 如何在 Scrapy 中使用代理

Scrapy 从 request.meta 中读取每个请求的代理。只需一个简短的下载器中间件，就能让所有请求都经由 Proxonym 发出，单个请求也可以用自己的会话或位置设置覆盖它。

- 共 6 步
- 12 分钟完成配置
- 复制即用的代码

开始之前

- Python 3.10 或更高版本
- Scrapy 2.x
- Proxonym 住宅代理或移动代理套餐

连接参数

- **主机**: `gw.proxonym.com`
- **HTTP**: `8000`
- **SOCKS5**: `1080`
- **用户名**: `USERNAME-country-us`

1. **安装 Scrapy 并创建项目**: 使用 pip 安装 Scrapy 并生成一个项目。下面的示例使用名为 `proxydemo` 的项目。 Shell `python -m pip install scrapy scrapy startproject proxydemo cd proxydemo`
2. **添加代理中间件**: 将这个类添加到 `proxydemo/middlewares.py` 中。它会为每个尚未设置代理的请求指定网关，Scrapy 则会把 URL 中的凭据转换为 Proxy-Authorization 请求头。 Python `# proxydemo/middlewares.py class ProxonymProxyMiddleware: """Send requests through the Proxonym gateway unless they set their own proxy.""" PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000" def process_request(self, request, spider=None): request.meta.setdefault("proxy", self.PROXY)`
3. **在 settings.py 中启用**: 以低于 750 的优先级注册该中间件，使其在内置的 HttpProxyMiddleware 之前运行，并设置适合代理网关的重试次数和超时时间。 Python `# proxydemo/settings.py DOWNLOADER_MIDDLEWARES = { "proxydemo.middlewares.ProxonymProxyMiddleware": 350, } RETRY_TIMES = 3 RETRY_HTTP_CODES = [429, 500, 502, 503, 504] DOWNLOAD_TIMEOUT = 60`
4. **检查出口 IP**: 将这个爬虫保存为 `proxydemo/spiders/ip.py`，然后运行 `scrapy crawl ip -O ip.json`。输出文件中应包含一个不属于您自己的 IP 地址。 Python `# proxydemo/spiders/ip.py import scrapy class IpSpider(scrapy.Spider): name = "ip" start_urls = ["https://api.ipify.org?format=json"] def parse(self, response): yield {"ip": response.json()["ip"]}`
5. **按请求设置会话和位置**: 设置了 `meta["proxy"]` 的请求会跳过中间件的默认值。为一条爬取路径分配独立的会话 ID，即可将同一 IP 最长保持 120 分钟；再添加国家、州或城市，即可获取本地化的结果。 Python `# proxydemo/spiders/geo.py import secrets import scrapy def proxy_for(country=None, city=None, session=None, lifetime=30): user = "USERNAME" if country: user += f"-country-{country}" if city: user += f"-city-{city}" if session: user += f"-session-{session}-lifetime-{lifetime}" return f"http://{user}:PASSWORD@gw.proxonym.com:8000" class GeoSpider(scrapy.Spider): name = "geo" start_urls = ["https://ipinfo.io/json"] def parse(self, response): yield {"rotating": response.json()} # Three follow-up requests that share one sticky IP in Paris session = secrets.token_hex(4) for n in range(3): yield scrapy.Request( "https://ipinfo.io/json", callback=self.parse_sticky, dont_filter=True, meta={"proxy": proxy_for(country="fr", city="paris", session=session)}, cb_kwargs={"n": n}, ) def parse_sticky(self, response, n): yield {"n": n, "sticky": response.json()}`
6. **调整重试和并发**: Scrapy 会重试超时、被拒绝的隧道以及 `RETRY_HTTP_CODES` 中列出的状态码。隧道被拒绝时，日志中会记录网关状态码；如果看到 407、402 或 403，请修复根本原因，而不是重试。 Python `# proxydemo/settings.py CONCURRENT_REQUESTS = 32 CONCURRENT_REQUESTS_PER_DOMAIN = 8 AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0`

## 常见问题

### Scrapy 支持 SOCKS5 代理吗？

不原生支持。Scrapy 使用的是 HTTP 代理，而这对 Proxonym 来说已经足够：8000 端口上的网关通过 CONNECT 隧道传输 HTTPS，并支持所有定位参数和会话参数。1080 端口上的 SOCKS5 端点留给需要它的工具（例如非 HTTP 客户端）使用，爬虫则指向 HTTP 端点即可。

### 为什么 Scrapy 日志中出现 CONNECT 隧道错误？

这表示网关拒绝建立隧道，日志行中会包含网关的状态码。407 表示凭据错误，402 表示余额已用完或套餐已过期，403 表示目标网站受可接受使用政策限制而被屏蔽。502 或 504 是暂时性的上游故障，重试中间件会自动处理。

### 一个爬虫可以发送多少并发请求？

Proxonym 不限制并发会话数，每个账户的突发请求上限约为每秒 10,000 次。实际上限通常取决于目标网站，因此建议从 16 到 32 个并发请求开始，启用 AutoThrottle，并在观察错误率和响应时间的同时逐步提高并发数。

### Scrapy 需要代理轮换插件吗？

使用住宅代理网关时不需要。同一个端点会在网络端轮换 IP，因此不存在需要循环使用的列表。轮换插件是为静态代理列表设计的，例如共享数据中心 IP 列表，这种情况下需要由爬虫自己为每个请求从列表中挑选不同的地址。

技巧与注意事项

- Scrapy 没有内置 SOCKS5 支持，因此请使用 8000 端口的 HTTP 网关，它会通过 CONNECT 隧道传输 HTTPS。
- Scrapy 会保持长连接，因此发往同一网站的连续请求可能共用一个出口 IP；如果某个请求必须来自新 IP，请为它分配独立的随机会话 ID。
- 在 settings.py 中从环境变量读取用户名和密码，不要把它们提交到代码仓库。
- 在大规模爬取之前，先用计划使用的每种定位组合运行 ip 爬虫，并检查输出文件中的结果。

延伸阅读

- [网页抓取防封禁：12 个实用技巧](https://proxonym.com/zh/blog/web-scraping-without-getting-blocked)
- [轮换代理与粘性代理：如何选择合适的会话类型](https://proxonym.com/zh/blog/rotating-vs-sticky-sessions)

卡在某一步了？

大多数故障都可以从错误代码中找到原因。请先查看错误代码，再单独测试代理。

- [帮助中心](https://proxonym.com/zh/help)
- [网关错误代码](https://proxonym.com/zh/docs#errors-and-troubleshooting)
- [测试您的代理](https://proxonym.com/zh/proxy-checker)

## 更多集成指南

[全部集成](https://proxonym.com/zh/integrations)

- [Python Requests (Python 库)](https://proxonym.com/zh/integrations/python-requests)
- [Selenium (Python 库)](https://proxonym.com/zh/integrations/selenium)
- [AdsPower (指纹浏览器)](https://proxonym.com/zh/integrations/adspower)
