-
安装 Scrapy 并创建项目
使用 pip 安装 Scrapy 并生成一个项目。下面的示例使用名为
proxydemo的项目。Shell python -m pip install scrapy scrapy startproject proxydemo cd proxydemo -
添加代理中间件
将这个类添加到
proxydemo/middlewares.py中。它会为每个尚未设置代理的请求指定网关,Scrapy 则会把 URL 中的凭据转换为 Proxy-Authorization 请求头。Python # proxydemo/middlewares.py class ProxonymProxyMiddleware: """Send requests through the Proxonym gateway unless they set their own proxy.""" PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000" def process_request(self, request, spider=None): request.meta.setdefault("proxy", self.PROXY) -
在 settings.py 中启用
以低于 750 的优先级注册该中间件,使其在内置的 HttpProxyMiddleware 之前运行,并设置适合代理网关的重试次数和超时时间。
Python # proxydemo/settings.py DOWNLOADER_MIDDLEWARES = { "proxydemo.middlewares.ProxonymProxyMiddleware": 350, } RETRY_TIMES = 3 RETRY_HTTP_CODES = [429, 500, 502, 503, 504] DOWNLOAD_TIMEOUT = 60 -
检查出口 IP
将这个爬虫保存为
proxydemo/spiders/ip.py,然后运行scrapy crawl ip -O ip.json。输出文件中应包含一个不属于您自己的 IP 地址。Python # proxydemo/spiders/ip.py import scrapy class IpSpider(scrapy.Spider): name = "ip" start_urls = ["https://api.ipify.org?format=json"] def parse(self, response): yield {"ip": response.json()["ip"]} -
按请求设置会话和位置
设置了
meta["proxy"]的请求会跳过中间件的默认值。为一条爬取路径分配独立的会话 ID,即可将同一 IP 最长保持 120 分钟;再添加国家、州或城市,即可获取本地化的结果。Python # proxydemo/spiders/geo.py import secrets import scrapy def proxy_for(country=None, city=None, session=None, lifetime=30): user = "USERNAME" if country: user += f"-country-{country}" if city: user += f"-city-{city}" if session: user += f"-session-{session}-lifetime-{lifetime}" return f"http://{user}:PASSWORD@gw.proxonym.com:8000" class GeoSpider(scrapy.Spider): name = "geo" start_urls = ["https://ipinfo.io/json"] def parse(self, response): yield {"rotating": response.json()} # Three follow-up requests that share one sticky IP in Paris session = secrets.token_hex(4) for n in range(3): yield scrapy.Request( "https://ipinfo.io/json", callback=self.parse_sticky, dont_filter=True, meta={"proxy": proxy_for(country="fr", city="paris", session=session)}, cb_kwargs={"n": n}, ) def parse_sticky(self, response, n): yield {"n": n, "sticky": response.json()} -
调整重试和并发
Scrapy 会重试超时、被拒绝的隧道以及
RETRY_HTTP_CODES中列出的状态码。隧道被拒绝时,日志中会记录网关状态码;如果看到 407、402 或 403,请修复根本原因,而不是重试。Python # proxydemo/settings.py CONCURRENT_REQUESTS = 32 CONCURRENT_REQUESTS_PER_DOMAIN = 8 AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
常见问题
Scrapy 支持 SOCKS5 代理吗?
不原生支持。Scrapy 使用的是 HTTP 代理,而这对 Proxonym 来说已经足够:8000 端口上的网关通过 CONNECT 隧道传输 HTTPS,并支持所有定位参数和会话参数。1080 端口上的 SOCKS5 端点留给需要它的工具(例如非 HTTP 客户端)使用,爬虫则指向 HTTP 端点即可。
为什么 Scrapy 日志中出现 CONNECT 隧道错误?
这表示网关拒绝建立隧道,日志行中会包含网关的状态码。407 表示凭据错误,402 表示余额已用完或套餐已过期,403 表示目标网站受可接受使用政策限制而被屏蔽。502 或 504 是暂时性的上游故障,重试中间件会自动处理。
一个爬虫可以发送多少并发请求?
Proxonym 不限制并发会话数,每个账户的突发请求上限约为每秒 10,000 次。实际上限通常取决于目标网站,因此建议从 16 到 32 个并发请求开始,启用 AutoThrottle,并在观察错误率和响应时间的同时逐步提高并发数。
Scrapy 需要代理轮换插件吗?
使用住宅代理网关时不需要。同一个端点会在网络端轮换 IP,因此不存在需要循环使用的列表。轮换插件是为静态代理列表设计的,例如共享数据中心 IP 列表,这种情况下需要由爬虫自己为每个请求从列表中挑选不同的地址。
