新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

Python · 集成指南

如何在 Scrapy 中使用代理

Scrapy 从 request.meta 中读取每个请求的代理。只需一个简短的下载器中间件,就能让所有请求都经由 Proxonym 发出,单个请求也可以用自己的会话或位置设置覆盖它。

  • 共 6 步
  • 12 分钟完成配置
  • 复制即用的代码

开始之前

  • Python 3.10 或更高版本
  • Scrapy 2.x
  • Proxonym 住宅代理或移动代理套餐
获取代理凭据

已是客户?您的用户名和密码就在控制台中。

  1. 安装 Scrapy 并创建项目

    使用 pip 安装 Scrapy 并生成一个项目。下面的示例使用名为 proxydemo 的项目。

    Shell
    python -m pip install scrapy
    scrapy startproject proxydemo
    cd proxydemo
  2. 添加代理中间件

    将这个类添加到 proxydemo/middlewares.py 中。它会为每个尚未设置代理的请求指定网关,Scrapy 则会把 URL 中的凭据转换为 Proxy-Authorization 请求头。

    Python
    # proxydemo/middlewares.py
    class ProxonymProxyMiddleware:
        """Send requests through the Proxonym gateway unless they set their own proxy."""
    
        PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000"
    
        def process_request(self, request, spider=None):
            request.meta.setdefault("proxy", self.PROXY)
  3. 在 settings.py 中启用

    以低于 750 的优先级注册该中间件,使其在内置的 HttpProxyMiddleware 之前运行,并设置适合代理网关的重试次数和超时时间。

    Python
    # proxydemo/settings.py
    DOWNLOADER_MIDDLEWARES = {
        "proxydemo.middlewares.ProxonymProxyMiddleware": 350,
    }
    
    RETRY_TIMES = 3
    RETRY_HTTP_CODES = [429, 500, 502, 503, 504]
    DOWNLOAD_TIMEOUT = 60
  4. 检查出口 IP

    将这个爬虫保存为 proxydemo/spiders/ip.py,然后运行 scrapy crawl ip -O ip.json。输出文件中应包含一个不属于您自己的 IP 地址。

    Python
    # proxydemo/spiders/ip.py
    import scrapy
    
    
    class IpSpider(scrapy.Spider):
        name = "ip"
        start_urls = ["https://api.ipify.org?format=json"]
    
        def parse(self, response):
            yield {"ip": response.json()["ip"]}
  5. 按请求设置会话和位置

    设置了 meta["proxy"] 的请求会跳过中间件的默认值。为一条爬取路径分配独立的会话 ID,即可将同一 IP 最长保持 120 分钟;再添加国家、州或城市,即可获取本地化的结果。

    Python
    # proxydemo/spiders/geo.py
    import secrets
    
    import scrapy
    
    
    def proxy_for(country=None, city=None, session=None, lifetime=30):
        user = "USERNAME"
        if country:
            user += f"-country-{country}"
        if city:
            user += f"-city-{city}"
        if session:
            user += f"-session-{session}-lifetime-{lifetime}"
        return f"http://{user}:PASSWORD@gw.proxonym.com:8000"
    
    
    class GeoSpider(scrapy.Spider):
        name = "geo"
        start_urls = ["https://ipinfo.io/json"]
    
        def parse(self, response):
            yield {"rotating": response.json()}
            # Three follow-up requests that share one sticky IP in Paris
            session = secrets.token_hex(4)
            for n in range(3):
                yield scrapy.Request(
                    "https://ipinfo.io/json",
                    callback=self.parse_sticky,
                    dont_filter=True,
                    meta={"proxy": proxy_for(country="fr", city="paris", session=session)},
                    cb_kwargs={"n": n},
                )
    
        def parse_sticky(self, response, n):
            yield {"n": n, "sticky": response.json()}
  6. 调整重试和并发

    Scrapy 会重试超时、被拒绝的隧道以及 RETRY_HTTP_CODES 中列出的状态码。隧道被拒绝时,日志中会记录网关状态码;如果看到 407、402 或 403,请修复根本原因,而不是重试。

    Python
    # proxydemo/settings.py
    CONCURRENT_REQUESTS = 32
    CONCURRENT_REQUESTS_PER_DOMAIN = 8
    AUTOTHROTTLE_ENABLED = True
    AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0

常见问题

Scrapy 支持 SOCKS5 代理吗?

不原生支持。Scrapy 使用的是 HTTP 代理,而这对 Proxonym 来说已经足够:8000 端口上的网关通过 CONNECT 隧道传输 HTTPS,并支持所有定位参数和会话参数。1080 端口上的 SOCKS5 端点留给需要它的工具(例如非 HTTP 客户端)使用,爬虫则指向 HTTP 端点即可。

为什么 Scrapy 日志中出现 CONNECT 隧道错误?

这表示网关拒绝建立隧道,日志行中会包含网关的状态码。407 表示凭据错误,402 表示余额已用完或套餐已过期,403 表示目标网站受可接受使用政策限制而被屏蔽。502 或 504 是暂时性的上游故障,重试中间件会自动处理。

一个爬虫可以发送多少并发请求?

Proxonym 不限制并发会话数,每个账户的突发请求上限约为每秒 10,000 次。实际上限通常取决于目标网站,因此建议从 16 到 32 个并发请求开始,启用 AutoThrottle,并在观察错误率和响应时间的同时逐步提高并发数。

Scrapy 需要代理轮换插件吗?

使用住宅代理网关时不需要。同一个端点会在网络端轮换 IP,因此不存在需要循环使用的列表。轮换插件是为静态代理列表设计的,例如共享数据中心 IP 列表,这种情况下需要由爬虫自己为每个请求从列表中挑选不同的地址。

准备好接入了吗?立即获取凭据

选择套餐,从控制台复制用户名和密码,然后运行上面的代码。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费