新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

Python Requests 代理指南:认证、轮换、重试与 SOCKS5

在 Python requests 中使用代理的可运行代码:proxies 字典、凭据、环境变量、轮换 IP 与粘性 IP、带退避的重试、SOCKS5 以及常见错误。

作者:Proxonym 团队

要在 Python requests 中使用代理,只需传入一个 proxies 字典,将每种 URL 协议映射到代理 URL:requests.get(url, proxies={"http": proxy, "https": proxy})。本指南的其余内容都建立在这一个参数之上:凭据、环境变量、会话、轮换、重试和 SOCKS5。示例使用的是我们的住宅代理网关 gw.proxonym.com:8000,但这些用法适用于任何 HTTP 代理。如需可直接复制粘贴的最简配置,请参阅 Python requests 集成指南。

Python Requests 设置代理:proxies 字典基础用法

Python
import requests

PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000"
proxies = {"http": PROXY, "https": PROXY}

r = requests.get("https://api.ipify.org?format=json", proxies=proxies, timeout=30)
print(r.json())   # {'ip': '...'}: the exit IP, not yours

字典的键是目标 URL 的协议,值是代理 URL。即使目标是 HTTPS,代理 URL 也应保持 http:// 协议:requests 会向代理发送 CONNECT 请求,再与目标网站建立端到端的 TLS 连接。如果写成 https://gw.proxonym.com:8000,urllib3 会尝试直接与代理本身建立 TLS 连接,结果会抛出 SSLError,例如 WRONG_VERSION_NUMBER。

凭据中包含特殊字符

如果密码中包含 @、: 或 /,请对其进行 URL 编码。否则代理 URL 会被错误解析,网关将返回 407。

Python
from urllib.parse import quote

password = quote("p@ss:w/rd", safe="")   # 'p%40ss%3Aw%2Frd'
PROXY = f"http://USERNAME:{password}@gw.proxonym.com:8000"

环境变量

requests 库也会从环境变量中读取代理设置,这样凭据就不必写在代码里:

Shell
export HTTP_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export HTTPS_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export NO_PROXY="localhost,127.0.0.1"

请求中的 proxies= 参数会覆盖环境变量。但有一个陷阱:环境变量会覆盖 session.proxies,因此一个多余的 HTTPS_PROXY 就可能悄无声息地替换掉您在会话上设置的代理。请在每个请求中都传入 proxies=,或者设置 session.trust_env = False 来忽略环境变量(这样也会忽略 .netrc 和 CA 证书包相关的变量)。

轮换 IP 与粘性 IP

在网关上,定位和会话都通过用户名设置。写一个小的辅助函数,可以让代码更清晰易读:

Python
import secrets
import requests

USERNAME, PASSWORD = "USERNAME", "PASSWORD"

def proxy_for(country=None, city=None, session=None, lifetime=None):
    user = USERNAME
    if country:
        user += f"-country-{country}"
    if city:
        user += f"-city-{city}"
    if session:
        user += f"-session-{session}"
        if lifetime:
            user += f"-lifetime-{lifetime}"
    url = f"http://{user}:{PASSWORD}@gw.proxonym.com:8000"
    return {"http": url, "https": url}

# Rotating: no session, so every new connection gets a new IP
for _ in range(3):
    print(requests.get("https://api.ipify.org", proxies=proxy_for("us"), timeout=30).text)

# Sticky: the same New York IP for up to 30 minutes
sticky = proxy_for("us", "new_york", session=secrets.token_hex(4), lifetime=30)
with requests.Session() as s:
    for _ in range(3):
        print(s.get("https://api.ipify.org", proxies=sticky, timeout=30).text)

这里有两个细节需要注意。第一,轮换是按连接进行的。requests.get() 每次调用都会新建连接,而 Session 会保持连接复用,复用同一条 CONNECT 隧道的 HTTPS 请求会共用其出口 IP。需要保持连续性时使用会话;需要严格轮换时,使用普通调用或 Connection: close 请求头。第二,为每个工作线程或任务分配独立的随机会话 ID;共用同一 ID 的工作线程也会共用同一个 IP。轮换会话与粘性会话一文介绍了如何选择会话时长,文档则列出了所有参数,包括 -state- 和 -asn-。

并发发送请求

requests 库是同步的,因此要提高吞吐量,请使用线程池。下面的每次调用都会打开独立的连接,因此各自获得不同的 IP:

Python
from concurrent.futures import ThreadPoolExecutor

urls = [f"https://example.com/product/{i}" for i in range(1, 101)]

def fetch(url):
    r = requests.get(url, proxies=proxy_for("us"), timeout=(10, 60))
    return url, r.status_code

with ThreadPoolExecutor(max_workers=10) as pool:
    for url, status in pool.map(fetch, urls):
        print(status, url)

网关支持不限数量的并发会话,但目标网站看到的是您全部流量的总和。请将每个域名的 max_workers 保持在适中水平,只有在错误率保持平稳时才逐步调高。

静态 IP 列表:数据中心代理与 ISP 代理

数据中心代理、独享代理和 ISP 代理不通过网关轮换。您会拿到一份 IP 列表,需要自己在列表中轮换使用。账户 API 会返回该列表;ISP 和独享代理的条目采用 ip:port:username:password 格式:

Python
import itertools

API = "https://api.proxonym.com/v1"
HEADERS = {"Authorization": "Bearer YOUR_API_KEY"}
lines = requests.get(f"{API}/proxies/isp?format=txt", headers=HEADERS, timeout=30).text.split()

def to_proxies(line):
    ip, port, user, password = line.split(":")
    url = f"http://{user}:{password}@{ip}:{port}"
    return {"http": url, "https": url}

pool = itertools.cycle([to_proxies(line) for line in lines])
r = requests.get("https://api.ipify.org", proxies=next(pool), timeout=30)

共享数据中心列表中的条目为 ip:port 格式,使用 HTTP 端口 3129:您可以在前面加上用户名和密码,或者将服务器 IP 加入白名单后直接使用。在 ISP IP 上运营账号时,请将每个账号固定在一个 IP 上,而不是循环轮换。

验证出口 IP 和位置

Python
info = requests.get("https://ipinfo.io/json", proxies=proxy_for("de"), timeout=30).json()
print(info["ip"], info.get("country"), info.get("city"), info.get("org"))

org 字段会显示 ASN,可以确认 IP 来自家用宽带运营商而非托管服务商。不同的地理位置数据库在城市级别上常有出入,因此某个数据库显示的城市不匹配,只能作为参考,不能作为定论。

重试、退避与超时

住宅节点偶尔会掉线,目标网站也会限速。在会话上挂载重试策略,让临时性故障按指数退避自动重试:

Python
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry = Retry(
    total=4,
    backoff_factor=1,                       # waits 0, 2, 4, 8 seconds
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "HEAD"],
    respect_retry_after_header=True,
)
adapter = HTTPAdapter(max_retries=retry)

session = requests.Session()
session.mount("http://", adapter)
session.mount("https://", adapter)
session.headers["Connection"] = "close"     # new connection, so a new IP, per attempt

r = session.get("https://example.com/catalog?page=2",
                proxies=proxy_for("us"), timeout=(10, 60))

不带 session 参数并设置 Connection: close 时,每次重试都会从不同的 IP 发出,这通常正是被封禁后您想要的效果。代价是每个请求都要重新进行一次 TLS 握手;对于需要粘性会话的任务,请去掉该请求头。

务必设置超时,因为 requests 默认会无限期等待。超时元组的格式为 (connect, read)。连接超时只涵盖连接到网关这一步,因此应设得短一些。网关在等待目标 60 秒无响应后会放弃并返回 504,因此将读取超时设为 60 秒左右是合理的上限。

通过 requests[socks] 使用 SOCKS5

Shell
pip install "requests[socks]"
Python
SOCKS = "socks5h://USERNAME-country-de:PASSWORD@gw.proxonym.com:1080"
r = requests.get("https://api.ipify.org", proxies={"http": SOCKS, "https": SOCKS}, timeout=30)

请使用 socks5h://,而不是 socks5://。其中的 h 表示由代理解析主机名,这样 DNS 查询就不会从您的机器泄露,基于地理位置的 DNS 也会按出口位置返回结果。两种协议之间的利弊权衡,请参阅 SOCKS5 与 HTTP 代理。

常见错误与解决方法

对于 HTTPS URL,由网关应答 CONNECT 请求,因此网关的状态码会以异常而不是响应的形式出现。异常信息中包含状态码,例如 Tunnel connection failed: 407 Proxy Authentication Required;根据 urllib3 版本的不同,异常类型为 ProxyError 或 ConnectionError。因此,对于 HTTPS URL,响应对象上的 403 来自目标网站,而不是网关。

错误原因解决方法
407凭据错误、特殊字符未编码,或服务器 IP 不在白名单中从控制台复制凭据,对密码进行 URL 编码,检查白名单
402流量余额已用完或套餐已过期在控制台中充值或续费
隧道错误中出现 403目标被可接受使用政策拦截不要重试:该目标对所有账户均已拦截
隧道错误中出现 429触发了网关的请求速率保护降低并发并退避重试
502上游节点连接失败重试;如果在粘性会话中反复出现,请换用新的会话 ID
504目标在 60 秒内未响应稍后重试,并检查目标网站是否对所有人都响应缓慢
SSLError: WRONG_VERSION_NUMBER代理 URL 使用了 https:// 协议改用 http://gw.proxonym.com:8000
InvalidSchema: Missing dependencies for SOCKS support未安装 PySockspip install "requests[socks]"

CERTIFICATE_VERIFY_FAILED 错误几乎总是本地问题:certifi 证书包过旧,或者企业代理拦截了 TLS 流量。请修复证书信任库,而不要设置 verify=False,那样只会掩盖真正的问题。

要点总结

  • 将 http 和 https 都映射到以 http:// 开头的代理 URL,并对密码中的特殊字符进行 URL 编码。
  • 显式传入的 proxies= 参数优先于环境变量,而环境变量又优先于 session.proxies。
  • 轮换按连接进行:普通调用会轮换 IP,保持连接的会话则会复用同一个 IP。
  • 在用户名中设置定位和粘性会话,每个任务使用一个随机会话 ID。
  • 遇到 429 和 5xx 时按指数退避重试,并始终设置超时。
  • 使用 SOCKS5 时,请安装 requests[socks] 并使用 socks5h://。

一个网关,数百万个身份

选择套餐,用加密货币付款,几分钟内即可通过 Proxonym 发送第一个请求。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费