轮换代理与粘性代理:如何选择合适的会话类型
轮换会话每次请求都会更换 IP;粘性会话则在设定时间内保持同一个 IP。本文介绍两者的工作原理、如何设置会话时长,以及会让两者失效的常见错误。
作者:Proxonym 团队
轮换代理每次请求都会分配新的 IP 地址。粘性代理则在设定时间内保持同一个 IP,让登录、翻阅多页搜索结果或结账等多步骤流程都从同一个地址发出。大批量的独立请求适合使用轮换会话;只要目标网站通过 Cookie 或服务器端状态把多个请求关联在一起,就应使用粘性会话。在我们的住宅代理、移动代理和不限流量代理网关上,只需一个用户名参数即可在两者之间切换。
轮换会话的工作原理
不带会话参数时,网关会为每个请求挑选一个新的节点。把下面的命令运行两次,会得到两个不同的 IP:
curl -x http://gw.proxonym.com:8000 -U "USERNAME-country-us:PASSWORD" https://api.ipify.org轮换有三大好处:负载分散到整个 IP 池,很少会触及单个 IP 的速率限制;某个 IP 被封只损失一个请求,而不是整个任务;您的请求看起来像许多互不相关的访客,事实也确实如此。代价是失去连续性:凡是依赖同一访客再次访问的功能,例如购物车、登录状态或服务器端的搜索游标,都可能因此中断。
轮换发生在新连接经过网关的时候。对于 HTTPS,客户端会建立一条通往目标网站的 CONNECT 隧道,经由这条隧道发送的所有请求都使用同一个出口 IP。因此,保持长连接(keep-alive)的 HTTP 客户端可能会用同一个 IP 发送多个请求。如果需要严格轮换,请为每个请求新建连接。
粘性会话的工作原理
在用户名中添加 -session-{id},网关就会为所有携带该 ID 的请求保持同一个 IP。ID 由您自行选择,可以是由 1 至 32 位字母和数字组成的任意字符串。添加 -lifetime-{minutes} 可设置 IP 的保持时长;不设置时,粘性会话默认持续 10 分钟。
# The same New York IP for up to 30 minutes
curl -x http://gw.proxonym.com:8000 \
-U "USERNAME-country-us-city-new_york-session-a7k2-lifetime-30:PASSWORD" \
https://api.ipify.org在会话时长内重复使用同一个 ID,就会得到同一个 IP;换一个 ID,就会得到另一个 IP。可以运行下面的循环来验证:它会三次输出同一个 IP。去掉 -session-test1 后,它会输出三个不同的 IP。
for i in 1 2 3; do
curl -s -x http://gw.proxonym.com:8000 -U "USERNAME-session-test1:PASSWORD" https://api.ipify.org; echo
done最长会话时长因产品而异:
| 产品 | 轮换方式 | 粘性会话时长 |
|---|---|---|
| 住宅 | 每次请求换新 IP | 1 至 120 分钟 |
| 不限流量住宅代理 | 每次请求换新 IP | 1 至 720 分钟(12 小时) |
| 移动 | 每个连接换新 IP | 1 至 3 分钟 |
| ISP | 静态,不轮换 | 整个租期内使用同一 IP |
住宅节点是真实的设备,因此节点可能在会话时长结束前就下线。这时网关会返回 502。请先重试一次;如果该会话仍然失败,请换用新的会话 ID,如果是登录流程,还需重新登录。
如何选择会话时长
会话时长应设为单个流程所需的最长时间,再留出一些余量。时长越长并不越安全:一个在中途被标记的 IP 会一直伴随您到会话结束,而且会话越长,对应节点掉线的可能性也越大。
| 任务 | 建议时长 |
|---|---|
| 对一次搜索或一个分类翻页(第 1 至 5 页) | 2 至 5 分钟 |
| 加购和结账测试 | 10 至 15 分钟 |
| 登录后读取多个账户页面 | 15 至 30 分钟 |
| 长时间的后台或报表会话 | 住宅代理 60 至 120 分钟,不限流量住宅代理最长 12 小时 |
| 移动应用流程 | 最长 3 分钟;流程需支持重新认证 |
| 需要连续多天保持同一 IP 的账号 | 这不是会话能解决的:请使用静态 ISP 代理 |
还要关注每个 IP 承担的请求数。一个工作线程每两秒发送一个请求,在 30 分钟的会话中就会从同一个 IP 发出 900 个请求。如果目标网站在几百个请求后就开始对该 IP 发起人机验证,请缩短会话时长或放慢工作线程的速度。会话时长和请求速率共同决定了每个 IP 的工作强度。
示例:数据抓取与登录流程
抓取商品目录:用轮换会话
商品页面彼此独立。每个请求都可以来自不同的 IP,某个页面被封也不会影响下一个页面。去掉会话参数,定位到您需要其价格数据的国家,失败的请求则换新 IP 重试。
登录流程:用粘性会话
登录会设置一个 Cookie,许多网站会把它与创建它的 IP 绑定。如果下一个请求携带这个 Cookie 却来自另一个 IP,这正是会话劫持的典型迹象,网站可能会让用户退出登录或要求验证。在整个流程期间,请让 IP 与 Cookie 存储始终绑定在一起:
import secrets
import requests
def sticky(country, minutes):
sid = secrets.token_hex(6) # 12 letters and digits
url = (f"http://USERNAME-country-{country}-session-{sid}-lifetime-{minutes}"
":PASSWORD@gw.proxonym.com:8000")
return {"http": url, "https": url}
proxies = sticky("gb", 20)
with requests.Session() as s: # one cookie jar, one IP
s.post("https://example.com/login", data={"email": "...", "password": "..."},
proxies=proxies, timeout=30)
orders = s.get("https://example.com/account/orders", proxies=proxies, timeout=30)请只对您拥有或获授权使用的账号执行自动登录。更多用法(包括重试和超时)请参阅 Python Requests 代理指南。
任务内粘性,任务间轮换
大多数实际任务会同时用到两者。排名跟踪工具会为每个关键词单独分配一个短时粘性会话,使第 1 至 3 页来自同一位访客,而不同关键词使用不同的 IP。无头浏览器需要为每个身份使用一个粘性会话,因为加载一个页面就要拉取几十个资源,它们都应来自同一个 IP;详见 Puppeteer 与 Playwright 代理。
每 N 个请求轮换一次
有些目标网站能容忍同一访客的短时突发请求,却无法容忍数百个请求。折中的做法是让每个 IP 只承担固定数量的请求,然后再切换:
import secrets
class SessionRotator:
"""Return the same session ID for per_ip requests, then a new one."""
def __init__(self, per_ip=20):
self.per_ip, self.used, self.sid = per_ip, 0, secrets.token_hex(4)
def username(self, country):
if self.used == self.per_ip:
self.used, self.sid = 0, secrets.token_hex(4)
self.used += 1
return f"USERNAME-country-{country}-session-{self.sid}-lifetime-10"为每个工作线程创建一个独立的轮换器,确保各工作线程之间不会共用 IP,并根据目标网站的容忍程度调整 per_ip。
需要避开的常见误区
- 所有工作线程共用一个会话 ID。如果 50 个线程共用
-session-1,它们就会共用同一个 IP,并一起触发速率限制。请为每个工作线程或任务分配独立的 ID。 - 不同脚本使用可预测的 ID。两个任务都使用
-session-1,最终就会落到同一个 IP 上。请生成随机 ID。 - 在流程中途修改参数。在会话的整个生命周期内,请保持完整的用户名不变,包括国家和城市参数。
- 轮换任务中保持长连接。如上文所述,连接池可能会把 IP 固定住。如果轮换很重要,请在请求之间关闭连接。
- 轮换 IP 却保留持久 Cookie。要么在请求之间清除 Cookie,要么改用粘性会话。IP 在变、Cookie 却不变,是两头不讨好的最差组合。
- 指望移动代理提供长会话。移动代理的会话最长只有 3 分钟。更长的流程请使用住宅代理、不限流量住宅代理或 ISP 代理。
完整的参数说明(包括 -state-、-asn- 和 -type-mobile)请参阅文档。
要点总结
- 轮换会话:不带会话参数,每次请求换新 IP。适用于大规模抓取彼此独立的页面。
- 粘性会话:
-session-{id}加-lifetime-{minutes}。适用于登录、购物车、翻页和浏览器。 - 在流程允许的前提下尽量缩短会话时长:住宅代理最长 120 分钟,不限流量住宅代理最长 12 小时,移动代理最长 3 分钟。
- 每个工作线程或任务使用一个随机会话 ID,切勿在不同任务之间共用 ID。
- 如果某个身份需要持续数天,请使用静态 ISP 代理,而不是依赖会话。
