电商与价格监控
跨电商平台跟踪竞争对手的价格、库存和评价。
使用场景 · 网页抓取
通过 5500万+ 个住宅 IP 和 40,000 个数据中心 IP,以任意规模采集公开网页数据。每次请求自动轮换,需要时保持粘性会话,并可定位任意国家、城市或 ASN。
面临的挑战
每个网页抓取团队迟早都会遇到的问题。
网站会统计每个 IP 的请求数。用同一个地址抓取几百个页面,您就会被限速、收到 429 错误,甚至被直接封禁,而且往往发生在今晚必须完成的任务进行到一半时。
反爬虫系统会给每位访客打分。数据中心 IP 段、不匹配的地理位置和千篇一律的请求模式都会推高这个分数,直到每个页面返回的都是人机验证,而不是您想要的数据。
价格、库存、搜索结果,甚至页面布局,都取决于访客所在的位置。从错误的国家抓取,您的数据集就会在不知不觉中描述一个您的客户从未见过的市场。
解决方案
所有设置都在用户名中完成,无需额外工具,也无需单独的端点。
省略会话参数,每个请求就会从不同的住宅 IP 发出。负载分散到由 5500万+ 个地址组成的 IP 池中,单 IP 限制不再是您的瓶颈。
在用户名中添加 -session-{id},住宅代理即可将同一 IP 保持最长 120 分钟。登录、分页列表和多步骤流程从第一个请求到最后一个请求都保持一致。
在用户名中选择位置,例如 -country-de-city-berlin,即可采集当地访客看到的页面原貌。无需管理单独的端口或列表。
每个套餐都支持不限数量的并发会话,每个账户的突发请求上限约为每秒 10,000 次。线程、工作进程和无头浏览器的规模,只受您自身基础设施的限制。
推荐
从第一种开始即可。随着目标增多,大多数团队会再增加一个 IP 池。
开始使用
有防护的目标从住宅代理起步,防护较弱的目标则从数据中心代理起步。付款后几分钟内即可开通套餐,目标发生变化时,您随时可以切换或组合使用不同产品。
将 gw.proxonym.com:8000 设为代理,并使用控制台中的凭据。任何支持 HTTP 或 SOCKS5 的工具都能使用,从 requests、Scrapy 到 Playwright、Puppeteer,再到原生 cURL。
添加国家或城市参数,只在需要保持状态时使用会话,并用新 IP 重试返回 502 的请求。在控制台中或通过 API 按子用户跟踪用量。
网页抓取最佳实践
# pip install requests
import random
import time
from concurrent.futures import ThreadPoolExecutor
import requests
# No -session parameter: every request exits from a new US residential IP
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
RETRY_ON = {429, 502, 504}
def fetch(url, attempts=4):
for attempt in range(attempts):
try:
r = requests.get(url, proxies=PROXIES, timeout=30)
if r.status_code not in RETRY_ON:
return url, r.status_code, len(r.content)
except requests.RequestException:
pass # tunnel or network error: the next attempt uses a new IP
time.sleep(2 ** attempt + random.random()) # exponential backoff
return url, None, 0
urls = [f"https://books.toscrape.com/catalogue/page-{n}.html" for n in range(1, 51)]
with ThreadPoolExecutor(max_workers=20) as pool:
for url, status, size in pool.map(fetch, urls):
print(status, f"{size:>7} bytes", url)对于没有严格反爬虫防护的网站,先从数据中心代理开始:速度快,在 40,000 个 IP 的套餐中每个 IP 低至 $0.013。当您遇到封禁、验证码或空白页面时,再改用住宅代理。住宅 IP 属于真实的消费者网络连接,因此更受反爬虫系统信任。许多团队会同时使用两者,并将每个域名分配给仍然有效的最便宜 IP 池。
这取决于页面大小。一个纯 HTML 页面通常为 50 至 300 KB,而包含图片和脚本的完整浏览器渲染可能超过 2 MB。在无头浏览器中屏蔽图片、字体和媒体文件,尽可能调用 JSON 接口而不是完整页面,并接受压缩响应。控制台会按子用户显示用量,方便您在扩大规模之前先衡量每个任务的消耗。
可以。在用户名中添加 -session-,后接 1 至 32 位字母或数字,例如 USERNAME-session-a7k2。IP 默认会保持 10 分钟不变,住宅代理还可将 -lifetime- 设为 1 至 120 分钟。想换一个 IP 时,使用新的会话 ID 即可。
支持。Proxonym 以标准的 HTTP、HTTPS 或 SOCKS5 代理方式工作,因此任何接受代理 URL 的库或框架都能使用。我们的集成指南涵盖 cURL、Python requests、Scrapy、Node.js、Puppeteer、Playwright、Selenium、Go、PHP 和 Java,每篇都附有可直接复制的配置。
在许多司法管辖区,采集公开数据是合法的,但具体规则因国家和数据类型而异。个人数据受 GDPR 等法律约束,受版权保护的内容有其自身限制,网站条款也可能限制自动化访问。只采集您需要的数据,远离需要登录才能查看的内容,将负载保持在合理范围,并针对您的具体项目寻求法律意见。
平台
各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。