新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

使用场景 · 网页抓取

让爬虫持续稳定运行的网页抓取代理

通过 5500万+ 个住宅 IP 和 40,000 个数据中心 IP,以任意规模采集公开网页数据。每次请求自动轮换,需要时保持粘性会话,并可定位任意国家、城市或 ASN。

  • 5500万+住宅 IP
  • 195+国家和地区
  • 不限并发会话

面临的挑战

前进路上的阻碍

每个网页抓取团队迟早都会遇到的问题。

  1. 01

    IP 封禁与速率限制

    网站会统计每个 IP 的请求数。用同一个地址抓取几百个页面,您就会被限速、收到 429 错误,甚至被直接封禁,而且往往发生在今晚必须完成的任务进行到一半时。

  2. 02

    验证码与反爬拦截

    反爬虫系统会给每位访客打分。数据中心 IP 段、不匹配的地理位置和千篇一律的请求模式都会推高这个分数,直到每个页面返回的都是人机验证,而不是您想要的数据。

  3. 03

    内容随地区而变

    价格、库存、搜索结果,甚至页面布局,都取决于访客所在的位置。从错误的国家抓取,您的数据集就会在不知不觉中描述一个您的客户从未见过的市场。

解决方案

Proxonym 的解决之道

所有设置都在用户名中完成,无需额外工具,也无需单独的端点。

每次请求都换新 IP

省略会话参数,每个请求就会从不同的住宅 IP 发出。负载分散到由 5500万+ 个地址组成的 IP 池中,单 IP 限制不再是您的瓶颈。

按需使用粘性会话

在用户名中添加 -session-{id},住宅代理即可将同一 IP 保持最长 120 分钟。登录、分页列表和多步骤流程从第一个请求到最后一个请求都保持一致。

按国家、城市和 ASN 定位

在用户名中选择位置,例如 -country-de-city-berlin,即可采集当地访客看到的页面原貌。无需管理单独的端口或列表。

并发不设上限

每个套餐都支持不限数量的并发会话,每个账户的突发请求上限约为每秒 10,000 次。线程、工作进程和无头浏览器的规模,只受您自身基础设施的限制。

开始使用

三步即可上手

  1. 1

    选择合适的 IP 池

    有防护的目标从住宅代理起步,防护较弱的目标则从数据中心代理起步。付款后几分钟内即可开通套餐,目标发生变化时,您随时可以切换或组合使用不同产品。

  2. 2

    将爬虫指向网关

    将 gw.proxonym.com:8000 设为代理,并使用控制台中的凭据。任何支持 HTTP 或 SOCKS5 的工具都能使用,从 requests、Scrapy 到 Playwright、Puppeteer,再到原生 cURL。

  3. 3

    调整定位与重试策略

    添加国家或城市参数,只在需要保持状态时使用会话,并用新 IP 重试返回 502 的请求。在控制台中或通过 API 按子用户跟踪用量。

网页抓取最佳实践

  • 发送与目标国家相匹配的真实 User-Agent 和 Accept-Language 请求头。
  • 只在多步骤流程中使用粘性会话,其余请求一律轮换。
  • 遇到 502 立即换新 IP 重试;遇到 429 则应退避等待,而不是对目标狂轰滥炸。
  • 缓存已有内容,只获取发生变化的页面,既能减少 GB 用量,也能减轻目标网站的负载。
  • 每个新项目开始前都阅读 robots.txt 和网站条款,并保持克制的请求频率。
并发抓取:每次请求换新 IP,并带重试机制
# pip install requests
import random
import time
from concurrent.futures import ThreadPoolExecutor

import requests

# No -session parameter: every request exits from a new US residential IP
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
RETRY_ON = {429, 502, 504}


def fetch(url, attempts=4):
    for attempt in range(attempts):
        try:
            r = requests.get(url, proxies=PROXIES, timeout=30)
            if r.status_code not in RETRY_ON:
                return url, r.status_code, len(r.content)
        except requests.RequestException:
            pass  # tunnel or network error: the next attempt uses a new IP
        time.sleep(2 ** attempt + random.random())  # exponential backoff
    return url, None, 0


urls = [f"https://books.toscrape.com/catalogue/page-{n}.html" for n in range(1, 51)]

with ThreadPoolExecutor(max_workers=20) as pool:
    for url, status, size in pool.map(fetch, urls):
        print(status, f"{size:>7} bytes", url)

更多代码示例集成指南

常见问题

网页抓取常见问题

仍有疑问?帮助中心解答计费、配置和账户相关问题。

打开帮助中心
抓取数据应该用住宅代理还是数据中心代理?

对于没有严格反爬虫防护的网站,先从数据中心代理开始:速度快,在 40,000 个 IP 的套餐中每个 IP 低至 $0.013。当您遇到封禁、验证码或空白页面时,再改用住宅代理。住宅 IP 属于真实的消费者网络连接,因此更受反爬虫系统信任。许多团队会同时使用两者,并将每个域名分配给仍然有效的最便宜 IP 池。

我的抓取项目会消耗多少流量?

这取决于页面大小。一个纯 HTML 页面通常为 50 至 300 KB,而包含图片和脚本的完整浏览器渲染可能超过 2 MB。在无头浏览器中屏蔽图片、字体和媒体文件,尽可能调用 JSON 接口而不是完整页面,并接受压缩响应。控制台会按子用户显示用量,方便您在扩大规模之前先衡量每个任务的消耗。

可以在多个请求中保持同一个 IP 吗?

可以。在用户名中添加 -session-,后接 1 至 32 位字母或数字,例如 USERNAME-session-a7k2。IP 默认会保持 10 分钟不变,住宅代理还可将 -lifetime- 设为 1 至 120 分钟。想换一个 IP 时,使用新的会话 ID 即可。

支持 Scrapy、Playwright 和 Puppeteer 吗?

支持。Proxonym 以标准的 HTTP、HTTPS 或 SOCKS5 代理方式工作,因此任何接受代理 URL 的库或框架都能使用。我们的集成指南涵盖 cURL、Python requests、Scrapy、Node.js、Puppeteer、Playwright、Selenium、Go、PHP 和 Java,每篇都附有可直接复制的配置。

网页抓取合法吗?

在许多司法管辖区,采集公开数据是合法的,但具体规则因国家和数据类型而异。个人数据受 GDPR 等法律约束,受版权保护的内容有其自身限制,网站条款也可能限制自动化访问。只采集您需要的数据,远离需要登录才能查看的内容,将负载保持在合理范围,并针对您的具体项目寻求法律意见。

平台

为您的采集目标网站选配合适的代理

各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。

相关内容

相关使用场景

团队常在同一账户中将这些场景与网页抓取搭配使用。

AI 训练数据

为数据集和 RAG 管道输送新鲜的公开网络数据。

市场调研

收集任意市场的本地化内容、评价和趋势。

一个网关,数百万个身份

选择套餐,用加密货币付款,几分钟内即可通过 Proxonym 发送第一个请求。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费