新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

使用场景 · AI 训练数据

全网规模的 AI 训练数据采集代理

用新鲜的公开网络数据充实预训练语料库、微调数据集和 RAG 索引。依托不限流量的住宅带宽运行大规模爬取,即使数据集增长到 TB 级,成本依然可预期。

  • 1 Gbps不限流量带宽
  • 约 1000万不限流量套餐可用 IP
  • $33.25按天计费,不按 GB 计量

AI 训练数据推荐代理

立即开始

按量付费 · 支持加密货币 · 几分钟内开通

面临的挑战

前进路上的阻碍

每个 AI 训练数据团队迟早都会遇到的问题。

  1. 01

    按流量计费遇上 TB 级规模

    按 GB 计费适合定向任务,但语料库级的爬取动辄数 TB。每一次重新爬取、每新增一种语言,费用都会成倍增长,最终由预算来决定您的数据能有多新。

  2. 02

    封禁会扭曲数据集

    当部分网站封禁您的爬虫时,留下的空缺并不是随机的。整片地区、整种语言、整类网站都会缺失,模型便在不知不觉中学到一幅失真的网络图景。

  3. 03

    数据溯源与合规

    数据团队必须说明每份文档的来源、采集时间以及网站是否允许采集。无视 robots.txt 或网站条款的爬取会带来法律和声誉风险。

解决方案

Proxonym 的解决之道

所有设置都在用户名中完成,无需额外工具,也无需单独的端点。

不限流量的住宅带宽

不限流量住宅代理套餐按带宽速率计费,从 100 Mbps 到 1 Gbps,期限可选 1 天、7 天或 30 天。线路能承载多少就传输多少,再也不用盯着 GB 计数器。

覆盖每一种语言和地区

从 195+ 个国家和地区采集数据,支持按国家、州和城市定位。本地 IP 返回本地语言的内容,让多语言数据集保持均衡,而不是默认以英语为主。

高吞吐,不设并发上限

任何套餐都能运行数千个并行工作进程。不限并发会话,每个账户的突发请求上限约为每秒 10,000 次,让大规模爬取始终全速推进。

IP 来源合规

住宅 IP 来自通过合作伙伴应用自愿加入、并可随时退出的用户。您的数据供应链以用户同意为起点,这一点对审计方和客户都同样重要。

开始使用

三步即可上手

  1. 1

    评估爬取规模

    估算页面数量、平均页面大小和重新爬取频率。一旦每月传输量超过约 1 TB,且能让线路持续满载,不限流量带宽通常比流量包更划算。

  2. 2

    将工作进程指向您的网关

    不限流量套餐使用专属网关,例如 use.unl.proxonym.com,用户名语法与住宅代理相同。按语言添加国家定位,并保持轮换开启。

  3. 3

    存储时保留来源信息

    写入每份文档时一并记录其 URL、时间戳和 HTTP 状态码,去除近似重复内容,并记录每一次 robots.txt 判定,确保数据集中的每个样本都可追溯。

AI 训练数据最佳实践

  • 检查每个主机的 robots.txt;如果网站发布了针对 AI 爬虫的规则,请予以遵守。
  • 使用描述清晰、附带联系 URL 的 User-Agent 来标识您的爬虫。
  • 存储前先用内容哈希去重,节省磁盘空间和训练时间。
  • 接受压缩响应;除非模型需要,否则跳过图片、视频和二进制文件。
  • 为每份文档记录来源 URL、采集日期以及任何许可声明。
遵守 robots.txt 并输出 JSONL 的异步爬虫
# pip install aiohttp beautifulsoup4
import asyncio
import json
from datetime import datetime, timezone
from urllib import robotparser
from urllib.parse import urljoin, urlsplit

import aiohttp
from bs4 import BeautifulSoup

# Residential gateway. On an unlimited plan use your dedicated gateway instead,
# e.g. use.unl.proxonym.com:8000, with the same username syntax.
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
AGENT = "ExampleDatasetBot/1.0 (+https://example.com/bot)"
SEED = "https://quotes.toscrape.com/"
robots = {}


async def allowed(session, url):
    root = "{0.scheme}://{0.netloc}".format(urlsplit(url))
    if root not in robots:
        rp = robotparser.RobotFileParser()
        try:
            async with session.get(root + "/robots.txt", proxy=PROXY) as r:
                rp.parse((await r.text()).splitlines() if r.status == 200 else [])
        except (aiohttp.ClientError, asyncio.TimeoutError):
            rp.disallow_all = True  # robots.txt unreachable: stay conservative
        robots[root] = rp
    return robots[root].can_fetch(AGENT, url)


async def fetch(session, sem, url, out):
    async with sem:
        if not await allowed(session, url):
            return []
        try:
            async with session.get(url, proxy=PROXY) as r:
                if r.status != 200 or "text/html" not in r.headers.get("Content-Type", ""):
                    return []
                html = await r.text(errors="replace")
        except (aiohttp.ClientError, asyncio.TimeoutError):
            return []
    soup = BeautifulSoup(html, "html.parser")
    out.write(json.dumps({"url": url, "fetched_at": datetime.now(timezone.utc).isoformat(),
                          "text": soup.get_text(" ", strip=True)}, ensure_ascii=False) + "\n")
    return [urljoin(url, a["href"]).split("#")[0] for a in soup.find_all("a", href=True)]


async def crawl(limit=200, concurrency=16):
    sem = asyncio.Semaphore(concurrency)
    seen, frontier = {SEED}, [SEED]
    timeout = aiohttp.ClientTimeout(total=60)
    async with aiohttp.ClientSession(headers={"User-Agent": AGENT}, timeout=timeout) as session:
        with open("pages.jsonl", "a", encoding="utf-8") as out:
            while frontier:
                batch, frontier = frontier, []
                for links in await asyncio.gather(*(fetch(session, sem, u, out) for u in batch)):
                    for link in links:
                        same_site = urlsplit(link).netloc == urlsplit(SEED).netloc
                        if same_site and link not in seen and len(seen) < limit:
                            seen.add(link)
                            frontier.append(link)


asyncio.run(crawl())

更多代码示例集成指南

常见问题

AI 训练数据常见问题

仍有疑问?帮助中心解答计费、配置和账户相关问题。

打开帮助中心
为什么采集 AI 训练数据需要使用代理?

大规模爬取会遇到速率限制和地区封锁,导致数据集出现空缺。住宅代理将请求分散到大量消费者 IP 上,并让您从 195+ 个国家和地区采集本地语言内容,使数据覆盖面反映开放网络的全貌,而不只是单个数据中心所能触及的范围。

不限流量住宅代理真的不计流量吗?

是的。没有 GB 计数器:您可选择 100 Mbps 到 1 Gbps 的带宽,期限为 1 天、7 天或 30 天,在该带宽允许的范围内尽情传输。IP 池包含覆盖 180+ 个国家和地区的约 1000万个住宅 IP,并须遵守可接受使用政策中的合理使用原则。

不限流量套餐使用哪个网关?

您在结账时选择专属网关服务器:德国的 de.unl.proxonym.com、美国东部的 use.unl.proxonym.com 或美国西部的 usw.unl.proxonym.com。HTTP 连接 8000 端口,SOCKS5 连接 1080 端口,国家和会话的用户名参数与住宅代理相同。

如何确保训练数据爬取合规?

只采集公开页面,遵守 robots.txt(包括针对 AI 爬虫的规则),尊重网站条款和退出声明,避免采集不需要的个人数据,并保持合理的请求频率。为每份文档记录来源信息,以便应对删除请求和审计。

可以同时使用不限流量套餐和按 GB 计费的套餐吗?

可以。用不限流量套餐运行大批量爬取,同时保留一个住宅流量包,用于其他目标上的临时任务,或不限流量 IP 池未覆盖的国家和地区。两者都在同一个账户、同一个控制台中管理,子用户则可将不同团队和项目分开。

平台

为您的采集目标网站选配合适的代理

各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。

相关内容

相关使用场景

团队常在同一账户中将这些场景与 AI 训练数据采集搭配使用。

网页抓取

大规模采集公开数据,不再受封禁、验证码或速率限制困扰。

市场调研

收集任意市场的本地化内容、评价和趋势。

一个网关,数百万个身份

选择套餐,用加密货币付款,几分钟内即可通过 Proxonym 发送第一个请求。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费