---
title: "AI 训练数据采集代理 IP | Proxonym"
description: "用于采集 AI 训练数据的代理：不限流量住宅带宽最高 1 Gbps，覆盖 195+ 个国家和地区的 5500万+ 个住宅 IP，大规模抓取不设并发上限。"
url: https://proxonym.com/zh/use-cases/ai-training-data
updated: 2026-10-02T03:03:46+00:00
---

# 全网规模的 AI 训练数据采集代理

用新鲜的公开网络数据充实预训练语料库、微调数据集和 RAG 索引。依托不限流量的住宅带宽运行大规模爬取，即使数据集增长到 TB 级，成本依然可预期。

- **1 Gbps** 不限流量带宽
- **约 1000万** 不限流量套餐可用 IP
- **$33.25** 按天计费，不按 GB 计量

AI 训练数据推荐代理

- [不限流量住宅代理 (首选)](https://proxonym.com/zh/unlimited-residential-proxies): 低至 $33.25/天
- [住宅代理](https://proxonym.com/zh/residential-proxies): 低至 $0.74/GB
- [数据中心代理](https://proxonym.com/zh/datacenter-proxies): 低至 $0.013/IP

按量付费 · 支持加密货币 · 几分钟内开通

## 前进路上的阻碍

每个 AI 训练数据团队迟早都会遇到的问题。

1. **按流量计费遇上 TB 级规模**: 按 GB 计费适合定向任务，但语料库级的爬取动辄数 TB。每一次重新爬取、每新增一种语言，费用都会成倍增长，最终由预算来决定您的数据能有多新。
2. **封禁会扭曲数据集**: 当部分网站封禁您的爬虫时，留下的空缺并不是随机的。整片地区、整种语言、整类网站都会缺失，模型便在不知不觉中学到一幅失真的网络图景。
3. **数据溯源与合规**: 数据团队必须说明每份文档的来源、采集时间以及网站是否允许采集。无视 robots.txt 或网站条款的爬取会带来法律和声誉风险。

## Proxonym 的解决之道

所有设置都在用户名中完成，无需额外工具，也无需单独的端点。

### 不限流量的住宅带宽

不限流量住宅代理套餐按带宽速率计费，从 100 Mbps 到 1 Gbps，期限可选 1 天、7 天或 30 天。线路能承载多少就传输多少，再也不用盯着 GB 计数器。

### 覆盖每一种语言和地区

从 195+ 个国家和地区采集数据，支持按国家、州和城市定位。本地 IP 返回本地语言的内容，让多语言数据集保持均衡，而不是默认以英语为主。

### 高吞吐，不设并发上限

任何套餐都能运行数千个并行工作进程。不限并发会话，每个账户的突发请求上限约为每秒 10,000 次，让大规模爬取始终全速推进。

### IP 来源合规

住宅 IP 来自通过合作伙伴应用自愿加入、并可随时退出的用户。您的数据供应链以用户同意为起点，这一点对审计方和客户都同样重要。

## 适合这项任务的代理

从第一种开始即可。随着目标增多，大多数团队会再增加一个 IP 池。

- [不限流量住宅代理](https://proxonym.com/zh/unlimited-residential-proxies): 专为语料库级爬取打造：住宅流量不计量、价格固定，30 天 100 Mbps 套餐低至每天 $33.25，最高可选 1 Gbps 套餐。 低至 **$33.25**/天
- [住宅代理](https://proxonym.com/zh/residential-proxies): 适用于有防护的定向数据源，以及对已变更页面的重新爬取。按 GB 计费，低至 $0.74，支持按国家和城市定位，平衡各语言和地区的数据。 低至 **$0.74**/GB
- [数据中心代理](https://proxonym.com/zh/datacenter-proxies): 适用于欢迎爬虫访问的开放数据源，例如文档、公开数据集和档案库。单次请求成本低，覆盖 9 个国家和地区的 40,000 个 IP，并提供不限带宽档位。 低至 **$0.013**/IP

## 三步即可上手

1. **评估爬取规模**: 估算页面数量、平均页面大小和重新爬取频率。一旦每月传输量超过约 1 TB，且能让线路持续满载，不限流量带宽通常比流量包更划算。
2. **将工作进程指向您的网关**: 不限流量套餐使用专属网关，例如 use.unl.proxonym.com，用户名语法与住宅代理相同。按语言添加国家定位，并保持轮换开启。
3. **存储时保留来源信息**: 写入每份文档时一并记录其 URL、时间戳和 HTTP 状态码，去除近似重复内容，并记录每一次 robots.txt 判定，确保数据集中的每个样本都可追溯。

AI 训练数据最佳实践

- 检查每个主机的 robots.txt；如果网站发布了针对 AI 爬虫的规则，请予以遵守。
- 使用描述清晰、附带联系 URL 的 User-Agent 来标识您的爬虫。
- 存储前先用内容哈希去重，节省磁盘空间和训练时间。
- 接受压缩响应；除非模型需要，否则跳过图片、视频和二进制文件。
- 为每份文档记录来源 URL、采集日期以及任何许可声明。

**遵守 robots.txt 并输出 JSONL 的异步爬虫**

```python
# pip install aiohttp beautifulsoup4
import asyncio
import json
from datetime import datetime, timezone
from urllib import robotparser
from urllib.parse import urljoin, urlsplit

import aiohttp
from bs4 import BeautifulSoup

# Residential gateway. On an unlimited plan use your dedicated gateway instead,
# e.g. use.unl.proxonym.com:8000, with the same username syntax.
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
AGENT = "ExampleDatasetBot/1.0 (+https://example.com/bot)"
SEED = "https://quotes.toscrape.com/"
robots = {}

async def allowed(session, url):
    root = "{0.scheme}://{0.netloc}".format(urlsplit(url))
    if root not in robots:
        rp = robotparser.RobotFileParser()
        try:
            async with session.get(root + "/robots.txt", proxy=PROXY) as r:
                rp.parse((await r.text()).splitlines() if r.status == 200 else [])
        except (aiohttp.ClientError, asyncio.TimeoutError):
            rp.disallow_all = True  # robots.txt unreachable: stay conservative
        robots[root] = rp
    return robots[root].can_fetch(AGENT, url)

async def fetch(session, sem, url, out):
    async with sem:
        if not await allowed(session, url):
            return []
        try:
            async with session.get(url, proxy=PROXY) as r:
                if r.status != 200 or "text/html" not in r.headers.get("Content-Type", ""):
                    return []
                html = await r.text(errors="replace")
        except (aiohttp.ClientError, asyncio.TimeoutError):
            return []
    soup = BeautifulSoup(html, "html.parser")
    out.write(json.dumps({"url": url, "fetched_at": datetime.now(timezone.utc).isoformat(),
                          "text": soup.get_text(" ", strip=True)}, ensure_ascii=False) + "\n")
    return [urljoin(url, a["href"]).split("#")[0] for a in soup.find_all("a", href=True)]

async def crawl(limit=200, concurrency=16):
    sem = asyncio.Semaphore(concurrency)
    seen, frontier = {SEED}, [SEED]
    timeout = aiohttp.ClientTimeout(total=60)
    async with aiohttp.ClientSession(headers={"User-Agent": AGENT}, timeout=timeout) as session:
        with open("pages.jsonl", "a", encoding="utf-8") as out:
            while frontier:
                batch, frontier = frontier, []
                for links in await asyncio.gather(*(fetch(session, sem, u, out) for u in batch)):
                    for link in links:
                        same_site = urlsplit(link).netloc == urlsplit(SEED).netloc
                        if same_site and link not in seen and len(seen) < limit:
                            seen.add(link)
                            frontier.append(link)

asyncio.run(crawl())
```

### 为什么采集 AI 训练数据需要使用代理？

大规模爬取会遇到速率限制和地区封锁，导致数据集出现空缺。住宅代理将请求分散到大量消费者 IP 上，并让您从 195+ 个国家和地区采集本地语言内容，使数据覆盖面反映开放网络的全貌，而不只是单个数据中心所能触及的范围。

### 不限流量住宅代理真的不计流量吗？

是的。没有 GB 计数器：您可选择 100 Mbps 到 1 Gbps 的带宽，期限为 1 天、7 天或 30 天，在该带宽允许的范围内尽情传输。IP 池包含覆盖 180+ 个国家和地区的约 1000万个住宅 IP，并须遵守可接受使用政策中的合理使用原则。

### 不限流量套餐使用哪个网关？

您在结账时选择专属网关服务器：德国的 de.unl.proxonym.com、美国东部的 use.unl.proxonym.com 或美国西部的 usw.unl.proxonym.com。HTTP 连接 8000 端口，SOCKS5 连接 1080 端口，国家和会话的用户名参数与住宅代理相同。

### 如何确保训练数据爬取合规？

只采集公开页面，遵守 robots.txt（包括针对 AI 爬虫的规则），尊重网站条款和退出声明，避免采集不需要的个人数据，并保持合理的请求频率。为每份文档记录来源信息，以便应对删除请求和审计。

### 可以同时使用不限流量套餐和按 GB 计费的套餐吗？

可以。用不限流量套餐运行大批量爬取，同时保留一个住宅流量包，用于其他目标上的临时任务，或不限流量 IP 池未覆盖的国家和地区。两者都在同一个账户、同一个控制台中管理，子用户则可将不同团队和项目分开。

## 为您的采集目标网站选配合适的代理

各平台专属指南，涵盖定位技巧、可直接运行的代码，以及在各网站上效果最好的代理类型。

- [Google 代理](https://proxonym.com/zh/google-proxies): 按城市获取自然搜索排名
- [YouTube 代理](https://proxonym.com/zh/youtube-proxies): 按国家查看视频可用性
- [亚马逊代理](https://proxonym.com/zh/amazon-proxies): 价格与黄金购物车（Buy Box）归属
- [eBay 代理](https://proxonym.com/zh/ebay-proxies): 已售及已结束商品的成交价格

## 相关使用场景

团队常在同一账户中将这些场景与 AI 训练数据采集搭配使用。

### [网页抓取](https://proxonym.com/zh/use-cases/web-scraping)

大规模采集公开数据，不再受封禁、验证码或速率限制困扰。

### [市场调研](https://proxonym.com/zh/use-cases/market-research)

收集任意市场的本地化内容、评价和趋势。

### [电商与价格监控](https://proxonym.com/zh/use-cases/price-monitoring)

跨电商平台跟踪竞争对手的价格、库存和评价。
