网页抓取
大规模采集公开数据,不再受封禁、验证码或速率限制困扰。
使用场景 · AI 训练数据
用新鲜的公开网络数据充实预训练语料库、微调数据集和 RAG 索引。依托不限流量的住宅带宽运行大规模爬取,即使数据集增长到 TB 级,成本依然可预期。
面临的挑战
每个 AI 训练数据团队迟早都会遇到的问题。
按 GB 计费适合定向任务,但语料库级的爬取动辄数 TB。每一次重新爬取、每新增一种语言,费用都会成倍增长,最终由预算来决定您的数据能有多新。
当部分网站封禁您的爬虫时,留下的空缺并不是随机的。整片地区、整种语言、整类网站都会缺失,模型便在不知不觉中学到一幅失真的网络图景。
数据团队必须说明每份文档的来源、采集时间以及网站是否允许采集。无视 robots.txt 或网站条款的爬取会带来法律和声誉风险。
解决方案
所有设置都在用户名中完成,无需额外工具,也无需单独的端点。
不限流量住宅代理套餐按带宽速率计费,从 100 Mbps 到 1 Gbps,期限可选 1 天、7 天或 30 天。线路能承载多少就传输多少,再也不用盯着 GB 计数器。
从 195+ 个国家和地区采集数据,支持按国家、州和城市定位。本地 IP 返回本地语言的内容,让多语言数据集保持均衡,而不是默认以英语为主。
任何套餐都能运行数千个并行工作进程。不限并发会话,每个账户的突发请求上限约为每秒 10,000 次,让大规模爬取始终全速推进。
住宅 IP 来自通过合作伙伴应用自愿加入、并可随时退出的用户。您的数据供应链以用户同意为起点,这一点对审计方和客户都同样重要。
推荐
从第一种开始即可。随着目标增多,大多数团队会再增加一个 IP 池。
开始使用
估算页面数量、平均页面大小和重新爬取频率。一旦每月传输量超过约 1 TB,且能让线路持续满载,不限流量带宽通常比流量包更划算。
不限流量套餐使用专属网关,例如 use.unl.proxonym.com,用户名语法与住宅代理相同。按语言添加国家定位,并保持轮换开启。
写入每份文档时一并记录其 URL、时间戳和 HTTP 状态码,去除近似重复内容,并记录每一次 robots.txt 判定,确保数据集中的每个样本都可追溯。
AI 训练数据最佳实践
# pip install aiohttp beautifulsoup4
import asyncio
import json
from datetime import datetime, timezone
from urllib import robotparser
from urllib.parse import urljoin, urlsplit
import aiohttp
from bs4 import BeautifulSoup
# Residential gateway. On an unlimited plan use your dedicated gateway instead,
# e.g. use.unl.proxonym.com:8000, with the same username syntax.
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
AGENT = "ExampleDatasetBot/1.0 (+https://example.com/bot)"
SEED = "https://quotes.toscrape.com/"
robots = {}
async def allowed(session, url):
root = "{0.scheme}://{0.netloc}".format(urlsplit(url))
if root not in robots:
rp = robotparser.RobotFileParser()
try:
async with session.get(root + "/robots.txt", proxy=PROXY) as r:
rp.parse((await r.text()).splitlines() if r.status == 200 else [])
except (aiohttp.ClientError, asyncio.TimeoutError):
rp.disallow_all = True # robots.txt unreachable: stay conservative
robots[root] = rp
return robots[root].can_fetch(AGENT, url)
async def fetch(session, sem, url, out):
async with sem:
if not await allowed(session, url):
return []
try:
async with session.get(url, proxy=PROXY) as r:
if r.status != 200 or "text/html" not in r.headers.get("Content-Type", ""):
return []
html = await r.text(errors="replace")
except (aiohttp.ClientError, asyncio.TimeoutError):
return []
soup = BeautifulSoup(html, "html.parser")
out.write(json.dumps({"url": url, "fetched_at": datetime.now(timezone.utc).isoformat(),
"text": soup.get_text(" ", strip=True)}, ensure_ascii=False) + "\n")
return [urljoin(url, a["href"]).split("#")[0] for a in soup.find_all("a", href=True)]
async def crawl(limit=200, concurrency=16):
sem = asyncio.Semaphore(concurrency)
seen, frontier = {SEED}, [SEED]
timeout = aiohttp.ClientTimeout(total=60)
async with aiohttp.ClientSession(headers={"User-Agent": AGENT}, timeout=timeout) as session:
with open("pages.jsonl", "a", encoding="utf-8") as out:
while frontier:
batch, frontier = frontier, []
for links in await asyncio.gather(*(fetch(session, sem, u, out) for u in batch)):
for link in links:
same_site = urlsplit(link).netloc == urlsplit(SEED).netloc
if same_site and link not in seen and len(seen) < limit:
seen.add(link)
frontier.append(link)
asyncio.run(crawl())大规模爬取会遇到速率限制和地区封锁,导致数据集出现空缺。住宅代理将请求分散到大量消费者 IP 上,并让您从 195+ 个国家和地区采集本地语言内容,使数据覆盖面反映开放网络的全貌,而不只是单个数据中心所能触及的范围。
是的。没有 GB 计数器:您可选择 100 Mbps 到 1 Gbps 的带宽,期限为 1 天、7 天或 30 天,在该带宽允许的范围内尽情传输。IP 池包含覆盖 180+ 个国家和地区的约 1000万个住宅 IP,并须遵守可接受使用政策中的合理使用原则。
您在结账时选择专属网关服务器:德国的 de.unl.proxonym.com、美国东部的 use.unl.proxonym.com 或美国西部的 usw.unl.proxonym.com。HTTP 连接 8000 端口,SOCKS5 连接 1080 端口,国家和会话的用户名参数与住宅代理相同。
只采集公开页面,遵守 robots.txt(包括针对 AI 爬虫的规则),尊重网站条款和退出声明,避免采集不需要的个人数据,并保持合理的请求频率。为每份文档记录来源信息,以便应对删除请求和审计。
可以。用不限流量套餐运行大批量爬取,同时保留一个住宅流量包,用于其他目标上的临时任务,或不限流量 IP 池未覆盖的国家和地区。两者都在同一个账户、同一个控制台中管理,子用户则可将不同团队和项目分开。
平台
各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。