Парсинг сайтов
Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.
Сценарий · Данные для обучения ИИ
Наполняйте корпусы для предобучения, наборы для дообучения и RAG-индексы свежими публичными веб-данными. Запускайте масштабные обходы на резидентном канале без учёта трафика и сохраняйте предсказуемые расходы, даже когда датасет разрастается до терабайтов.
Рекомендуем для сбора данных для обучения ИИ
Оплата по мере использования · Принимаем криптовалюту · Запуск за минуты
Проблема
Трудности, с которыми рано или поздно сталкивается любая команда, собирающая данные для обучения ИИ.
Оплата за ГБ хороша для точечных задач, но сбор корпуса — это терабайты трафика. Каждый повторный обход и каждый новый язык умножают счёт, и в итоге уже бюджет решает, насколько свежими будут ваши данные.
Когда часть сайтов блокирует ваш краулер, пробелы возникают не случайно. Из выборки выпадают целые регионы, языки и типы сайтов, и модель незаметно усваивает искажённую картину интернета.
Команды, работающие с данными, должны показать, откуда взят каждый документ, когда он собран и разрешал ли это сайт. Обход, игнорирующий robots.txt или условия использования сайтов, создаёт юридические и репутационные риски.
Решение
Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.
Безлимитные резидентные тарифы оплачиваются по скорости — от 100 Мбит/с до 1 Гбит/с — на 1, 7 или 30 дней. Передавайте столько, сколько пропускает канал, и не следите за счётчиком ГБ.
Собирайте данные из 195+ стран с таргетингом по стране, штату и городу. Локальные IP получают контент на местном языке, поэтому многоязычные датасеты остаются сбалансированными, а не англоязычными по умолчанию.
Запускайте тысячи параллельных воркеров на любом тарифе. Неограниченное число параллельных сессий и лимит всплесков около 10 000 запросов в секунду на аккаунт позволяют крупным обходам идти на полной скорости.
Резидентные IP принадлежат людям, которые дали согласие через партнёрские приложения и могут отозвать его в любой момент. Ваша цепочка поставки данных начинается с согласия — это важно и для аудиторов, и для клиентов.
Рекомендуем
Начните с первого варианта. Большинство команд добавляют второй пул по мере роста числа целевых сайтов.
Начать
Оцените число страниц, их средний вес и частоту повторных обходов. Когда объём превышает примерно 1 ТБ в месяц и вы можете постоянно загружать канал, трафик без учёта объёма обычно обходится дешевле пакетов ГБ.
Безлимитные тарифы используют выделенный шлюз, например use.unl.proxonym.com, с тем же синтаксисом имени пользователя, что и у резидентных прокси. Добавьте таргетинг по стране для каждого языка и не отключайте ротацию.
Записывайте каждый документ с его URL, временной меткой и HTTP-статусом, удаляйте нечёткие дубликаты и логируйте каждое решение по robots.txt, чтобы происхождение каждой записи в датасете можно было проследить.
Лучшие практики сбора данных для обучения ИИ
# pip install aiohttp beautifulsoup4
import asyncio
import json
from datetime import datetime, timezone
from urllib import robotparser
from urllib.parse import urljoin, urlsplit
import aiohttp
from bs4 import BeautifulSoup
# Residential gateway. On an unlimited plan use your dedicated gateway instead,
# e.g. use.unl.proxonym.com:8000, with the same username syntax.
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
AGENT = "ExampleDatasetBot/1.0 (+https://example.com/bot)"
SEED = "https://quotes.toscrape.com/"
robots = {}
async def allowed(session, url):
root = "{0.scheme}://{0.netloc}".format(urlsplit(url))
if root not in robots:
rp = robotparser.RobotFileParser()
try:
async with session.get(root + "/robots.txt", proxy=PROXY) as r:
rp.parse((await r.text()).splitlines() if r.status == 200 else [])
except (aiohttp.ClientError, asyncio.TimeoutError):
rp.disallow_all = True # robots.txt unreachable: stay conservative
robots[root] = rp
return robots[root].can_fetch(AGENT, url)
async def fetch(session, sem, url, out):
async with sem:
if not await allowed(session, url):
return []
try:
async with session.get(url, proxy=PROXY) as r:
if r.status != 200 or "text/html" not in r.headers.get("Content-Type", ""):
return []
html = await r.text(errors="replace")
except (aiohttp.ClientError, asyncio.TimeoutError):
return []
soup = BeautifulSoup(html, "html.parser")
out.write(json.dumps({"url": url, "fetched_at": datetime.now(timezone.utc).isoformat(),
"text": soup.get_text(" ", strip=True)}, ensure_ascii=False) + "\n")
return [urljoin(url, a["href"]).split("#")[0] for a in soup.find_all("a", href=True)]
async def crawl(limit=200, concurrency=16):
sem = asyncio.Semaphore(concurrency)
seen, frontier = {SEED}, [SEED]
timeout = aiohttp.ClientTimeout(total=60)
async with aiohttp.ClientSession(headers={"User-Agent": AGENT}, timeout=timeout) as session:
with open("pages.jsonl", "a", encoding="utf-8") as out:
while frontier:
batch, frontier = frontier, []
for links in await asyncio.gather(*(fetch(session, sem, u, out) for u in batch)):
for link in links:
same_site = urlsplit(link).netloc == urlsplit(SEED).netloc
if same_site and link not in seen and len(seen) < limit:
seen.add(link)
frontier.append(link)
asyncio.run(crawl())Частые вопросы
Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.
Открыть справочный центрКрупные обходы упираются в ограничения частоты запросов и региональные блокировки, из-за которых в датасете появляются пробелы. Резидентные прокси распределяют запросы между множеством пользовательских IP и позволяют собирать контент на местных языках из 195+ стран, поэтому охват отражает открытый интернет, а не то, до чего может дотянуться один дата-центр.
Да. Счётчика ГБ нет: вы выбираете скорость канала от 100 Мбит/с до 1 Гбит/с на 1, 7 или 30 дней и передаёте столько, сколько позволяет эта скорость. В пуле около 10 млн резидентных IP в 180+ странах; действует принцип разумного использования, закреплённый в правилах допустимого использования.
Выделенный сервер шлюза выбирается при оформлении заказа: de.unl.proxonym.com в Германии, use.unl.proxonym.com на востоке США или usw.unl.proxonym.com на западе США. Подключайтесь к порту 8000 для HTTP или 1080 для SOCKS5 с теми же параметрами имени пользователя для стран и сессий, что и на резидентных прокси.
Собирайте только публичные страницы, соблюдайте robots.txt, включая правила для ИИ-краулеров, уважайте условия использования сайтов и запреты на сбор, избегайте ненужных персональных данных и поддерживайте разумную частоту запросов. Фиксируйте происхождение каждого документа, чтобы отвечать на запросы об удалении и проходить аудиты.
Да. Запускайте массовые обходы на безлимитном тарифе, а резидентный пакет ГБ держите для разовых задач на других сайтах или для стран, которых нет в безлимитном пуле. Оба тарифа работают в одном аккаунте с единым личным кабинетом, а субпользователи позволяют разделить команды и проекты.
Платформы
Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.
По теме
Команды часто совмещают эти сценарии со сбором данных для обучения ИИ в одном аккаунте.
Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.
Собирайте локализованный контент, отзывы и тренды на любом рынке.
Отслеживайте цены, наличие и отзывы конкурентов на маркетплейсах.
Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.