НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Сценарий · Данные для обучения ИИ

Прокси для сбора данных для обучения ИИ в масштабах всего интернета

Наполняйте корпусы для предобучения, наборы для дообучения и RAG-индексы свежими публичными веб-данными. Запускайте масштабные обходы на резидентном канале без учёта трафика и сохраняйте предсказуемые расходы, даже когда датасет разрастается до терабайтов.

  • 1 Гбит/сКанал без учёта трафика
  • ~10 млнIP на безлимитных тарифах
  • $33,25В день, без учёта ГБ

Рекомендуем для сбора данных для обучения ИИ

Начать

Оплата по мере использования · Принимаем криптовалюту · Запуск за минуты

Проблема

Что мешает работе

Трудности, с которыми рано или поздно сталкивается любая команда, собирающая данные для обучения ИИ.

  1. 01

    Оплата за ГБ при терабайтных объёмах

    Оплата за ГБ хороша для точечных задач, но сбор корпуса — это терабайты трафика. Каждый повторный обход и каждый новый язык умножают счёт, и в итоге уже бюджет решает, насколько свежими будут ваши данные.

  2. 02

    Блокировки искажают датасет

    Когда часть сайтов блокирует ваш краулер, пробелы возникают не случайно. Из выборки выпадают целые регионы, языки и типы сайтов, и модель незаметно усваивает искажённую картину интернета.

  3. 03

    Происхождение данных и соответствие требованиям

    Команды, работающие с данными, должны показать, откуда взят каждый документ, когда он собран и разрешал ли это сайт. Обход, игнорирующий robots.txt или условия использования сайтов, создаёт юридические и репутационные риски.

Решение

Как Proxonym решает эти проблемы

Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.

Резидентный канал без учёта трафика

Безлимитные резидентные тарифы оплачиваются по скорости — от 100 Мбит/с до 1 Гбит/с — на 1, 7 или 30 дней. Передавайте столько, сколько пропускает канал, и не следите за счётчиком ГБ.

Все языки и регионы

Собирайте данные из 195+ стран с таргетингом по стране, штату и городу. Локальные IP получают контент на местном языке, поэтому многоязычные датасеты остаются сбалансированными, а не англоязычными по умолчанию.

Пропускная способность без лимита параллельных подключений

Запускайте тысячи параллельных воркеров на любом тарифе. Неограниченное число параллельных сессий и лимит всплесков около 10 000 запросов в секунду на аккаунт позволяют крупным обходам идти на полной скорости.

IP этичного происхождения

Резидентные IP принадлежат людям, которые дали согласие через партнёрские приложения и могут отозвать его в любой момент. Ваша цепочка поставки данных начинается с согласия — это важно и для аудиторов, и для клиентов.

Начать

Запуск в три шага

  1. 1

    Оцените объём обхода

    Оцените число страниц, их средний вес и частоту повторных обходов. Когда объём превышает примерно 1 ТБ в месяц и вы можете постоянно загружать канал, трафик без учёта объёма обычно обходится дешевле пакетов ГБ.

  2. 2

    Направьте воркеры на свой шлюз

    Безлимитные тарифы используют выделенный шлюз, например use.unl.proxonym.com, с тем же синтаксисом имени пользователя, что и у резидентных прокси. Добавьте таргетинг по стране для каждого языка и не отключайте ротацию.

  3. 3

    Сохраняйте данные с указанием происхождения

    Записывайте каждый документ с его URL, временной меткой и HTTP-статусом, удаляйте нечёткие дубликаты и логируйте каждое решение по robots.txt, чтобы происхождение каждой записи в датасете можно было проследить.

Лучшие практики сбора данных для обучения ИИ

  • Проверяйте robots.txt каждого хоста и соблюдайте правила для ИИ-краулеров, если сайты их публикуют.
  • Указывайте в User-Agent понятное имя краулера и URL для связи.
  • Удаляйте дубликаты по хешам контента до сохранения, чтобы экономить место на диске и время обучения.
  • Принимайте сжатые ответы и пропускайте изображения, видео и бинарные файлы, если они не нужны вашей модели.
  • Фиксируйте для каждого документа URL источника, дату сбора и любые сведения о лицензии.
Асинхронный краулер, который соблюдает robots.txt и пишет JSONL
# pip install aiohttp beautifulsoup4
import asyncio
import json
from datetime import datetime, timezone
from urllib import robotparser
from urllib.parse import urljoin, urlsplit

import aiohttp
from bs4 import BeautifulSoup

# Residential gateway. On an unlimited plan use your dedicated gateway instead,
# e.g. use.unl.proxonym.com:8000, with the same username syntax.
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
AGENT = "ExampleDatasetBot/1.0 (+https://example.com/bot)"
SEED = "https://quotes.toscrape.com/"
robots = {}


async def allowed(session, url):
    root = "{0.scheme}://{0.netloc}".format(urlsplit(url))
    if root not in robots:
        rp = robotparser.RobotFileParser()
        try:
            async with session.get(root + "/robots.txt", proxy=PROXY) as r:
                rp.parse((await r.text()).splitlines() if r.status == 200 else [])
        except (aiohttp.ClientError, asyncio.TimeoutError):
            rp.disallow_all = True  # robots.txt unreachable: stay conservative
        robots[root] = rp
    return robots[root].can_fetch(AGENT, url)


async def fetch(session, sem, url, out):
    async with sem:
        if not await allowed(session, url):
            return []
        try:
            async with session.get(url, proxy=PROXY) as r:
                if r.status != 200 or "text/html" not in r.headers.get("Content-Type", ""):
                    return []
                html = await r.text(errors="replace")
        except (aiohttp.ClientError, asyncio.TimeoutError):
            return []
    soup = BeautifulSoup(html, "html.parser")
    out.write(json.dumps({"url": url, "fetched_at": datetime.now(timezone.utc).isoformat(),
                          "text": soup.get_text(" ", strip=True)}, ensure_ascii=False) + "\n")
    return [urljoin(url, a["href"]).split("#")[0] for a in soup.find_all("a", href=True)]


async def crawl(limit=200, concurrency=16):
    sem = asyncio.Semaphore(concurrency)
    seen, frontier = {SEED}, [SEED]
    timeout = aiohttp.ClientTimeout(total=60)
    async with aiohttp.ClientSession(headers={"User-Agent": AGENT}, timeout=timeout) as session:
        with open("pages.jsonl", "a", encoding="utf-8") as out:
            while frontier:
                batch, frontier = frontier, []
                for links in await asyncio.gather(*(fetch(session, sem, u, out) for u in batch)):
                    for link in links:
                        same_site = urlsplit(link).netloc == urlsplit(SEED).netloc
                        if same_site and link not in seen and len(seen) < limit:
                            seen.add(link)
                            frontier.append(link)


asyncio.run(crawl())

Больше примеров кодаРуководства по интеграции

Частые вопросы

Вопросы о данных для обучения ИИ

Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.

Открыть справочный центр
Зачем нужны прокси для сбора данных для обучения ИИ?

Крупные обходы упираются в ограничения частоты запросов и региональные блокировки, из-за которых в датасете появляются пробелы. Резидентные прокси распределяют запросы между множеством пользовательских IP и позволяют собирать контент на местных языках из 195+ стран, поэтому охват отражает открытый интернет, а не то, до чего может дотянуться один дата-центр.

Трафик на безлимитных резидентных прокси действительно не учитывается?

Да. Счётчика ГБ нет: вы выбираете скорость канала от 100 Мбит/с до 1 Гбит/с на 1, 7 или 30 дней и передаёте столько, сколько позволяет эта скорость. В пуле около 10 млн резидентных IP в 180+ странах; действует принцип разумного использования, закреплённый в правилах допустимого использования.

Какой шлюз используют безлимитные тарифы?

Выделенный сервер шлюза выбирается при оформлении заказа: de.unl.proxonym.com в Германии, use.unl.proxonym.com на востоке США или usw.unl.proxonym.com на западе США. Подключайтесь к порту 8000 для HTTP или 1080 для SOCKS5 с теми же параметрами имени пользователя для стран и сессий, что и на резидентных прокси.

Как обеспечить соответствие требованиям при сборе обучающих данных?

Собирайте только публичные страницы, соблюдайте robots.txt, включая правила для ИИ-краулеров, уважайте условия использования сайтов и запреты на сбор, избегайте ненужных персональных данных и поддерживайте разумную частоту запросов. Фиксируйте происхождение каждого документа, чтобы отвечать на запросы об удалении и проходить аудиты.

Можно ли совмещать безлимитные тарифы и тарифы с оплатой за ГБ?

Да. Запускайте массовые обходы на безлимитном тарифе, а резидентный пакет ГБ держите для разовых задач на других сайтах или для стран, которых нет в безлимитном пуле. Оба тарифа работают в одном аккаунте с единым личным кабинетом, а субпользователи позволяют разделить команды и проекты.

Платформы

Прокси для сайтов, с которых вы собираете данные

Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.

По теме

Смежные сценарии использования

Команды часто совмещают эти сценарии со сбором данных для обучения ИИ в одном аккаунте.

Парсинг сайтов

Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления