НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Прокси для ИИ-агентов: надёжный доступ к вебу для LLM-приложений

ИИ-агенты не справляются, когда сайты их блокируют. Разбираем, какой инструмент подходит для каждой задачи — от привязки ответов к поисковой выдаче до браузерных агентов, — с кодом на Playwright и правилами, которые помогают агентам оставаться желанными гостями на сайтах.

Команда Proxonym

ИИ-агент полезен ровно в той мере, в какой ему доступны нужные страницы. Исследовательские ассистенты, браузерные агенты и пайплайны извлечения данных отправляют запросы в открытый веб, и многие из этих запросов заканчиваются блокировками, капчами или страницами, локализованными не для той страны. Проблема не в модели, а в сетевом маршруте.

В этом руководстве — три компонента, которые дают агенту надёжный доступ к вебу, ситуации, в которых подходит каждый из них, подключение браузерного агента через прокси и правила, благодаря которым автоматизированному трафику по-прежнему рады.

Почему ИИ-агентов блокируют

Большинство агентов работает в облаке, поэтому их запросы уходят с диапазонов IP, принадлежащих хостинг-провайдерам. Системы защиты от ботов считают такие диапазоны серверами, а не людьми, и проверяют их в первую очередь. Ситуацию усугубляют три привычки:

  • Всплески запросов. Агент, который открывает двадцать вкладок одновременно с одного IP, совсем не похож на посетителя.
  • Отсутствие сессии. Многошаговые задачи — например, поиск, клик и заполнение формы — ломаются, когда каждый запрос уходит с другого адреса или с одного адреса, которым пользуются тысячи других агентов.
  • Не та локация. Если на вопрос о ценах в Германии отвечать с сервера в Вирджинии, получатся американские цены, валюта и результаты поиска.

Четвёртый сигнал — отпечаток браузера. Headless-браузер с настройками по умолчанию выдаёт себя строкой User-Agent, отсутствующими шрифтами и часовым поясом, который не совпадает с его IP. Прокси решают задачу на сетевом уровне, а браузер должен этому уровню соответствовать.

У каждой из этих проблем есть прямое решение, и правильное зависит от того, чем занят агент.

Три компонента веб-доступа для агентов

КомпонентДля чего подходитКак агент его используетТарификация
SERP APIПривязка ответов к свежей поисковой выдачеОдин HTTPS-запрос возвращает результаты Google в формате JSONЗа 1 000 запросов, от $0,16
Резидентные прокси с ротациейЧтение страниц от лица местного посетителяHTTP-клиент или браузер направляет запросы на шлюзЗа ГБ, от $0,74/ГБ
Sticky-сессии или статические ISP-проксиМногошаговые задачи и сценарии с авторизациейID сессии или отдельный адрес на каждую задачуЗа ГБ или за IP — от $1,15/IP

Для интенсивного краулинга, например при сборе обучающего датасета, резидентные тарифы без учёта трафика с оплатой за скорость канала (от $33,25/день) позволяют вообще обойтись без счётчика ГБ. Большинство агентов сочетают все три компонента: поиск — чтобы находить источники, ротацию IP — чтобы их читать, и sticky-сессию — когда одна задача охватывает несколько страниц.

Генерация, дополненная поиском (RAG), начинается с самого поиска. Парсить поисковик напрямую — значит самостоятельно разбираться с ротацией, повторными попытками и разбором HTML, разметка которого меняется без предупреждения. SERP API снимает всё это с агента: вызов инструмента отправляет запрос с указанием страны, языка и при необходимости города и получает органические результаты, рекламу, вопросы из блока People Also Ask и локальную выдачу в виде типизированного JSON.

Такая структура хорошо подходит агенту. Модель получает чистые заголовки, сниппеты и ссылки, на которые можно сослаться, параметры локализации подстраивают ответы под рынок пользователя, а каждый вызов стоит одинаково, как бы ни выглядела страница выдачи.

Две привычки помогают сделать привязку к выдаче быстрой и недорогой. Кэшируйте результаты для повторяющихся вопросов: одному и тому же запросу редко нужен свежий поиск в течение часа. И передавайте страну и язык пользователя с каждым запросом: ответ о местных ценах, правилах или наличии товара верен, только если поиск выполнялся там, где находится пользователь. Исследовательскому ассистенту, который делает три поиска на вопрос и отвечает на десять тысяч вопросов в месяц, нужно около тридцати тысяч запросов — это укладывается в самый маленький месячный тариф. Если вы предпочитаете строить этап поиска самостоятельно, плюсы и минусы такого подхода разобраны в статье «Как парсить выдачу Google».

Браузерные агенты: ротация IP и сессии

Агентам, которые открывают реальные страницы, читают их и совершают на них действия, нужен браузер, работающий через прокси. Резидентные IP делают трафик похожим на посещения обычного домашнего пользователя, а параметры в имени пользователя определяют, где и как долго живёт каждая цифровая личность. В Playwright прокси задаётся при запуске браузера:

Python
from playwright.sync_api import sync_playwright

task_id = "agent-42"
with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gw.proxonym.com:8000",
        "username": f"USERNAME-country-de-session-{task_id}-lifetime-30",
        "password": "PASSWORD",
    })
    page = browser.new_page(locale="de-DE", timezone_id="Europe/Berlin")
    page.goto("https://example.com/search?q=wireless+earbuds")
    print(page.title())
    browser.close()

Важны три детали. Давайте каждой задаче собственный ID сессии, чтобы многошаговый сценарий сохранял один IP, а независимым задачам позвольте менять IP. Согласуйте локаль и часовой пояс браузера со страной прокси. Держите сессию ровно столько, сколько длится задача: резидентные сессии удерживают IP до 120 минут, а как выбрать длительность, объясняет сравнение ротации и sticky-сессий. Руководство по настройке Playwright описывает аутентификацию для каждого контекста и повторные попытки.

Как рассчитать трафик браузерного агента

Резидентный трафик оплачивается за ГБ, поэтому бюджет определяется весом каждой страницы. Полная страница в браузере — с изображениями, шрифтами и скриптами — часто весит от 1 до 3 МБ. Один только HTML обычно занимает от 100 до 300 КБ. Агент, которому нужен только текст, может не загружать большую часть этого объёма:

  • Блокируйте тяжёлые ресурсы. Отменяйте в браузере запросы изображений, медиафайлов и шрифтов — страница всё равно отрисует текст и ссылки.
  • Используйте простой HTTP, где это возможно. Страницы, которым не нужен JavaScript, можно загружать HTTP-клиентом вместо браузера — и тратить лишь малую долю трафика.
  • Считайте до покупки. Десять тысяч страниц по 2 МБ — это около 20 ГБ; те же страницы без изображений и шрифтов часто укладываются в 5 ГБ.

Когда объём большой и стабильный, тариф с оплатой за скорость канала и без счётчика ГБ проще планировать в бюджете, чем пакеты с оплатой за ГБ.

Как агенту оставаться желанным гостем

Прокси меняет то, откуда приходят запросы, но не то, что допустимо отправлять. Агенты, которые ведут себя как вежливые посетители, реже попадают под блокировки и приносят меньше вреда:

  • Соблюдайте robots.txt и опубликованные лимиты. Многие сайты указывают, какие разделы могут читать автоматизированные клиенты и с какой скоростью.
  • Дозируйте запросы. Распределяйте нагрузку во времени и по IP вместо всплесков, а получив ответ 429 или 503, делайте паузу.
  • Кэшируйте прочитанное. Если агент дважды задаётся одним и тем же вопросом, ему не нужно дважды загружать одну и ту же страницу.
  • Ограничивайтесь публичными данными. Не автоматизируйте доступ к чужим аккаунтам и не собирайте персональные данные, которые вы не вправе обрабатывать.

На каждый тариф Proxonym распространяются правила допустимого использования: они блокируют ресурсы с высоким уровнем риска и предусматривают проверку для чувствительных сценариев.

Ключевые выводы

  • Агентов блокируют из-за того, откуда приходит их трафик, из-за всплесков запросов и из-за того, как агенты обращаются с сессиями.
  • Используйте SERP API для привязки ответов к поисковой выдаче, резидентные прокси с ротацией — для чтения страниц, а sticky-сессии или статические ISP-прокси — для многошаговых задач.
  • Давайте каждой задаче собственный ID сессии и согласуйте локаль и часовой пояс со страной прокси.
  • Оценивайте трафик по весу страниц и блокируйте изображения и шрифты, если агенту нужен только текст.
  • Дозируйте запросы, кэшируйте результаты и ограничивайтесь публичными данными: вежливым агентам всегда рады.

Читайте также

Все статьи

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления