Прокси для ИИ-агентов: надёжный доступ к вебу для LLM-приложений
ИИ-агенты не справляются, когда сайты их блокируют. Разбираем, какой инструмент подходит для каждой задачи — от привязки ответов к поисковой выдаче до браузерных агентов, — с кодом на Playwright и правилами, которые помогают агентам оставаться желанными гостями на сайтах.
Команда Proxonym
ИИ-агент полезен ровно в той мере, в какой ему доступны нужные страницы. Исследовательские ассистенты, браузерные агенты и пайплайны извлечения данных отправляют запросы в открытый веб, и многие из этих запросов заканчиваются блокировками, капчами или страницами, локализованными не для той страны. Проблема не в модели, а в сетевом маршруте.
В этом руководстве — три компонента, которые дают агенту надёжный доступ к вебу, ситуации, в которых подходит каждый из них, подключение браузерного агента через прокси и правила, благодаря которым автоматизированному трафику по-прежнему рады.
Почему ИИ-агентов блокируют
Большинство агентов работает в облаке, поэтому их запросы уходят с диапазонов IP, принадлежащих хостинг-провайдерам. Системы защиты от ботов считают такие диапазоны серверами, а не людьми, и проверяют их в первую очередь. Ситуацию усугубляют три привычки:
- Всплески запросов. Агент, который открывает двадцать вкладок одновременно с одного IP, совсем не похож на посетителя.
- Отсутствие сессии. Многошаговые задачи — например, поиск, клик и заполнение формы — ломаются, когда каждый запрос уходит с другого адреса или с одного адреса, которым пользуются тысячи других агентов.
- Не та локация. Если на вопрос о ценах в Германии отвечать с сервера в Вирджинии, получатся американские цены, валюта и результаты поиска.
Четвёртый сигнал — отпечаток браузера. Headless-браузер с настройками по умолчанию выдаёт себя строкой User-Agent, отсутствующими шрифтами и часовым поясом, который не совпадает с его IP. Прокси решают задачу на сетевом уровне, а браузер должен этому уровню соответствовать.
У каждой из этих проблем есть прямое решение, и правильное зависит от того, чем занят агент.
Три компонента веб-доступа для агентов
| Компонент | Для чего подходит | Как агент его использует | Тарификация |
|---|---|---|---|
| SERP API | Привязка ответов к свежей поисковой выдаче | Один HTTPS-запрос возвращает результаты Google в формате JSON | За 1 000 запросов, от $0,16 |
| Резидентные прокси с ротацией | Чтение страниц от лица местного посетителя | HTTP-клиент или браузер направляет запросы на шлюз | За ГБ, от $0,74/ГБ |
| Sticky-сессии или статические ISP-прокси | Многошаговые задачи и сценарии с авторизацией | ID сессии или отдельный адрес на каждую задачу | За ГБ или за IP — от $1,15/IP |
Для интенсивного краулинга, например при сборе обучающего датасета, резидентные тарифы без учёта трафика с оплатой за скорость канала (от $33,25/день) позволяют вообще обойтись без счётчика ГБ. Большинство агентов сочетают все три компонента: поиск — чтобы находить источники, ротацию IP — чтобы их читать, и sticky-сессию — когда одна задача охватывает несколько страниц.
Привязка ответов к поисковой выдаче
Генерация, дополненная поиском (RAG), начинается с самого поиска. Парсить поисковик напрямую — значит самостоятельно разбираться с ротацией, повторными попытками и разбором HTML, разметка которого меняется без предупреждения. SERP API снимает всё это с агента: вызов инструмента отправляет запрос с указанием страны, языка и при необходимости города и получает органические результаты, рекламу, вопросы из блока People Also Ask и локальную выдачу в виде типизированного JSON.
Такая структура хорошо подходит агенту. Модель получает чистые заголовки, сниппеты и ссылки, на которые можно сослаться, параметры локализации подстраивают ответы под рынок пользователя, а каждый вызов стоит одинаково, как бы ни выглядела страница выдачи.
Две привычки помогают сделать привязку к выдаче быстрой и недорогой. Кэшируйте результаты для повторяющихся вопросов: одному и тому же запросу редко нужен свежий поиск в течение часа. И передавайте страну и язык пользователя с каждым запросом: ответ о местных ценах, правилах или наличии товара верен, только если поиск выполнялся там, где находится пользователь. Исследовательскому ассистенту, который делает три поиска на вопрос и отвечает на десять тысяч вопросов в месяц, нужно около тридцати тысяч запросов — это укладывается в самый маленький месячный тариф. Если вы предпочитаете строить этап поиска самостоятельно, плюсы и минусы такого подхода разобраны в статье «Как парсить выдачу Google».
Браузерные агенты: ротация IP и сессии
Агентам, которые открывают реальные страницы, читают их и совершают на них действия, нужен браузер, работающий через прокси. Резидентные IP делают трафик похожим на посещения обычного домашнего пользователя, а параметры в имени пользователя определяют, где и как долго живёт каждая цифровая личность. В Playwright прокси задаётся при запуске браузера:
from playwright.sync_api import sync_playwright
task_id = "agent-42"
with sync_playwright() as p:
browser = p.chromium.launch(proxy={
"server": "http://gw.proxonym.com:8000",
"username": f"USERNAME-country-de-session-{task_id}-lifetime-30",
"password": "PASSWORD",
})
page = browser.new_page(locale="de-DE", timezone_id="Europe/Berlin")
page.goto("https://example.com/search?q=wireless+earbuds")
print(page.title())
browser.close()Важны три детали. Давайте каждой задаче собственный ID сессии, чтобы многошаговый сценарий сохранял один IP, а независимым задачам позвольте менять IP. Согласуйте локаль и часовой пояс браузера со страной прокси. Держите сессию ровно столько, сколько длится задача: резидентные сессии удерживают IP до 120 минут, а как выбрать длительность, объясняет сравнение ротации и sticky-сессий. Руководство по настройке Playwright описывает аутентификацию для каждого контекста и повторные попытки.
Как рассчитать трафик браузерного агента
Резидентный трафик оплачивается за ГБ, поэтому бюджет определяется весом каждой страницы. Полная страница в браузере — с изображениями, шрифтами и скриптами — часто весит от 1 до 3 МБ. Один только HTML обычно занимает от 100 до 300 КБ. Агент, которому нужен только текст, может не загружать большую часть этого объёма:
- Блокируйте тяжёлые ресурсы. Отменяйте в браузере запросы изображений, медиафайлов и шрифтов — страница всё равно отрисует текст и ссылки.
- Используйте простой HTTP, где это возможно. Страницы, которым не нужен JavaScript, можно загружать HTTP-клиентом вместо браузера — и тратить лишь малую долю трафика.
- Считайте до покупки. Десять тысяч страниц по 2 МБ — это около 20 ГБ; те же страницы без изображений и шрифтов часто укладываются в 5 ГБ.
Когда объём большой и стабильный, тариф с оплатой за скорость канала и без счётчика ГБ проще планировать в бюджете, чем пакеты с оплатой за ГБ.
Как агенту оставаться желанным гостем
Прокси меняет то, откуда приходят запросы, но не то, что допустимо отправлять. Агенты, которые ведут себя как вежливые посетители, реже попадают под блокировки и приносят меньше вреда:
- Соблюдайте robots.txt и опубликованные лимиты. Многие сайты указывают, какие разделы могут читать автоматизированные клиенты и с какой скоростью.
- Дозируйте запросы. Распределяйте нагрузку во времени и по IP вместо всплесков, а получив ответ
429или503, делайте паузу. - Кэшируйте прочитанное. Если агент дважды задаётся одним и тем же вопросом, ему не нужно дважды загружать одну и ту же страницу.
- Ограничивайтесь публичными данными. Не автоматизируйте доступ к чужим аккаунтам и не собирайте персональные данные, которые вы не вправе обрабатывать.
На каждый тариф Proxonym распространяются правила допустимого использования: они блокируют ресурсы с высоким уровнем риска и предусматривают проверку для чувствительных сценариев.
Ключевые выводы
- Агентов блокируют из-за того, откуда приходит их трафик, из-за всплесков запросов и из-за того, как агенты обращаются с сессиями.
- Используйте SERP API для привязки ответов к поисковой выдаче, резидентные прокси с ротацией — для чтения страниц, а sticky-сессии или статические ISP-прокси — для многошаговых задач.
- Давайте каждой задаче собственный ID сессии и согласуйте локаль и часовой пояс со страной прокси.
- Оценивайте трафик по весу страниц и блокируйте изображения и шрифты, если агенту нужен только текст.
- Дозируйте запросы, кэшируйте результаты и ограничивайтесь публичными данными: вежливым агентам всегда рады.
