НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Сценарий · Парсинг сайтов

Прокси для парсинга, с которыми ваши краулеры работают без остановок

Собирайте публичные веб-данные в любом масштабе через 55 млн+ резидентных IP и 40 000 IP дата-центров. Меняйте IP на каждый запрос, удерживайте sticky-сессию, когда она нужна, и выбирайте любую страну, город или ASN.

  • 55 млн+Резидентных IP
  • 195+Стран
  • Без ограниченийПараллельные сессии

Рекомендуем для парсинга

Начать

Оплата по мере использования · Принимаем криптовалюту · Запуск за минуты

Проблема

Что мешает работе

Трудности, с которыми рано или поздно сталкивается любая команда, занятая парсингом.

  1. 01

    Баны IP и ограничения частоты запросов

    Сайты считают запросы с каждого IP. Прогоните несколько сотен страниц через один адрес — и вас замедлят, начнут отдавать ошибки 429 или сразу заблокируют, причём часто посреди задачи, которая должна была завершиться сегодня вечером.

  2. 02

    Капчи и антибот-защита

    Антибот-системы оценивают каждого посетителя. Диапазоны дата-центров, несовпадающие локации и одинаковые шаблоны запросов повышают эту оценку, пока в ответ на каждый запрос вместо нужных вам данных не начнёт приходить страница проверки.

  3. 03

    Контент, который зависит от местоположения

    Цены, наличие, результаты поиска и даже вёрстка страниц зависят от того, где находится посетитель. Парсите не из той страны — и ваш датасет незаметно описывает рынок, который ваши клиенты никогда не видят.

Решение

Как Proxonym решает эти проблемы

Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.

Новый IP на каждый запрос

Не указывайте параметр сессии — и каждый запрос будет уходить с другого резидентного IP. Нагрузка распределяется по пулу из 55 млн+ адресов, поэтому лимиты на один IP перестают быть узким местом.

Sticky-сессии по запросу

Добавьте -session-{id} к имени пользователя, чтобы сохранять один IP до 120 минут на резидентных прокси. Вход в аккаунт, постраничные списки и многошаговые сценарии работают согласованно от первого запроса до последнего.

Таргетинг по стране, городу и ASN

Выбирайте локацию в имени пользователя, например -country-de-city-berlin, и собирайте ту самую версию каждой страницы, которую видят местные посетители. Никаких отдельных портов или списков.

Параллельные подключения без ограничений

Любой тариф допускает неограниченное число параллельных сессий при лимите всплесков около 10 000 запросов в секунду на аккаунт. Масштабируйте потоки, воркеры и headless-браузеры настолько, насколько позволяет ваша собственная инфраструктура.

Начать

Запуск в три шага

  1. 1

    Выберите подходящий пул

    Начните с резидентных прокси для защищённых сайтов или с прокси дата-центров для простых. Тарифы активируются в течение нескольких минут после оплаты, а продукты можно сменить или совместить, как только изменится целевой сайт.

  2. 2

    Направьте парсер на шлюз

    Укажите gw.proxonym.com:8000 в качестве прокси с учётными данными из личного кабинета. Подойдёт всё, что поддерживает HTTP или SOCKS5, — от requests и Scrapy до Playwright, Puppeteer и обычного cURL.

  3. 3

    Настройте таргетинг и повторы

    Добавьте параметры страны или города, используйте сессии только там, где важно сохранять состояние, и повторяйте запросы с ответом 502 с нового IP. Отслеживайте расход по субпользователям в личном кабинете или через API.

Лучшие практики парсинга

  • Отправляйте реалистичный User-Agent и заголовок Accept-Language, соответствующие целевой стране.
  • Используйте sticky-сессии только для многошаговых сценариев, а для всего остального оставляйте ротацию.
  • После ответа 502 сразу повторяйте запрос с нового IP, а при 429 снижайте темп, вместо того чтобы засыпать сайт запросами.
  • Кэшируйте то, что уже собрали, и загружайте только изменившиеся страницы: это сокращает и расход ГБ, и нагрузку на сайт.
  • Перед каждым новым проектом читайте robots.txt и условия использования сайта и поддерживайте вежливую частоту запросов.
Параллельный парсинг с новым IP на каждый запрос и повторами
# pip install requests
import random
import time
from concurrent.futures import ThreadPoolExecutor

import requests

# No -session parameter: every request exits from a new US residential IP
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
RETRY_ON = {429, 502, 504}


def fetch(url, attempts=4):
    for attempt in range(attempts):
        try:
            r = requests.get(url, proxies=PROXIES, timeout=30)
            if r.status_code not in RETRY_ON:
                return url, r.status_code, len(r.content)
        except requests.RequestException:
            pass  # tunnel or network error: the next attempt uses a new IP
        time.sleep(2 ** attempt + random.random())  # exponential backoff
    return url, None, 0


urls = [f"https://books.toscrape.com/catalogue/page-{n}.html" for n in range(1, 51)]

with ThreadPoolExecutor(max_workers=20) as pool:
    for url, status, size in pool.map(fetch, urls):
        print(status, f"{size:>7} bytes", url)

Больше примеров кодаРуководства по интеграции

Частые вопросы

Вопросы о парсинге

Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.

Открыть справочный центр
Какие прокси выбрать для парсинга: резидентные или дата-центров?

Начните с прокси дата-центров на сайтах без серьёзной защиты от ботов: они быстрые и стоят всего $0,013 за IP на тарифе с 40 000 IP. Переходите на резидентные, когда появляются блокировки, капчи или пустые страницы. Резидентные IP принадлежат подключениям реальных пользователей, поэтому антибот-системы доверяют им больше. Многие команды используют оба типа и направляют каждый домен в самый дешёвый пул, который ещё работает.

Сколько трафика израсходует мой проект парсинга?

Это зависит от веса страниц. Простая HTML-страница часто весит от 50 до 300 КБ, а полный рендеринг в браузере с изображениями и скриптами может превысить 2 МБ. Блокируйте изображения, шрифты и медиафайлы в headless-браузерах, по возможности обращайтесь к JSON-эндпоинтам вместо полных страниц и принимайте сжатые ответы. Личный кабинет показывает расход по каждому субпользователю, так что вы можете оценить каждую задачу, прежде чем масштабировать её.

Можно ли сохранить один IP для нескольких запросов?

Да. Добавьте к имени пользователя -session- и от 1 до 32 букв или цифр, например USERNAME-session-a7k2. По умолчанию IP сохраняется 10 минут, а на резидентных прокси можно задать -lifetime- от 1 до 120 минут. Чтобы получить другой IP, используйте новый ID сессии.

Работает ли это со Scrapy, Playwright и Puppeteer?

Да. Proxonym работает как стандартный HTTP-, HTTPS- или SOCKS5-прокси, поэтому с ним совместимы любая библиотека или фреймворк, которые принимают URL прокси. Наши руководства по интеграции охватывают cURL, Python requests, Scrapy, Node.js, Puppeteer, Playwright, Selenium, Go, PHP и Java — для каждого есть готовая к копированию конфигурация.

Законен ли парсинг?

Сбор общедоступных данных законен во многих юрисдикциях, но правила различаются в зависимости от страны и типа данных. Персональные данные подпадают под такие законы, как GDPR, у контента, защищённого авторским правом, свои ограничения, а условия использования сайта могут ограничивать автоматизированный доступ. Собирайте только то, что нужно, не трогайте контент за авторизацией, поддерживайте разумную нагрузку и получите юридическую консультацию по своему конкретному проекту.

Платформы

Прокси для сайтов, с которых вы собираете данные

Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.

По теме

Смежные сценарии использования

Команды часто совмещают эти сценарии с парсингом в одном аккаунте.

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления