Электронная коммерция и цены
Отслеживайте цены, наличие и отзывы конкурентов на маркетплейсах.
Сценарий · Парсинг сайтов
Собирайте публичные веб-данные в любом масштабе через 55 млн+ резидентных IP и 40 000 IP дата-центров. Меняйте IP на каждый запрос, удерживайте sticky-сессию, когда она нужна, и выбирайте любую страну, город или ASN.
Рекомендуем для парсинга
Оплата по мере использования · Принимаем криптовалюту · Запуск за минуты
Проблема
Трудности, с которыми рано или поздно сталкивается любая команда, занятая парсингом.
Сайты считают запросы с каждого IP. Прогоните несколько сотен страниц через один адрес — и вас замедлят, начнут отдавать ошибки 429 или сразу заблокируют, причём часто посреди задачи, которая должна была завершиться сегодня вечером.
Антибот-системы оценивают каждого посетителя. Диапазоны дата-центров, несовпадающие локации и одинаковые шаблоны запросов повышают эту оценку, пока в ответ на каждый запрос вместо нужных вам данных не начнёт приходить страница проверки.
Цены, наличие, результаты поиска и даже вёрстка страниц зависят от того, где находится посетитель. Парсите не из той страны — и ваш датасет незаметно описывает рынок, который ваши клиенты никогда не видят.
Решение
Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.
Не указывайте параметр сессии — и каждый запрос будет уходить с другого резидентного IP. Нагрузка распределяется по пулу из 55 млн+ адресов, поэтому лимиты на один IP перестают быть узким местом.
Добавьте -session-{id} к имени пользователя, чтобы сохранять один IP до 120 минут на резидентных прокси. Вход в аккаунт, постраничные списки и многошаговые сценарии работают согласованно от первого запроса до последнего.
Выбирайте локацию в имени пользователя, например -country-de-city-berlin, и собирайте ту самую версию каждой страницы, которую видят местные посетители. Никаких отдельных портов или списков.
Любой тариф допускает неограниченное число параллельных сессий при лимите всплесков около 10 000 запросов в секунду на аккаунт. Масштабируйте потоки, воркеры и headless-браузеры настолько, насколько позволяет ваша собственная инфраструктура.
Рекомендуем
Начните с первого варианта. Большинство команд добавляют второй пул по мере роста числа целевых сайтов.
Начать
Начните с резидентных прокси для защищённых сайтов или с прокси дата-центров для простых. Тарифы активируются в течение нескольких минут после оплаты, а продукты можно сменить или совместить, как только изменится целевой сайт.
Укажите gw.proxonym.com:8000 в качестве прокси с учётными данными из личного кабинета. Подойдёт всё, что поддерживает HTTP или SOCKS5, — от requests и Scrapy до Playwright, Puppeteer и обычного cURL.
Добавьте параметры страны или города, используйте сессии только там, где важно сохранять состояние, и повторяйте запросы с ответом 502 с нового IP. Отслеживайте расход по субпользователям в личном кабинете или через API.
Лучшие практики парсинга
# pip install requests
import random
import time
from concurrent.futures import ThreadPoolExecutor
import requests
# No -session parameter: every request exits from a new US residential IP
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
RETRY_ON = {429, 502, 504}
def fetch(url, attempts=4):
for attempt in range(attempts):
try:
r = requests.get(url, proxies=PROXIES, timeout=30)
if r.status_code not in RETRY_ON:
return url, r.status_code, len(r.content)
except requests.RequestException:
pass # tunnel or network error: the next attempt uses a new IP
time.sleep(2 ** attempt + random.random()) # exponential backoff
return url, None, 0
urls = [f"https://books.toscrape.com/catalogue/page-{n}.html" for n in range(1, 51)]
with ThreadPoolExecutor(max_workers=20) as pool:
for url, status, size in pool.map(fetch, urls):
print(status, f"{size:>7} bytes", url)Частые вопросы
Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.
Открыть справочный центрНачните с прокси дата-центров на сайтах без серьёзной защиты от ботов: они быстрые и стоят всего $0,013 за IP на тарифе с 40 000 IP. Переходите на резидентные, когда появляются блокировки, капчи или пустые страницы. Резидентные IP принадлежат подключениям реальных пользователей, поэтому антибот-системы доверяют им больше. Многие команды используют оба типа и направляют каждый домен в самый дешёвый пул, который ещё работает.
Это зависит от веса страниц. Простая HTML-страница часто весит от 50 до 300 КБ, а полный рендеринг в браузере с изображениями и скриптами может превысить 2 МБ. Блокируйте изображения, шрифты и медиафайлы в headless-браузерах, по возможности обращайтесь к JSON-эндпоинтам вместо полных страниц и принимайте сжатые ответы. Личный кабинет показывает расход по каждому субпользователю, так что вы можете оценить каждую задачу, прежде чем масштабировать её.
Да. Добавьте к имени пользователя -session- и от 1 до 32 букв или цифр, например USERNAME-session-a7k2. По умолчанию IP сохраняется 10 минут, а на резидентных прокси можно задать -lifetime- от 1 до 120 минут. Чтобы получить другой IP, используйте новый ID сессии.
Да. Proxonym работает как стандартный HTTP-, HTTPS- или SOCKS5-прокси, поэтому с ним совместимы любая библиотека или фреймворк, которые принимают URL прокси. Наши руководства по интеграции охватывают cURL, Python requests, Scrapy, Node.js, Puppeteer, Playwright, Selenium, Go, PHP и Java — для каждого есть готовая к копированию конфигурация.
Сбор общедоступных данных законен во многих юрисдикциях, но правила различаются в зависимости от страны и типа данных. Персональные данные подпадают под такие законы, как GDPR, у контента, защищённого авторским правом, свои ограничения, а условия использования сайта могут ограничивать автоматизированный доступ. Собирайте только то, что нужно, не трогайте контент за авторизацией, поддерживайте разумную нагрузку и получите юридическую консультацию по своему конкретному проекту.
Платформы
Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.
По теме
Команды часто совмещают эти сценарии с парсингом в одном аккаунте.
Отслеживайте цены, наличие и отзывы конкурентов на маркетплейсах.
Наполняйте датасеты и RAG-пайплайны свежими публичными веб-данными.
Собирайте локализованный контент, отзывы и тренды на любом рынке.
Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.