Парсинг без блокировок: 12 практических приёмов
Двенадцать приёмов, которые не дают парсерам останавливаться: соблюдайте правила, дозируйте запросы, разумно меняйте IP, ведите себя последовательно, делайте паузы при ошибках, кэшируйте и следите за долей успешных запросов.
Команда Proxonym
Чтобы парсить сайты без блокировок, ваш трафик должен выглядеть и вести себя как трафик благоразумного посетителя: соблюдайте правила сайта, держите частоту запросов умеренной, распределяйте нагрузку по разным IP, отправляйте полные и согласованные заголовки, сохраняйте целостность сессий, сбавляйте темп, когда сайт начинает сопротивляться, и измеряйте успешность, чтобы вовремя замечать проблемы. Одного волшебного приёма не существует. Блокировки складываются из множества мелких сигналов, и двенадцать приёмов ниже устраняют их один за другим.
Начните с правил
1. Соблюдайте robots.txt, условия использования и закон
Прочитайте robots.txt и условия использования сайта до того, как напишете хоть строчку кода. Собирайте только публичные данные, не парсьте закрытые логином разделы без разрешения и сводите к минимуму сбор персональных данных: законы вроде GDPR регулируют их независимо от того, как они были получены. Этика и долговечность здесь ведут в одну сторону: вежливые парсеры редко провоцируют агрессивную защиту, из-за которой парсинг становится дорогим. Прокси помогают распределять законный трафик, но не делают запрещённый сбор данных допустимым, а наши правила допустимого использования распространяются на каждый запрос.
Контролируйте частоту запросов
2. Ограничивайте частоту запросов к каждому домену
Задавайте бюджет запросов для каждого целевого домена, а не для каждого парсера. Начинайте с малого — например, с одного запроса в секунду для сайта среднего размера, — а затем повышайте частоту, следя за долей ошибок. Соблюдайте директиву Crawl-delay, если она есть в robots.txt. Ограничения частоты берегут ресурсы сайта, а у сайта, который не испытывает перегрузки, мало причин вас блокировать. Подстраивайте расписание под бюджет, а не повышайте бюджет: 100 000 страниц при одном запросе в секунду — это около 28 часов на один домен.
3. Ограничивайте число параллельных запросов
Ротация IP позволяет выполнять много запросов параллельно, но целевой сайт всё равно видит их общее число. Очередь с ограничением параллельности для каждого домена — скажем, от 5 до 20 одновременных запросов в зависимости от сайта — предотвращает всплески, похожие на атаку. Неограниченное число параллельных подключений на стороне прокси нужно, чтобы распределять работу между многими доменами, а не направлять её всю на один.
4. Делайте паузы при ошибках, добавляя случайный разброс
Воспринимайте 429 и 503 как указание сбавить темп. Соблюдайте Retry-After; если его нет, увеличивайте паузу между попытками экспоненциально и добавляйте случайный разброс (jitter), чтобы параллельные воркеры не повторяли запросы синхронно:
import random
import time
import requests
PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}
def polite_get(session, url, tries=5, base=1.0, cap=60.0):
for attempt in range(tries):
try:
r = session.get(url, proxies=PROXIES, timeout=(10, 60))
except requests.RequestException:
r = None # network or tunnel error
if r is not None and r.status_code != 429 and r.status_code < 500:
return r # success, or a 4xx to inspect
if attempt == tries - 1:
break
wait = min(cap, base * 2 ** attempt)
if r is not None and r.headers.get("Retry-After", "").isdigit():
wait = int(r.headers["Retry-After"]) # the server says how long
time.sleep(wait + random.uniform(0, wait / 2))
raise RuntimeError(f"giving up on {url} after {tries} attempts")Ведите себя последовательно, как настоящий посетитель
5. Меняйте IP, выбрав подходящий пул
Распределение запросов по множеству IP удерживает каждый адрес в пределах лимитов на один IP. Подбирайте пул под целевой сайт: прокси дата-центров — для слабо защищённых сайтов, резидентные прокси с ротацией — там, где хостинговые IP отфильтровываются. На нашем резидентном шлюзе запрос без параметра session автоматически получает новый IP, так что для ротации не нужен дополнительный код.
6. Отправляйте полные и согласованные заголовки
Заголовки библиотек по умолчанию выдают скрипт: User-Agent python-requests без Accept-Language отфильтровать проще простого. Отправляйте полный набор заголовков, как настоящий браузер: User-Agent, Accept, Accept-Language и Accept-Encoding, а при переходах со страницы на страницу — ещё и правдоподобный Referer. Кроме того, следите, чтобы эти сведения не противоречили друг другу. User-Agent Chrome у клиента, чей TLS- и HTTP/2-отпечаток явно не принадлежит Chrome, — более сильный сигнал, чем честный User-Agent библиотеки.
7. Сохраняйте целостность сессий
Принимайте cookie и отправляйте их обратно, как это делает браузер. Если сценарий состоит из нескольких запросов — пагинация с курсором, корзина или вход в аккаунт, — сохраняйте один IP на весь сценарий с помощью sticky-сессии, а для следующего сценария начинайте новую сессию. Сколько удерживать IP, рассказано в сравнении ротации и sticky-сессий.
8. Согласуйте географию
Используйте выходные IP в той стране, контент которой вам нужен, и согласуйте с ней остальные параметры запроса: Accept-Language, параметры валюты и региона, а в браузерах — часовой пояс. Немецкий IP, запрашивающий англоязычные страницы с ценами в долларах, выглядит странно. Если результаты зависят от местоположения, таргетинг по городу, например -country-us-city-chicago, позволяет IP и контенту оставаться в одном и том же месте.
Делайте меньше лишней работы
9. Используйте headless-браузеры только при необходимости
Браузеры медленные, дорогие и раскрывают больше данных для снятия отпечатка. Прежде чем браться за браузер, откройте вкладку «Сеть» в инструментах разработчика: многие страницы загружают данные с JSON-эндпоинта, к которому можно обращаться напрямую. Если без рендеринга JavaScript не обойтись, блокируйте изображения, шрифты и медиа и выделяйте каждому контексту браузера собственную sticky-сессию. Код — в статье «Прокси в Puppeteer и Playwright».
10. Кэшируйте и избавляйтесь от дублей
Самый дешёвый запрос — тот, который вы так и не отправили. Сохраняйте всё, что загрузили, пропускайте URL, которые у вас уже есть, и используйте условные запросы (If-None-Match, If-Modified-Since), чтобы неизменившиеся страницы возвращались коротким ответом 304. Карты сайта (sitemap) и ленты изменений подскажут, что появилось нового, без повторного обхода всего сайта. Храните не только разобранные данные, но и исходные ответы: тогда ошибка в парсере потребует лишь повторного разбора, а не повторного обхода.
11. Воспринимайте капчу как сигнал, а не как препятствие
Капча означает, что сайт счёл ваш трафик автоматическим. Обойдя её, вы не измените этого решения, а лишь скроете причину. Снизьте частоту, проверьте заголовки и сессии, перейдите на пул с более высоким уровнем доверия, если проблема в IP, и приостановите работу с доменом, если проверки не прекращаются. Цель — получать меньше проверок, а не быстрее их проходить.
Измеряйте всё
12. Следите за долей успешных запросов по каждому домену
Отслеживайте коды состояния, размеры ответов и задержку по каждому домену и настройте оповещения на случай падения доли успешных запросов. Проверяйте содержимое, а не только коды состояния: ответ 200 со страницей проверки или пустой сеткой товаров — это всё равно блокировка. Типичные сигналы и как на них реагировать:
| Сигнал | Обычно означает | Ответ |
|---|---|---|
429 или заголовок Retry-After | Достигнут лимит запросов | Сбавьте темп и соблюдайте заголовок |
403 на страницах, которые раньше открывались | Подозрение вызвали репутация IP или отпечаток | Проверьте заголовки; переведите домен на резидентные прокси |
200 с крошечным телом ответа или разметкой проверки | Мягкая блокировка | Засчитайте это как неудачу и снизьте частоту |
| Перенаправления на страницы входа или согласия | Проблема с сессией или cookie | Используйте sticky-сессии и сохраняйте cookie |
| Растущая задержка и тайм-ауты | Сайт перегружен или намеренно замедляет вас | Снизьте параллельность |
502 от шлюза | Отключился вышестоящий узел сети | Повторите запрос: это не блокировка |
Записывайте ID сессии или выходной IP при каждом сбое, чтобы отличать плохой IP от неудачного паттерна запросов. Наблюдение за этими цифрами превращает блокировки из неприятного сюрприза в управляемую метрику, а падение доли успешных запросов обычно подсказывает, какому из описанных выше приёмов нужно уделить внимание, прежде чем домен перестанет работать совсем. Архитектуры и выбор пула для разных типов сайтов — на странице о парсинге сайтов через прокси.
Ключевые выводы
- Соблюдайте robots.txt, условия использования и закон: вежливые парсеры реже провоцируют защиту.
- Планируйте бюджет запросов и параллельность для каждого домена, а при 429 и 503 увеличивайте паузы со случайным разбросом.
- Меняйте IP из подходящего пула и следите, чтобы IP, cookie, заголовки и география не противоречили друг другу в рамках каждого сценария.
- Отдавайте предпочтение JSON-эндпоинтам и кэшу, а не headless-браузерам и повторным загрузкам.
- Воспринимайте капчи и мягкие блокировки как сигнал сбавить темп и отслеживайте долю успешных запросов по каждому домену.
