---
title: "Парсинг без блокировок: 12 практических приёмов"
description: "Парсинг сайтов без блокировок: 12 приёмов — лимиты запросов, ротация IP, заголовки, сессии, нарастающие паузы, кеширование и мониторинг, с соблюдением этики."
url: https://proxonym.com/ru/blog/web-scraping-without-getting-blocked
updated: 2026-10-02T03:03:46+00:00
---

Руководства · 1 октября 2026 г. · 5 мин чтения

# Парсинг без блокировок: 12 практических приёмов

Двенадцать приёмов, которые не дают парсерам останавливаться: соблюдайте правила, дозируйте запросы, разумно меняйте IP, ведите себя последовательно, делайте паузы при ошибках, кэшируйте и следите за долей успешных запросов.

Команда Proxonym

Чтобы парсить сайты без блокировок, ваш трафик должен выглядеть и вести себя как трафик благоразумного посетителя: соблюдайте правила сайта, держите частоту запросов умеренной, распределяйте нагрузку по разным IP, отправляйте полные и согласованные заголовки, сохраняйте целостность сессий, сбавляйте темп, когда сайт начинает сопротивляться, и измеряйте успешность, чтобы вовремя замечать проблемы. Одного волшебного приёма не существует. Блокировки складываются из множества мелких сигналов, и двенадцать приёмов ниже устраняют их один за другим.

## Начните с правил

### 1. Соблюдайте robots.txt, условия использования и закон

Прочитайте robots.txt и условия использования сайта до того, как напишете хоть строчку кода. Собирайте только публичные данные, не парсьте закрытые логином разделы без разрешения и сводите к минимуму сбор персональных данных: законы вроде GDPR регулируют их независимо от того, как они были получены. Этика и долговечность здесь ведут в одну сторону: вежливые парсеры редко провоцируют агрессивную защиту, из-за которой парсинг становится дорогим. Прокси помогают распределять законный трафик, но не делают запрещённый сбор данных допустимым, а наши [правила допустимого использования](https://proxonym.com/ru/acceptable-use) распространяются на каждый запрос.

## Контролируйте частоту запросов

### 2. Ограничивайте частоту запросов к каждому домену

Задавайте бюджет запросов для каждого целевого домена, а не для каждого парсера. Начинайте с малого — например, с одного запроса в секунду для сайта среднего размера, — а затем повышайте частоту, следя за долей ошибок. Соблюдайте директиву `Crawl-delay`, если она есть в robots.txt. Ограничения частоты берегут ресурсы сайта, а у сайта, который не испытывает перегрузки, мало причин вас блокировать. Подстраивайте расписание под бюджет, а не повышайте бюджет: 100 000 страниц при одном запросе в секунду — это около 28 часов на один домен.

### 3. Ограничивайте число параллельных запросов

Ротация IP позволяет выполнять много запросов параллельно, но целевой сайт всё равно видит их общее число. Очередь с ограничением параллельности для каждого домена — скажем, от 5 до 20 одновременных запросов в зависимости от сайта — предотвращает всплески, похожие на атаку. Неограниченное число параллельных подключений на стороне прокси нужно, чтобы распределять работу между многими доменами, а не направлять её всю на один.

### 4. Делайте паузы при ошибках, добавляя случайный разброс

Воспринимайте `429` и `503` как указание сбавить темп. Соблюдайте `Retry-After`; если его нет, увеличивайте паузу между попытками экспоненциально и добавляйте случайный разброс (jitter), чтобы параллельные воркеры не повторяли запросы синхронно:

**Python**

```python
import random
import time

import requests

PROXY = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
PROXIES = {"http": PROXY, "https": PROXY}

def polite_get(session, url, tries=5, base=1.0, cap=60.0):
    for attempt in range(tries):
        try:
            r = session.get(url, proxies=PROXIES, timeout=(10, 60))
        except requests.RequestException:
            r = None                                  # network or tunnel error
        if r is not None and r.status_code != 429 and r.status_code < 500:
            return r                                  # success, or a 4xx to inspect
        if attempt == tries - 1:
            break
        wait = min(cap, base * 2 ** attempt)
        if r is not None and r.headers.get("Retry-After", "").isdigit():
            wait = int(r.headers["Retry-After"])      # the server says how long
        time.sleep(wait + random.uniform(0, wait / 2))
    raise RuntimeError(f"giving up on {url} after {tries} attempts")
```

## Ведите себя последовательно, как настоящий посетитель

### 5. Меняйте IP, выбрав подходящий пул

Распределение запросов по множеству IP удерживает каждый адрес в пределах лимитов на один IP. Подбирайте пул под целевой сайт: [прокси дата-центров](https://proxonym.com/ru/datacenter-proxies) — для слабо защищённых сайтов, [резидентные прокси с ротацией](https://proxonym.com/ru/residential-proxies) — там, где хостинговые IP отфильтровываются. На нашем резидентном шлюзе запрос без параметра session автоматически получает новый IP, так что для ротации не нужен дополнительный код.

### 6. Отправляйте полные и согласованные заголовки

Заголовки библиотек по умолчанию выдают скрипт: User-Agent `python-requests` без `Accept-Language` отфильтровать проще простого. Отправляйте полный набор заголовков, как настоящий браузер: `User-Agent`, `Accept`, `Accept-Language` и `Accept-Encoding`, а при переходах со страницы на страницу — ещё и правдоподобный `Referer`. Кроме того, следите, чтобы эти сведения не противоречили друг другу. User-Agent Chrome у клиента, чей TLS- и HTTP/2-отпечаток явно не принадлежит Chrome, — более сильный сигнал, чем честный User-Agent библиотеки.

### 7. Сохраняйте целостность сессий

Принимайте cookie и отправляйте их обратно, как это делает браузер. Если сценарий состоит из нескольких запросов — пагинация с курсором, корзина или вход в аккаунт, — сохраняйте один IP на весь сценарий с помощью sticky-сессии, а для следующего сценария начинайте новую сессию. Сколько удерживать IP, рассказано в [сравнении ротации и sticky-сессий](https://proxonym.com/ru/blog/rotating-vs-sticky-sessions).

### 8. Согласуйте географию

Используйте выходные IP в той стране, контент которой вам нужен, и согласуйте с ней остальные параметры запроса: `Accept-Language`, параметры валюты и региона, а в браузерах — часовой пояс. Немецкий IP, запрашивающий англоязычные страницы с ценами в долларах, выглядит странно. Если результаты зависят от местоположения, таргетинг по городу, например `-country-us-city-chicago`, позволяет IP и контенту оставаться в одном и том же месте.

## Делайте меньше лишней работы

### 9. Используйте headless-браузеры только при необходимости

Браузеры медленные, дорогие и раскрывают больше данных для снятия отпечатка. Прежде чем браться за браузер, откройте вкладку «Сеть» в инструментах разработчика: многие страницы загружают данные с JSON-эндпоинта, к которому можно обращаться напрямую. Если без рендеринга JavaScript не обойтись, блокируйте изображения, шрифты и медиа и выделяйте каждому контексту браузера собственную sticky-сессию. Код — в статье [«Прокси в Puppeteer и Playwright»](https://proxonym.com/ru/blog/puppeteer-playwright-proxies).

### 10. Кэшируйте и избавляйтесь от дублей

Самый дешёвый запрос — тот, который вы так и не отправили. Сохраняйте всё, что загрузили, пропускайте URL, которые у вас уже есть, и используйте условные запросы (`If-None-Match`, `If-Modified-Since`), чтобы неизменившиеся страницы возвращались коротким ответом `304`. Карты сайта (sitemap) и ленты изменений подскажут, что появилось нового, без повторного обхода всего сайта. Храните не только разобранные данные, но и исходные ответы: тогда ошибка в парсере потребует лишь повторного разбора, а не повторного обхода.

### 11. Воспринимайте капчу как сигнал, а не как препятствие

Капча означает, что сайт счёл ваш трафик автоматическим. Обойдя её, вы не измените этого решения, а лишь скроете причину. Снизьте частоту, проверьте заголовки и сессии, перейдите на пул с более высоким уровнем доверия, если проблема в IP, и приостановите работу с доменом, если проверки не прекращаются. Цель — получать меньше проверок, а не быстрее их проходить.

## Измеряйте всё

### 12. Следите за долей успешных запросов по каждому домену

Отслеживайте коды состояния, размеры ответов и задержку по каждому домену и настройте оповещения на случай падения доли успешных запросов. Проверяйте содержимое, а не только коды состояния: ответ `200` со страницей проверки или пустой сеткой товаров — это всё равно блокировка. Типичные сигналы и как на них реагировать:

| Сигнал | Обычно означает | Ответ |
| --- | --- | --- |
| `429` или заголовок `Retry-After` | Достигнут лимит запросов | Сбавьте темп и соблюдайте заголовок |
| `403` на страницах, которые раньше открывались | Подозрение вызвали репутация IP или отпечаток | Проверьте заголовки; переведите домен на резидентные прокси |
| `200` с крошечным телом ответа или разметкой проверки | Мягкая блокировка | Засчитайте это как неудачу и снизьте частоту |
| Перенаправления на страницы входа или согласия | Проблема с сессией или cookie | Используйте sticky-сессии и сохраняйте cookie |
| Растущая задержка и тайм-ауты | Сайт перегружен или намеренно замедляет вас | Снизьте параллельность |
| `502` от шлюза | Отключился вышестоящий узел сети | Повторите запрос: это не блокировка |

Записывайте ID сессии или выходной IP при каждом сбое, чтобы отличать плохой IP от неудачного паттерна запросов. Наблюдение за этими цифрами превращает блокировки из неприятного сюрприза в управляемую метрику, а падение доли успешных запросов обычно подсказывает, какому из описанных выше приёмов нужно уделить внимание, прежде чем домен перестанет работать совсем. Архитектуры и выбор пула для разных типов сайтов — на странице о [парсинге сайтов через прокси](https://proxonym.com/ru/use-cases/web-scraping).

## Ключевые выводы

- Соблюдайте robots.txt, условия использования и закон: вежливые парсеры реже провоцируют защиту.
- Планируйте бюджет запросов и параллельность для каждого домена, а при 429 и 503 увеличивайте паузы со случайным разбросом.
- Меняйте IP из подходящего пула и следите, чтобы IP, cookie, заголовки и география не противоречили друг другу в рамках каждого сценария.
- Отдавайте предпочтение JSON-эндпоинтам и кэшу, а не headless-браузерам и повторным загрузкам.
- Воспринимайте капчи и мягкие блокировки как сигнал сбавить темп и отслеживайте долю успешных запросов по каждому домену.

Попробуйте на практике

- [Резидентные прокси](https://proxonym.com/ru/residential-proxies): Лучший выбор для парсинга хорошо защищённых сайтов. от **$0,74**/ГБ
- [Прокси дата-центров](https://proxonym.com/ru/datacenter-proxies): Лучший выбор для скорости и больших объёмов на слабо защищённых сайтах. от **$0,013**/IP
- [Безлимитные резидентные прокси](https://proxonym.com/ru/unlimited-residential-proxies): Лучший выбор для масштабного краулинга и данных для обучения ИИ. от **$33,25**/день

Пошаговая настройка

- [Настройка прокси в Scrapy](https://proxonym.com/ru/integrations/scrapy)
- [Настройка прокси в Python Requests](https://proxonym.com/ru/integrations/python-requests)
- [Настройка прокси в Playwright](https://proxonym.com/ru/integrations/playwright)

Протестируйте на своих целевых сайтах

Самостоятельное оформление, оплата криптовалютой, запуск за считаные минуты. Тарифы никогда не продлеваются сами.

## Читайте также

[Все статьи](https://proxonym.com/ru/blog)

- [Прокси для ИИ-агентов: надёжный доступ к вебу для LLM-приложений](https://proxonym.com/ru/blog/proxies-for-ai-agents): ИИ-агенты не справляются, когда сайты их блокируют. Разбираем, какой инструмент подходит для каждой задачи — от привязки ответов к поисковой выдаче до браузерных агентов, — с кодом на Playwright и правилами, которые помогают агентам оставаться желанными гостями на сайтах. (Руководства, 5 мин чтения)
- [Как выбрать провайдера резидентных прокси: 10 проверок](https://proxonym.com/ru/blog/choose-residential-proxy-provider): За рекламной ценой скрывается основная часть расходов. Десять проверок, которые помогают отличить одного провайдера резидентных прокси от другого, таблица тревожных сигналов и простой способ протестировать сервис на собственных целевых сайтах. (Руководства, 5 мин чтения)
- [Резидентные прокси или прокси дата-центров: как выбрать под свою задачу](https://proxonym.com/ru/blog/residential-vs-datacenter-proxies): Подробное сравнение резидентных прокси и прокси дата-центров: таблица для принятия решения, стратегии гибридной маршрутизации и расчёт затрат по реальным ценам за ГБ и за IP. (Руководства, 6 мин чтения)
