---
title: "Прокси для Scrapy: middleware, ротация и sticky-IP"
description: "Пауки Scrapy через прокси с ротацией: downloader middleware, sticky-сессии для отдельных запросов, геотаргетинг, повторы и настройки параллельности."
url: https://proxonym.com/ru/integrations/scrapy
updated: 2026-10-02T03:03:46+00:00
---

# Как использовать прокси в Scrapy

Scrapy берёт прокси для каждого запроса из request.meta. Небольшой downloader middleware направляет все запросы через Proxonym, а отдельные запросы могут переопределить его своей сессией или местоположением.

- 6 шагов
- Настройка за 12 мин
- Готовый код для копирования

Перед началом работы

- Python 3.10 или новее
- Scrapy 2.x
- Тариф Proxonym на резидентные или мобильные прокси

Параметры подключения

- **Хост**: `gw.proxonym.com`
- **HTTP**: `8000`
- **SOCKS5**: `1080`
- **Пользователь**: `USERNAME-country-us`

1. **Установите Scrapy и создайте проект**: Установите Scrapy через pip и создайте проект. В примерах ниже используется проект с именем `proxydemo`. Shell `python -m pip install scrapy scrapy startproject proxydemo cd proxydemo`
2. **Добавьте middleware для прокси**: Добавьте этот класс в `proxydemo/middlewares.py`. Он задаёт шлюз для каждого запроса, у которого ещё нет прокси, а Scrapy превращает учётные данные из URL в заголовок Proxy-Authorization. Python `# proxydemo/middlewares.py class ProxonymProxyMiddleware: """Send requests through the Proxonym gateway unless they set their own proxy.""" PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000" def process_request(self, request, spider=None): request.meta.setdefault("proxy", self.PROXY)`
3. **Включите его в settings.py**: Зарегистрируйте middleware с приоритетом меньше 750, чтобы он выполнялся раньше встроенного HttpProxyMiddleware, и задайте повторные попытки и тайм-аут, подходящие для прокси-шлюза. Python `# proxydemo/settings.py DOWNLOADER_MIDDLEWARES = { "proxydemo.middlewares.ProxonymProxyMiddleware": 350, } RETRY_TIMES = 3 RETRY_HTTP_CODES = [429, 500, 502, 503, 504] DOWNLOAD_TIMEOUT = 60`
4. **Проверьте выходной IP**: Сохраните этого паука как `proxydemo/spiders/ip.py` и выполните `scrapy crawl ip -O ip.json`. В выходном файле должен оказаться IP-адрес, отличный от вашего. Python `# proxydemo/spiders/ip.py import scrapy class IpSpider(scrapy.Spider): name = "ip" start_urls = ["https://api.ipify.org?format=json"] def parse(self, response): yield {"ip": response.json()["ip"]}`
5. **Задавайте сессии и местоположение для отдельных запросов**: Запрос, в котором задан `meta["proxy"]`, не использует значение по умолчанию из middleware. Назначьте отдельной цепочке обхода собственный ID сессии, чтобы сохранять один IP до 120 минут, и добавьте страну, штат или город, чтобы получать локализованные результаты. Python `# proxydemo/spiders/geo.py import secrets import scrapy def proxy_for(country=None, city=None, session=None, lifetime=30): user = "USERNAME" if country: user += f"-country-{country}" if city: user += f"-city-{city}" if session: user += f"-session-{session}-lifetime-{lifetime}" return f"http://{user}:PASSWORD@gw.proxonym.com:8000" class GeoSpider(scrapy.Spider): name = "geo" start_urls = ["https://ipinfo.io/json"] def parse(self, response): yield {"rotating": response.json()} # Three follow-up requests that share one sticky IP in Paris session = secrets.token_hex(4) for n in range(3): yield scrapy.Request( "https://ipinfo.io/json", callback=self.parse_sticky, dont_filter=True, meta={"proxy": proxy_for(country="fr", city="paris", session=session)}, cb_kwargs={"n": n}, ) def parse_sticky(self, response, n): yield {"n": n, "sticky": response.json()}`
6. **Настройте повторные попытки и параллелизм**: Scrapy повторяет запросы при тайм-аутах, отклонённых туннелях и кодах состояния из `RETRY_HTTP_CODES`. Отклонённый туннель записывается в лог вместе со статусом шлюза, поэтому при 407, 402 или 403 устраните причину, а не повторяйте запрос. Python `# proxydemo/settings.py CONCURRENT_REQUESTS = 32 CONCURRENT_REQUESTS_PER_DOMAIN = 8 AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0`

## Часто задаваемые вопросы

### Поддерживает ли Scrapy SOCKS5-прокси?

Нативно — нет. Scrapy работает с HTTP-прокси, и для Proxonym этого достаточно: шлюз на порту 8000 туннелирует HTTPS через CONNECT и принимает все параметры таргетинга и сессий. Оставьте SOCKS5-эндпоинт на порту 1080 для инструментов, которым он необходим, например для клиентов, работающих не по HTTP, а пауков направляйте на HTTP-эндпоинт.

### Почему Scrapy пишет в лог ошибку туннеля CONNECT?

Шлюз отказался открыть туннель, и строка лога содержит его код состояния. 407 означает неверные учётные данные, 402 — пустой баланс или истёкший тариф, а 403 — целевой сайт, заблокированный по правилам допустимого использования. 502 или 504 — временный сбой выше по цепочке, который middleware повторных попыток обработает за вас.

### Сколько параллельных запросов может отправлять паук?

Proxonym не ограничивает число параллельных сессий, а ограничение всплесков для каждого аккаунта — около 10 000 запросов в секунду. На практике предел обычно задаёт целевой сайт, поэтому начните с 16–32 параллельных запросов, включите AutoThrottle и постепенно повышайте параллелизм, следя за долей ошибок и временем ответа.

### Нужен ли для Scrapy плагин ротации прокси?

Для резидентного шлюза — нет. Один эндпоинт меняет IP на стороне сети, поэтому перебирать список не нужно. Плагины ротации рассчитаны на статические списки прокси, например список общих IP дата-центров, где паук сам должен выбирать из списка другой адрес для каждого запроса.

Советы и подводные камни

- Встроенной поддержки SOCKS5 в Scrapy нет, поэтому используйте HTTP-шлюз на порту 8000 — он туннелирует HTTPS через CONNECT.
- Scrapy держит подключения открытыми, поэтому последовательные запросы к одному сайту могут получить один и тот же выходной IP; если запрос обязательно должен уйти с нового IP, задайте ему собственный случайный ID сессии.
- Читайте имя пользователя и пароль из переменных окружения в settings.py, а не коммитьте их в репозиторий.
- Перед масштабным краулингом запустите паука ip с каждой комбинацией таргетинга, которую планируете использовать, и проверьте результаты в выходном файле.

Читайте также

- [Парсинг без блокировок: 12 практических приёмов](https://proxonym.com/ru/blog/web-scraping-without-getting-blocked)
- [Ротационные или sticky-прокси: какой тип сессии выбрать](https://proxonym.com/ru/blog/rotating-vs-sticky-sessions)

Застряли на каком-то шаге?

Большинство сбоев сводится к коду ошибки. Сначала проверьте его, затем протестируйте сам прокси отдельно.

- [Справочный центр](https://proxonym.com/ru/help)
- [Коды ошибок шлюза](https://proxonym.com/ru/docs#errors-and-troubleshooting)
- [Проверить прокси](https://proxonym.com/ru/proxy-checker)

## Другие руководства по интеграции

[Все интеграции](https://proxonym.com/ru/integrations)

- [Python Requests (Python)](https://proxonym.com/ru/integrations/python-requests)
- [Selenium (Python)](https://proxonym.com/ru/integrations/selenium)
- [AdsPower (Антидетект-браузер)](https://proxonym.com/ru/integrations/adspower)
