НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Python · Руководство по интеграции

Как использовать прокси в Scrapy

Scrapy берёт прокси для каждого запроса из request.meta. Небольшой downloader middleware направляет все запросы через Proxonym, а отдельные запросы могут переопределить его своей сессией или местоположением.

  • 6 шагов
  • Настройка за 12 мин
  • Готовый код для копирования

Перед началом работы

  • Python 3.10 или новее
  • Scrapy 2.x
  • Тариф Proxonym на резидентные или мобильные прокси
Получить учётные данные прокси

Уже наш клиент? Имя пользователя и пароль — в личном кабинете.

  1. Установите Scrapy и создайте проект

    Установите Scrapy через pip и создайте проект. В примерах ниже используется проект с именем proxydemo.

    Shell
    python -m pip install scrapy
    scrapy startproject proxydemo
    cd proxydemo
  2. Добавьте middleware для прокси

    Добавьте этот класс в proxydemo/middlewares.py. Он задаёт шлюз для каждого запроса, у которого ещё нет прокси, а Scrapy превращает учётные данные из URL в заголовок Proxy-Authorization.

    Python
    # proxydemo/middlewares.py
    class ProxonymProxyMiddleware:
        """Send requests through the Proxonym gateway unless they set their own proxy."""
    
        PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000"
    
        def process_request(self, request, spider=None):
            request.meta.setdefault("proxy", self.PROXY)
  3. Включите его в settings.py

    Зарегистрируйте middleware с приоритетом меньше 750, чтобы он выполнялся раньше встроенного HttpProxyMiddleware, и задайте повторные попытки и тайм-аут, подходящие для прокси-шлюза.

    Python
    # proxydemo/settings.py
    DOWNLOADER_MIDDLEWARES = {
        "proxydemo.middlewares.ProxonymProxyMiddleware": 350,
    }
    
    RETRY_TIMES = 3
    RETRY_HTTP_CODES = [429, 500, 502, 503, 504]
    DOWNLOAD_TIMEOUT = 60
  4. Проверьте выходной IP

    Сохраните этого паука как proxydemo/spiders/ip.py и выполните scrapy crawl ip -O ip.json. В выходном файле должен оказаться IP-адрес, отличный от вашего.

    Python
    # proxydemo/spiders/ip.py
    import scrapy
    
    
    class IpSpider(scrapy.Spider):
        name = "ip"
        start_urls = ["https://api.ipify.org?format=json"]
    
        def parse(self, response):
            yield {"ip": response.json()["ip"]}
  5. Задавайте сессии и местоположение для отдельных запросов

    Запрос, в котором задан meta["proxy"], не использует значение по умолчанию из middleware. Назначьте отдельной цепочке обхода собственный ID сессии, чтобы сохранять один IP до 120 минут, и добавьте страну, штат или город, чтобы получать локализованные результаты.

    Python
    # proxydemo/spiders/geo.py
    import secrets
    
    import scrapy
    
    
    def proxy_for(country=None, city=None, session=None, lifetime=30):
        user = "USERNAME"
        if country:
            user += f"-country-{country}"
        if city:
            user += f"-city-{city}"
        if session:
            user += f"-session-{session}-lifetime-{lifetime}"
        return f"http://{user}:PASSWORD@gw.proxonym.com:8000"
    
    
    class GeoSpider(scrapy.Spider):
        name = "geo"
        start_urls = ["https://ipinfo.io/json"]
    
        def parse(self, response):
            yield {"rotating": response.json()}
            # Three follow-up requests that share one sticky IP in Paris
            session = secrets.token_hex(4)
            for n in range(3):
                yield scrapy.Request(
                    "https://ipinfo.io/json",
                    callback=self.parse_sticky,
                    dont_filter=True,
                    meta={"proxy": proxy_for(country="fr", city="paris", session=session)},
                    cb_kwargs={"n": n},
                )
    
        def parse_sticky(self, response, n):
            yield {"n": n, "sticky": response.json()}
  6. Настройте повторные попытки и параллелизм

    Scrapy повторяет запросы при тайм-аутах, отклонённых туннелях и кодах состояния из RETRY_HTTP_CODES. Отклонённый туннель записывается в лог вместе со статусом шлюза, поэтому при 407, 402 или 403 устраните причину, а не повторяйте запрос.

    Python
    # proxydemo/settings.py
    CONCURRENT_REQUESTS = 32
    CONCURRENT_REQUESTS_PER_DOMAIN = 8
    AUTOTHROTTLE_ENABLED = True
    AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0

Часто задаваемые вопросы

Поддерживает ли Scrapy SOCKS5-прокси?

Нативно — нет. Scrapy работает с HTTP-прокси, и для Proxonym этого достаточно: шлюз на порту 8000 туннелирует HTTPS через CONNECT и принимает все параметры таргетинга и сессий. Оставьте SOCKS5-эндпоинт на порту 1080 для инструментов, которым он необходим, например для клиентов, работающих не по HTTP, а пауков направляйте на HTTP-эндпоинт.

Почему Scrapy пишет в лог ошибку туннеля CONNECT?

Шлюз отказался открыть туннель, и строка лога содержит его код состояния. 407 означает неверные учётные данные, 402 — пустой баланс или истёкший тариф, а 403 — целевой сайт, заблокированный по правилам допустимого использования. 502 или 504 — временный сбой выше по цепочке, который middleware повторных попыток обработает за вас.

Сколько параллельных запросов может отправлять паук?

Proxonym не ограничивает число параллельных сессий, а ограничение всплесков для каждого аккаунта — около 10 000 запросов в секунду. На практике предел обычно задаёт целевой сайт, поэтому начните с 16–32 параллельных запросов, включите AutoThrottle и постепенно повышайте параллелизм, следя за долей ошибок и временем ответа.

Нужен ли для Scrapy плагин ротации прокси?

Для резидентного шлюза — нет. Один эндпоинт меняет IP на стороне сети, поэтому перебирать список не нужно. Плагины ротации рассчитаны на статические списки прокси, например список общих IP дата-центров, где паук сам должен выбирать из списка другой адрес для каждого запроса.

Готовы подключить прокси? Получите учётные данные

Выберите тариф, скопируйте имя пользователя и пароль из личного кабинета и запустите код выше.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления