-
Установите Scrapy и создайте проект
Установите Scrapy через pip и создайте проект. В примерах ниже используется проект с именем
proxydemo.Shell python -m pip install scrapy scrapy startproject proxydemo cd proxydemo -
Добавьте middleware для прокси
Добавьте этот класс в
proxydemo/middlewares.py. Он задаёт шлюз для каждого запроса, у которого ещё нет прокси, а Scrapy превращает учётные данные из URL в заголовок Proxy-Authorization.Python # proxydemo/middlewares.py class ProxonymProxyMiddleware: """Send requests through the Proxonym gateway unless they set their own proxy.""" PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000" def process_request(self, request, spider=None): request.meta.setdefault("proxy", self.PROXY) -
Включите его в settings.py
Зарегистрируйте middleware с приоритетом меньше 750, чтобы он выполнялся раньше встроенного HttpProxyMiddleware, и задайте повторные попытки и тайм-аут, подходящие для прокси-шлюза.
Python # proxydemo/settings.py DOWNLOADER_MIDDLEWARES = { "proxydemo.middlewares.ProxonymProxyMiddleware": 350, } RETRY_TIMES = 3 RETRY_HTTP_CODES = [429, 500, 502, 503, 504] DOWNLOAD_TIMEOUT = 60 -
Проверьте выходной IP
Сохраните этого паука как
proxydemo/spiders/ip.pyи выполнитеscrapy crawl ip -O ip.json. В выходном файле должен оказаться IP-адрес, отличный от вашего.Python # proxydemo/spiders/ip.py import scrapy class IpSpider(scrapy.Spider): name = "ip" start_urls = ["https://api.ipify.org?format=json"] def parse(self, response): yield {"ip": response.json()["ip"]} -
Задавайте сессии и местоположение для отдельных запросов
Запрос, в котором задан
meta["proxy"], не использует значение по умолчанию из middleware. Назначьте отдельной цепочке обхода собственный ID сессии, чтобы сохранять один IP до 120 минут, и добавьте страну, штат или город, чтобы получать локализованные результаты.Python # proxydemo/spiders/geo.py import secrets import scrapy def proxy_for(country=None, city=None, session=None, lifetime=30): user = "USERNAME" if country: user += f"-country-{country}" if city: user += f"-city-{city}" if session: user += f"-session-{session}-lifetime-{lifetime}" return f"http://{user}:PASSWORD@gw.proxonym.com:8000" class GeoSpider(scrapy.Spider): name = "geo" start_urls = ["https://ipinfo.io/json"] def parse(self, response): yield {"rotating": response.json()} # Three follow-up requests that share one sticky IP in Paris session = secrets.token_hex(4) for n in range(3): yield scrapy.Request( "https://ipinfo.io/json", callback=self.parse_sticky, dont_filter=True, meta={"proxy": proxy_for(country="fr", city="paris", session=session)}, cb_kwargs={"n": n}, ) def parse_sticky(self, response, n): yield {"n": n, "sticky": response.json()} -
Настройте повторные попытки и параллелизм
Scrapy повторяет запросы при тайм-аутах, отклонённых туннелях и кодах состояния из
RETRY_HTTP_CODES. Отклонённый туннель записывается в лог вместе со статусом шлюза, поэтому при 407, 402 или 403 устраните причину, а не повторяйте запрос.Python # proxydemo/settings.py CONCURRENT_REQUESTS = 32 CONCURRENT_REQUESTS_PER_DOMAIN = 8 AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
Часто задаваемые вопросы
Поддерживает ли Scrapy SOCKS5-прокси?
Нативно — нет. Scrapy работает с HTTP-прокси, и для Proxonym этого достаточно: шлюз на порту 8000 туннелирует HTTPS через CONNECT и принимает все параметры таргетинга и сессий. Оставьте SOCKS5-эндпоинт на порту 1080 для инструментов, которым он необходим, например для клиентов, работающих не по HTTP, а пауков направляйте на HTTP-эндпоинт.
Почему Scrapy пишет в лог ошибку туннеля CONNECT?
Шлюз отказался открыть туннель, и строка лога содержит его код состояния. 407 означает неверные учётные данные, 402 — пустой баланс или истёкший тариф, а 403 — целевой сайт, заблокированный по правилам допустимого использования. 502 или 504 — временный сбой выше по цепочке, который middleware повторных попыток обработает за вас.
Сколько параллельных запросов может отправлять паук?
Proxonym не ограничивает число параллельных сессий, а ограничение всплесков для каждого аккаунта — около 10 000 запросов в секунду. На практике предел обычно задаёт целевой сайт, поэтому начните с 16–32 параллельных запросов, включите AutoThrottle и постепенно повышайте параллелизм, следя за долей ошибок и временем ответа.
Нужен ли для Scrapy плагин ротации прокси?
Для резидентного шлюза — нет. Один эндпоинт меняет IP на стороне сети, поэтому перебирать список не нужно. Плагины ротации рассчитаны на статические списки прокси, например список общих IP дата-центров, где паук сам должен выбирать из списка другой адрес для каждого запроса.
