Прокси в Python Requests: аутентификация, ротация, повторные попытки и SOCKS5
Рабочий код для прокси в Python requests: словарь proxies, учётные данные, переменные окружения, ротация и закрепление IP, повторные попытки с нарастающей задержкой, SOCKS5 и типичные ошибки.
Команда Proxonym
Чтобы использовать прокси в Python requests, передайте словарь proxies, который сопоставляет каждой схеме URL адрес прокси: requests.get(url, proxies={"http": proxy, "https": proxy}). Всё остальное в этом руководстве строится на этом единственном аргументе: учётные данные, переменные окружения, сессии, ротация, повторные попытки и SOCKS5. В примерах используется шлюз наших резидентных прокси, gw.proxonym.com:8000, но эти приёмы работают с любым HTTP-прокси. Минимальную настройку, которую можно просто скопировать, вы найдёте на странице интеграции с Python requests.
Базовая настройка прокси: словарь proxies
import requests
PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000"
proxies = {"http": PROXY, "https": PROXY}
r = requests.get("https://api.ipify.org?format=json", proxies=proxies, timeout=30)
print(r.json()) # {'ip': '...'}: the exit IP, not yoursКлючи — это схема целевого URL, значения — URL прокси. URL прокси сохраняет схему http:// даже для HTTPS-сайтов: requests отправляет прокси запрос CONNECT и устанавливает сквозное TLS-соединение с сайтом. Если написать https://gw.proxonym.com:8000, urllib3 попытается установить TLS-соединение с самим прокси, и запрос завершится ошибкой SSLError, например WRONG_VERSION_NUMBER.
Учётные данные со спецсимволами
Если пароль содержит @, : или /, закодируйте его для URL. Иначе URL прокси будет разобран неправильно, и шлюз ответит 407.
from urllib.parse import quote
password = quote("p@ss:w/rd", safe="") # 'p%40ss%3Aw%2Frd'
PROXY = f"http://USERNAME:{password}@gw.proxonym.com:8000"Переменные окружения
Библиотека requests также считывает прокси из переменных окружения — так учётные данные не попадают в код:
export HTTP_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export HTTPS_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export NO_PROXY="localhost,127.0.0.1"Аргумент proxies= в запросе имеет приоритет над переменными окружения. Но есть ловушка: переменные окружения имеют приоритет над session.proxies, поэтому случайно оставшаяся переменная HTTPS_PROXY может незаметно подменить прокси, заданный для сессии. Передавайте proxies= в каждом запросе или задайте session.trust_env = False, чтобы игнорировать окружение (при этом игнорируются также файл .netrc и переменные с путями к наборам CA-сертификатов).
Ротация и закрепление IP
На шлюзе таргетинг и сессии задаются в имени пользователя. Небольшая вспомогательная функция сохраняет код читаемым:
import secrets
import requests
USERNAME, PASSWORD = "USERNAME", "PASSWORD"
def proxy_for(country=None, city=None, session=None, lifetime=None):
user = USERNAME
if country:
user += f"-country-{country}"
if city:
user += f"-city-{city}"
if session:
user += f"-session-{session}"
if lifetime:
user += f"-lifetime-{lifetime}"
url = f"http://{user}:{PASSWORD}@gw.proxonym.com:8000"
return {"http": url, "https": url}
# Rotating: no session, so every new connection gets a new IP
for _ in range(3):
print(requests.get("https://api.ipify.org", proxies=proxy_for("us"), timeout=30).text)
# Sticky: the same New York IP for up to 30 minutes
sticky = proxy_for("us", "new_york", session=secrets.token_hex(4), lifetime=30)
with requests.Session() as s:
for _ in range(3):
print(s.get("https://api.ipify.org", proxies=sticky, timeout=30).text)Здесь важны две детали. Во-первых, ротация происходит на уровне подключения. requests.get() открывает новое подключение при каждом вызове, а Session держит подключения открытыми, и HTTPS-запросы, которые повторно используют один туннель CONNECT, выходят через один и тот же IP. Используйте сессию, когда нужна непрерывность, а простые вызовы или заголовок Connection: close — когда нужна строгая ротация. Во-вторых, давайте каждому воркеру или задаче собственный случайный ID сессии: воркеры с общим ID получают общий IP. Как выбрать время жизни сессии, объясняет сравнение ротации и sticky-сессий, а в документации перечислены все параметры, включая -state- и -asn-.
Параллельные запросы
Библиотека requests синхронная, поэтому для высокой пропускной способности используйте пул потоков. Каждый вызов ниже открывает собственное подключение и поэтому получает собственный IP:
from concurrent.futures import ThreadPoolExecutor
urls = [f"https://example.com/product/{i}" for i in range(1, 101)]
def fetch(url):
r = requests.get(url, proxies=proxy_for("us"), timeout=(10, 60))
return url, r.status_code
with ThreadPoolExecutor(max_workers=10) as pool:
for url, status in pool.map(fetch, urls):
print(status, url)Шлюз допускает неограниченное число параллельных сессий, но целевой сайт видит весь ваш трафик целиком. Держите max_workers умеренным для каждого домена и повышайте его, только пока доля ошибок не растёт.
Статические списки IP: прокси дата-центров и ISP-прокси
Прокси дата-центров, выделенные и ISP-прокси не используют ротацию через шлюз. Вы получаете список IP и сами перебираете адреса из него. Список возвращает API аккаунта; записи ISP-прокси и выделенных прокси имеют формат ip:port:username:password:
import itertools
API = "https://api.proxonym.com/v1"
HEADERS = {"Authorization": "Bearer YOUR_API_KEY"}
lines = requests.get(f"{API}/proxies/isp?format=txt", headers=HEADERS, timeout=30).text.split()
def to_proxies(line):
ip, port, user, password = line.split(":")
url = f"http://{user}:{password}@{ip}:{port}"
return {"http": url, "https": url}
pool = itertools.cycle([to_proxies(line) for line in lines])
r = requests.get("https://api.ipify.org", proxies=next(pool), timeout=30)Списки общих прокси дата-центров содержат записи ip:port с HTTP-портом 3129: добавьте перед ними логин и пароль или внесите IP своего сервера в белый список и используйте их как есть. Для работы с аккаунтами на ISP-прокси закрепите каждый аккаунт за одним IP, а не перебирайте адреса по кругу.
Проверьте выходной IP и местоположение
info = requests.get("https://ipinfo.io/json", proxies=proxy_for("de"), timeout=30).json()
print(info["ip"], info.get("country"), info.get("city"), info.get("org"))Поле org показывает ASN — по нему видно, что адрес принадлежит домашнему интернет-провайдеру, а не хостингу. Базы геолокации расходятся на уровне городов, поэтому несовпадение города в одной из баз считайте подсказкой, а не доказательством.
Повторные попытки, задержки и тайм-ауты
Резидентные участники сети время от времени отключаются, а целевые сайты ограничивают частоту запросов. Подключите к сессии политику повторных попыток, чтобы при временных сбоях запросы повторялись с экспоненциально растущей задержкой:
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
retry = Retry(
total=4,
backoff_factor=1, # waits 0, 2, 4, 8 seconds
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["GET", "HEAD"],
respect_retry_after_header=True,
)
adapter = HTTPAdapter(max_retries=retry)
session = requests.Session()
session.mount("http://", adapter)
session.mount("https://", adapter)
session.headers["Connection"] = "close" # new connection, so a new IP, per attempt
r = session.get("https://example.com/catalog?page=2",
proxies=proxy_for("us"), timeout=(10, 60))Без параметра session и с Connection: close каждая повторная попытка уходит с другого IP — после блокировки обычно именно это и нужно. Цена — новое TLS-рукопожатие на каждый запрос; для задач со sticky-сессиями этот заголовок уберите.
Всегда задавайте тайм-аут: по умолчанию requests ждёт бесконечно. Кортеж задаётся как (connect, read). Тайм-аут подключения покрывает только соединение со шлюзом, поэтому делайте его коротким. Шлюз прекращает ждать ответа целевого сайта через 60 секунд и возвращает 504, поэтому тайм-аут чтения около 60 секунд — разумный потолок.
SOCKS5-прокси через requests[socks]
pip install "requests[socks]"SOCKS = "socks5h://USERNAME-country-de:PASSWORD@gw.proxonym.com:1080"
r = requests.get("https://api.ipify.org", proxies={"http": SOCKS, "https": SOCKS}, timeout=30)Используйте socks5h://, а не socks5://. Буква h заставляет прокси самостоятельно разрешать имена хостов, поэтому DNS-запросы не утекают с вашей машины, а DNS-серверы с геопривязкой возвращают ответы для локации выхода. Плюсы и минусы обоих протоколов разобраны в статье «SOCKS5 или HTTP-прокси».
Типичные ошибки прокси и их решения
Для HTTPS-адресов шлюз отвечает на запрос CONNECT, поэтому его коды статуса приходят в виде исключений, а не ответов. Сообщение содержит код, например Tunnel connection failed: 407 Proxy Authentication Required; в зависимости от версии urllib3 исключение будет ProxyError или ConnectionError. Поэтому для HTTPS-адресов код 403 в объекте ответа приходит от целевого сайта, а не от шлюза.
| Ошибка | Причина | Решение |
|---|---|---|
407 | Неверные учётные данные, незакодированный спецсимвол или IP сервера, отсутствующий в белом списке | Скопируйте учётные данные из личного кабинета, закодируйте пароль для URL, проверьте белый список |
402 | Баланс трафика исчерпан или срок тарифа истёк | Пополните баланс или продлите тариф в личном кабинете |
403 в ошибке туннеля | Сайт заблокирован правилами допустимого использования | Не повторяйте запрос: сайт заблокирован для всех аккаунтов |
429 в ошибке туннеля | Защита шлюза от слишком частых запросов | Снизьте число параллельных подключений и сделайте паузу |
502 | Сбой участника сети | Повторите запрос; в sticky-сессии, если ошибка повторяется, смените ID сессии |
504 | Целевой сайт не ответил в течение 60 секунд | Повторите попытку позже и проверьте, не отвечает ли сайт медленно всем |
SSLError: WRONG_VERSION_NUMBER | В качестве схемы прокси указан https:// | Используйте http://gw.proxonym.com:8000 |
InvalidSchema: Missing dependencies for SOCKS support | Не установлен PySocks | pip install "requests[socks]" |
Ошибка CERTIFICATE_VERIFY_FAILED почти всегда локальная: устаревший набор сертификатов certifi или корпоративный прокси, который перехватывает TLS. Исправьте хранилище доверенных сертификатов, а не задавайте verify=False — это лишь скрывает реальные проблемы.
Ключевые выводы
- Сопоставьте и
http, иhttpsс URL прокси со схемойhttp://и кодируйте спецсимволы в пароле для URL. - Явный аргумент
proxies=имеет приоритет над переменными окружения, а переменные окружения — надsession.proxies. - Ротация происходит на уровне подключений: простые вызовы меняют IP, а сессии с keep-alive повторно используют один IP.
- Задавайте таргетинг и sticky-сессии в имени пользователя — с отдельным случайным ID сессии для каждой задачи.
- Повторяйте запросы при ответах 429 и 5xx с экспоненциальной задержкой и всегда передавайте тайм-аут.
- Для SOCKS5 установите
requests[socks]и используйтеsocks5h://.
