НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Прокси в Python Requests: аутентификация, ротация, повторные попытки и SOCKS5

Рабочий код для прокси в Python requests: словарь proxies, учётные данные, переменные окружения, ротация и закрепление IP, повторные попытки с нарастающей задержкой, SOCKS5 и типичные ошибки.

Команда Proxonym

Чтобы использовать прокси в Python requests, передайте словарь proxies, который сопоставляет каждой схеме URL адрес прокси: requests.get(url, proxies={"http": proxy, "https": proxy}). Всё остальное в этом руководстве строится на этом единственном аргументе: учётные данные, переменные окружения, сессии, ротация, повторные попытки и SOCKS5. В примерах используется шлюз наших резидентных прокси, gw.proxonym.com:8000, но эти приёмы работают с любым HTTP-прокси. Минимальную настройку, которую можно просто скопировать, вы найдёте на странице интеграции с Python requests.

Базовая настройка прокси: словарь proxies

Python
import requests

PROXY = "http://USERNAME:PASSWORD@gw.proxonym.com:8000"
proxies = {"http": PROXY, "https": PROXY}

r = requests.get("https://api.ipify.org?format=json", proxies=proxies, timeout=30)
print(r.json())   # {'ip': '...'}: the exit IP, not yours

Ключи — это схема целевого URL, значения — URL прокси. URL прокси сохраняет схему http:// даже для HTTPS-сайтов: requests отправляет прокси запрос CONNECT и устанавливает сквозное TLS-соединение с сайтом. Если написать https://gw.proxonym.com:8000, urllib3 попытается установить TLS-соединение с самим прокси, и запрос завершится ошибкой SSLError, например WRONG_VERSION_NUMBER.

Учётные данные со спецсимволами

Если пароль содержит @, : или /, закодируйте его для URL. Иначе URL прокси будет разобран неправильно, и шлюз ответит 407.

Python
from urllib.parse import quote

password = quote("p@ss:w/rd", safe="")   # 'p%40ss%3Aw%2Frd'
PROXY = f"http://USERNAME:{password}@gw.proxonym.com:8000"

Переменные окружения

Библиотека requests также считывает прокси из переменных окружения — так учётные данные не попадают в код:

Shell
export HTTP_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export HTTPS_PROXY="http://USERNAME:PASSWORD@gw.proxonym.com:8000"
export NO_PROXY="localhost,127.0.0.1"

Аргумент proxies= в запросе имеет приоритет над переменными окружения. Но есть ловушка: переменные окружения имеют приоритет над session.proxies, поэтому случайно оставшаяся переменная HTTPS_PROXY может незаметно подменить прокси, заданный для сессии. Передавайте proxies= в каждом запросе или задайте session.trust_env = False, чтобы игнорировать окружение (при этом игнорируются также файл .netrc и переменные с путями к наборам CA-сертификатов).

Ротация и закрепление IP

На шлюзе таргетинг и сессии задаются в имени пользователя. Небольшая вспомогательная функция сохраняет код читаемым:

Python
import secrets
import requests

USERNAME, PASSWORD = "USERNAME", "PASSWORD"

def proxy_for(country=None, city=None, session=None, lifetime=None):
    user = USERNAME
    if country:
        user += f"-country-{country}"
    if city:
        user += f"-city-{city}"
    if session:
        user += f"-session-{session}"
        if lifetime:
            user += f"-lifetime-{lifetime}"
    url = f"http://{user}:{PASSWORD}@gw.proxonym.com:8000"
    return {"http": url, "https": url}

# Rotating: no session, so every new connection gets a new IP
for _ in range(3):
    print(requests.get("https://api.ipify.org", proxies=proxy_for("us"), timeout=30).text)

# Sticky: the same New York IP for up to 30 minutes
sticky = proxy_for("us", "new_york", session=secrets.token_hex(4), lifetime=30)
with requests.Session() as s:
    for _ in range(3):
        print(s.get("https://api.ipify.org", proxies=sticky, timeout=30).text)

Здесь важны две детали. Во-первых, ротация происходит на уровне подключения. requests.get() открывает новое подключение при каждом вызове, а Session держит подключения открытыми, и HTTPS-запросы, которые повторно используют один туннель CONNECT, выходят через один и тот же IP. Используйте сессию, когда нужна непрерывность, а простые вызовы или заголовок Connection: close — когда нужна строгая ротация. Во-вторых, давайте каждому воркеру или задаче собственный случайный ID сессии: воркеры с общим ID получают общий IP. Как выбрать время жизни сессии, объясняет сравнение ротации и sticky-сессий, а в документации перечислены все параметры, включая -state- и -asn-.

Параллельные запросы

Библиотека requests синхронная, поэтому для высокой пропускной способности используйте пул потоков. Каждый вызов ниже открывает собственное подключение и поэтому получает собственный IP:

Python
from concurrent.futures import ThreadPoolExecutor

urls = [f"https://example.com/product/{i}" for i in range(1, 101)]

def fetch(url):
    r = requests.get(url, proxies=proxy_for("us"), timeout=(10, 60))
    return url, r.status_code

with ThreadPoolExecutor(max_workers=10) as pool:
    for url, status in pool.map(fetch, urls):
        print(status, url)

Шлюз допускает неограниченное число параллельных сессий, но целевой сайт видит весь ваш трафик целиком. Держите max_workers умеренным для каждого домена и повышайте его, только пока доля ошибок не растёт.

Статические списки IP: прокси дата-центров и ISP-прокси

Прокси дата-центров, выделенные и ISP-прокси не используют ротацию через шлюз. Вы получаете список IP и сами перебираете адреса из него. Список возвращает API аккаунта; записи ISP-прокси и выделенных прокси имеют формат ip:port:username:password:

Python
import itertools

API = "https://api.proxonym.com/v1"
HEADERS = {"Authorization": "Bearer YOUR_API_KEY"}
lines = requests.get(f"{API}/proxies/isp?format=txt", headers=HEADERS, timeout=30).text.split()

def to_proxies(line):
    ip, port, user, password = line.split(":")
    url = f"http://{user}:{password}@{ip}:{port}"
    return {"http": url, "https": url}

pool = itertools.cycle([to_proxies(line) for line in lines])
r = requests.get("https://api.ipify.org", proxies=next(pool), timeout=30)

Списки общих прокси дата-центров содержат записи ip:port с HTTP-портом 3129: добавьте перед ними логин и пароль или внесите IP своего сервера в белый список и используйте их как есть. Для работы с аккаунтами на ISP-прокси закрепите каждый аккаунт за одним IP, а не перебирайте адреса по кругу.

Проверьте выходной IP и местоположение

Python
info = requests.get("https://ipinfo.io/json", proxies=proxy_for("de"), timeout=30).json()
print(info["ip"], info.get("country"), info.get("city"), info.get("org"))

Поле org показывает ASN — по нему видно, что адрес принадлежит домашнему интернет-провайдеру, а не хостингу. Базы геолокации расходятся на уровне городов, поэтому несовпадение города в одной из баз считайте подсказкой, а не доказательством.

Повторные попытки, задержки и тайм-ауты

Резидентные участники сети время от времени отключаются, а целевые сайты ограничивают частоту запросов. Подключите к сессии политику повторных попыток, чтобы при временных сбоях запросы повторялись с экспоненциально растущей задержкой:

Python
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry = Retry(
    total=4,
    backoff_factor=1,                       # waits 0, 2, 4, 8 seconds
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "HEAD"],
    respect_retry_after_header=True,
)
adapter = HTTPAdapter(max_retries=retry)

session = requests.Session()
session.mount("http://", adapter)
session.mount("https://", adapter)
session.headers["Connection"] = "close"     # new connection, so a new IP, per attempt

r = session.get("https://example.com/catalog?page=2",
                proxies=proxy_for("us"), timeout=(10, 60))

Без параметра session и с Connection: close каждая повторная попытка уходит с другого IP — после блокировки обычно именно это и нужно. Цена — новое TLS-рукопожатие на каждый запрос; для задач со sticky-сессиями этот заголовок уберите.

Всегда задавайте тайм-аут: по умолчанию requests ждёт бесконечно. Кортеж задаётся как (connect, read). Тайм-аут подключения покрывает только соединение со шлюзом, поэтому делайте его коротким. Шлюз прекращает ждать ответа целевого сайта через 60 секунд и возвращает 504, поэтому тайм-аут чтения около 60 секунд — разумный потолок.

SOCKS5-прокси через requests[socks]

Shell
pip install "requests[socks]"
Python
SOCKS = "socks5h://USERNAME-country-de:PASSWORD@gw.proxonym.com:1080"
r = requests.get("https://api.ipify.org", proxies={"http": SOCKS, "https": SOCKS}, timeout=30)

Используйте socks5h://, а не socks5://. Буква h заставляет прокси самостоятельно разрешать имена хостов, поэтому DNS-запросы не утекают с вашей машины, а DNS-серверы с геопривязкой возвращают ответы для локации выхода. Плюсы и минусы обоих протоколов разобраны в статье «SOCKS5 или HTTP-прокси».

Типичные ошибки прокси и их решения

Для HTTPS-адресов шлюз отвечает на запрос CONNECT, поэтому его коды статуса приходят в виде исключений, а не ответов. Сообщение содержит код, например Tunnel connection failed: 407 Proxy Authentication Required; в зависимости от версии urllib3 исключение будет ProxyError или ConnectionError. Поэтому для HTTPS-адресов код 403 в объекте ответа приходит от целевого сайта, а не от шлюза.

ОшибкаПричинаРешение
407Неверные учётные данные, незакодированный спецсимвол или IP сервера, отсутствующий в белом спискеСкопируйте учётные данные из личного кабинета, закодируйте пароль для URL, проверьте белый список
402Баланс трафика исчерпан или срок тарифа истёкПополните баланс или продлите тариф в личном кабинете
403 в ошибке туннеляСайт заблокирован правилами допустимого использованияНе повторяйте запрос: сайт заблокирован для всех аккаунтов
429 в ошибке туннеляЗащита шлюза от слишком частых запросовСнизьте число параллельных подключений и сделайте паузу
502Сбой участника сетиПовторите запрос; в sticky-сессии, если ошибка повторяется, смените ID сессии
504Целевой сайт не ответил в течение 60 секундПовторите попытку позже и проверьте, не отвечает ли сайт медленно всем
SSLError: WRONG_VERSION_NUMBERВ качестве схемы прокси указан https://Используйте http://gw.proxonym.com:8000
InvalidSchema: Missing dependencies for SOCKS supportНе установлен PySockspip install "requests[socks]"

Ошибка CERTIFICATE_VERIFY_FAILED почти всегда локальная: устаревший набор сертификатов certifi или корпоративный прокси, который перехватывает TLS. Исправьте хранилище доверенных сертификатов, а не задавайте verify=False — это лишь скрывает реальные проблемы.

Ключевые выводы

  • Сопоставьте и http, и https с URL прокси со схемой http:// и кодируйте спецсимволы в пароле для URL.
  • Явный аргумент proxies= имеет приоритет над переменными окружения, а переменные окружения — над session.proxies.
  • Ротация происходит на уровне подключений: простые вызовы меняют IP, а сессии с keep-alive повторно используют один IP.
  • Задавайте таргетинг и sticky-сессии в имени пользователя — с отдельным случайным ID сессии для каждой задачи.
  • Повторяйте запросы при ответах 429 и 5xx с экспоненциальной задержкой и всегда передавайте тайм-аут.
  • Для SOCKS5 установите requests[socks] и используйте socks5h://.

Читайте также

Все статьи

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления