НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Python · Руководство по интеграции

Как использовать прокси в Selenium

Selenium не умеет вводить данные в окно авторизации прокси, но WebDriver BiDi может ответить на него за вас. В этом руководстве на Python и Firefox показано, как проходить аутентификацию в Proxonym, удерживать закреплённые IP, выбирать местоположение и восстанавливаться после ошибок.

  • 5 шагов
  • Настройка за 10 мин
  • Готовый код для копирования

Перед началом работы

  • Python 3.10 или новее
  • Selenium 4.32 или новее
  • Firefox (Selenium Manager скачивает geckodriver автоматически)
  • Тариф Proxonym на резидентные или мобильные прокси
Получить учётные данные прокси

Уже наш клиент? Имя пользователя и пароль — в личном кабинете.

  1. Установите Selenium

    В Selenium 4.32 появились сетевые обработчики BiDi, которые используются в этом руководстве. Selenium Manager входит в пакет и скачивает geckodriver при первом запуске, так что вам нужен только установленный Firefox.

    Shell
    python -m pip install -U selenium
  2. Направьте Firefox на шлюз и авторизуйтесь

    Укажите шлюз в настройках HTTP- и SSL-прокси, включите BiDi и зарегистрируйте обработчик аутентификации. Когда шлюз отправит требование аутентификации 407, Selenium ответит вашими именем пользователя и паролем.

    Python
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    
    options = webdriver.FirefoxOptions()
    options.enable_bidi = True
    options.set_preference("network.proxy.type", 1)
    options.set_preference("network.proxy.http", "gw.proxonym.com")
    options.set_preference("network.proxy.http_port", 8000)
    options.set_preference("network.proxy.ssl", "gw.proxonym.com")
    options.set_preference("network.proxy.ssl_port", 8000)
    
    driver = webdriver.Firefox(options=options)
    driver.network.add_auth_handler("USERNAME", "PASSWORD")
    
    driver.get("https://api.ipify.org")
    print("Exit IP:", driver.find_element(By.TAG_NAME, "body").text)
    driver.quit()
  3. Сохраняйте один IP для каждого браузера

    Firefox запоминает данные авторизации прокси, пока браузер работает, поэтому считайте один драйвер одной цифровой личностью. Укажите в имени пользователя ID сессии через -session-, чтобы все подключения шли через один IP до 120 минут, а когда понадобится новый IP, запустите новый драйвер.

    Python
    import secrets
    
    from selenium import webdriver
    
    
    def new_driver(username, language=None):
        options = webdriver.FirefoxOptions()
        options.enable_bidi = True
        options.set_preference("network.proxy.type", 1)
        for scheme in ("http", "ssl"):
            options.set_preference(f"network.proxy.{scheme}", "gw.proxonym.com")
            options.set_preference(f"network.proxy.{scheme}_port", 8000)
        if language:
            options.set_preference("intl.accept_languages", language)
        driver = webdriver.Firefox(options=options)
        driver.network.add_auth_handler(username, "PASSWORD")
        driver.set_page_load_timeout(60)
        return driver
    
    
    session = secrets.token_hex(4)
    driver = new_driver(f"USERNAME-country-us-session-{session}-lifetime-60")
  4. Укажите местоположение и согласуйте с ним язык

    Добавьте в имя пользователя страну, штат или город и задайте соответствующий язык браузера. Со вспомогательной функцией new_driver() из предыдущего шага и то и другое делается одной строкой.

    Python
    from selenium.webdriver.common.by import By
    
    driver = new_driver("USERNAME-country-de-city-berlin-session-b3x9-lifetime-30", language="de-DE, de")
    driver.get("https://ipinfo.io/city")
    print("City:", driver.find_element(By.TAG_NAME, "body").text)
    driver.quit()
  5. Восстанавливайтесь после ошибок шлюза

    Когда шлюз отклоняет туннель, driver.get() выбрасывает WebDriverException с упоминанием about:neterror. Закройте этот драйвер и повторите попытку с новым ID сессии; повторяющиеся ошибки proxyConnectFailure указывают на неверные учётные данные.

    Python
    import secrets
    
    from selenium.common.exceptions import WebDriverException
    
    
    def open_with_retry(url, country="us", tries=3):
        for attempt in range(1, tries + 1):
            session = secrets.token_hex(4)
            driver = new_driver(f"USERNAME-country-{country}-session-{session}-lifetime-30")
            try:
                driver.get(url)
                return driver
            except WebDriverException as exc:
                driver.quit()
                print(f"attempt {attempt}:", str(exc).splitlines()[0])
                if attempt == tries:
                    raise
    
    
    driver = open_with_retry("https://example.com")
    print(driver.title)
    driver.quit()

Часто задаваемые вопросы

Почему бы не указать учётные данные прямо в адресе прокси?

Браузеры игнорируют имя пользователя и пароль в настройках прокси, а в capability proxy у Selenium нет поля для учётных данных HTTP-прокси. Поэтому шлюз отвечает на первый запрос требованием аутентификации 407, а обработчик аутентификации BiDi передаёт ваши имя пользователя и пароль — точно так же, как это сделал бы человек в окне авторизации.

Можно ли использовать Chrome вместо Firefox?

Этим способом — пока нет. Chrome игнорирует учётные данные во флаге прокси, а его реализация BiDi не передаёт Selenium запросы авторизации прокси, поэтому обработчик никогда не срабатывает. Для Chromium управляйте браузером через Puppeteer или Playwright, которые нативно отвечают на авторизацию прокси, или используйте общие прокси дата-центров с белым списком IP, которым авторизация не нужна.

Как запустить несколько IP параллельно?

Запускайте по одному драйверу на каждую цифровую личность, каждый со своим ID сессии или страной в имени пользователя, в отдельных потоках, процессах или узлах Selenium Grid. Proxonym не ограничивает число параллельных сессий, так что пределом будут ресурсы вашей машины и темп, который выдерживает целевой сайт.

Работает ли Firefox в headless-режиме с прокси?

Да. Добавьте аргумент -headless в параметры Firefox и оставьте те же настройки прокси и обработчик аутентификации. Headless-режим никак не влияет на аутентификацию и таргетинг, но меняет часть отпечатка браузера, поэтому следите, чтобы язык и темп запросов соответствовали выбранному местоположению выходного IP.

Готовы подключить прокси? Получите учётные данные

Выберите тариф, скопируйте имя пользователя и пароль из личного кабинета и запустите код выше.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления