НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Прокси в Puppeteer и Playwright: аутентификация, ротация и геотаргетинг

Код на Node.js для прокси с аутентификацией в Puppeteer и Playwright, отдельный IP для каждого контекста браузера, геотаргетинг с подходящими локалью и часовым поясом и решения типичных ошибок.

Команда Proxonym

Chromium не принимает учётные данные прокси внутри URL, поэтому прокси в Puppeteer настраивается в два шага: передайте --proxy-server при запуске браузера, а затем вызовите page.authenticate() с именем пользователя и паролем. Playwright объединяет оба шага в одну опцию proxy, которую можно задать для всего браузера или для каждого контекста. В этом руководстве — рабочий код для обеих библиотек, отдельный IP для каждого контекста браузера, геотаргетинг и настройки, которые согласуют headless-сессию с её IP.

Puppeteer: аргументы запуска и page.authenticate

JavaScript
const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=http://gw.proxonym.com:8000'],
  });
  const page = await browser.newPage();
  await page.authenticate({
    username: 'USERNAME-country-us-session-k3p9x2-lifetime-15',
    password: 'PASSWORD',
  });
  await page.goto('https://api.ipify.org', { waitUntil: 'domcontentloaded' });
  console.log(await page.evaluate(() => document.body.innerText));   // the exit IP
  await browser.close();
})();

Вызывайте page.authenticate() до первого перехода на страницу: метод отвечает на требование аутентификации 407 от шлюза для всех запросов, которые делает страница. Используйте HTTP-порт 8000: Chromium не умеет проходить аутентификацию на SOCKS5-прокси.

Обратите внимание на параметр session в имени пользователя. Одна загрузка страницы тянет за собой десятки ресурсов: скрипты, стили, шрифты и вызовы API. Без sticky-сессии эти подключения могут выходить с разных IP — так не делает ни один реальный посетитель, а сайты, которые привязывают cookie к IP, от этого ломаются. Дайте каждой цифровой личности браузера sticky-сессию, которая длится дольше задачи, — до 120 минут на резидентных прокси. Как подобрать её длительность, рассказано в сравнении ротации и sticky-сессий.

Отдельный IP для каждого контекста браузера

Запускать отдельный браузер на каждый IP — медленно. Контексты браузера — это лёгкие изолированные профили внутри одного процесса браузера, у каждого из которых свои cookie, хранилище и кэш. Свяжите каждый контекст с собственной sticky-сессией, и один запуск браузера даст вам множество независимых цифровых личностей.

Puppeteer

JavaScript
const { randomBytes } = require('node:crypto');

async function withIdentity(browser, country, task) {
  const context = await browser.createBrowserContext({
    proxyServer: 'http://gw.proxonym.com:8000',
  });
  const page = await context.newPage();
  await page.authenticate({
    username: `USERNAME-country-${country}-session-${randomBytes(4).toString('hex')}-lifetime-20`,
    password: 'PASSWORD',
  });
  try {
    return await task(page);
  } finally {
    await context.close();
  }
}

// await withIdentity(browser, 'de', (page) => page.goto('https://example.com'));

createBrowserContext() — так метод называется в Puppeteer 22 и новее; в более старых версиях он называется createIncognitoBrowserContext(). Держите одну цифровую личность на контекст, а не меняйте имя пользователя на уже открытой странице: Chromium кэширует учётные данные прокси, поэтому повторный вызов authenticate() в том же контексте может не сработать.

Playwright

JavaScript
const { chromium } = require('playwright');
const { randomBytes } = require('node:crypto');

(async () => {
  const browser = await chromium.launch();
  for (const country of ['us', 'gb', 'jp']) {
    const context = await browser.newContext({
      proxy: {
        server: 'http://gw.proxonym.com:8000',
        username: `USERNAME-country-${country}-session-${randomBytes(4).toString('hex')}-lifetime-20`,
        password: 'PASSWORD',
      },
    });
    const page = await context.newPage();
    await page.goto('https://api.ipify.org');
    console.log(country, await page.textContent('body'));
    await context.close();
  }
  await browser.close();
})();

Чтобы использовать один прокси для всего, передайте тот же объект proxy не в контекст, а в chromium.launch(). В старых версиях Playwright для Chromium в Windows требовалась заглушка на уровне запуска, proxy: { server: 'http://per-context' }, без которой прокси для отдельных контекстов не работали. Python API принимает тот же словарь:

Python
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    context = browser.new_context(proxy={
        "server": "http://gw.proxonym.com:8000",
        "username": "USERNAME-country-gb-session-q7m2x9-lifetime-20",
        "password": "PASSWORD",
    })
    page = context.new_page()
    page.goto("https://api.ipify.org")
    print(page.text_content("body"))
    browser.close()

Какой тип прокси сочетать с браузером

  • Резидентные прокси с ротацией и sticky-сессиями — для парсинга и коротких сессий: новая цифровая личность на каждый контекст, каждая живёт до 120 минут.
  • ISP-прокси — для постоянных профилей, например аккаунтов с авторизацией, которые должны каждый день заходить с одного и того же IP. IP остаётся статическим весь срок тарифа, а трафик безлимитный.
  • Безлимитные резидентные прокси — для интенсивного непрерывного рендеринга, где при оплате за ГБ трафик стал бы основной статьёй расходов.

Геотаргетинг с согласованным профилем браузера

Выберите локацию выхода в имени пользователя с помощью -country- и добавьте -state- или -city- для более точного таргетинга. Затем приведите браузер в соответствие с ней. Немецкий IP в сочетании с американским часовым поясом и заголовком Accept-Language только с английским языком — именно такие несоответствия и ищут антибот-скрипты.

JavaScript
// Playwright: everything goes into the context options
const context = await browser.newContext({
  proxy: {
    server: 'http://gw.proxonym.com:8000',
    username: 'USERNAME-country-de-city-berlin-session-b81f2c-lifetime-30',
    password: 'PASSWORD',
  },
  locale: 'de-DE',
  timezoneId: 'Europe/Berlin',
});

// Puppeteer: set per page
await page.emulateTimezone('Europe/Berlin');
await page.setExtraHTTPHeaders({ 'Accept-Language': 'de-DE,de;q=0.9,en;q=0.6' });

Опция locale в Playwright задаёт и navigator.language, и заголовок Accept-Language. В Puppeteer дополнительный заголовок не меняет navigator.language, поэтому проверьте, что из двух считывает ваш целевой сайт.

Проверьте профиль перед запуском

Прежде чем запускать задачу, убедитесь, что IP, часовой пояс и язык согласуются между собой:

JavaScript
await page.goto('https://api.ipify.org');
const report = await page.evaluate(() => ({
  ip: document.body.innerText.trim(),
  timezone: Intl.DateTimeFormat().resolvedOptions().timeZone,
  language: navigator.language,
}));
console.log(report);   // { ip: '...', timezone: 'Europe/Berlin', language: 'de-DE' }

Проверьте IP по базе геолокации, чтобы подтвердить страну, и повторите проверку для каждого контекста: у каждого контекста своя сессия, а значит, и свой IP.

Обнаружение headless-режима: что исправляет прокси, а что нет

Прокси меняет IP-адрес, но не меняет браузер. Сайты, которые выявляют автоматизацию, смотрят и на то, и на другое, поэтому учитывайте следующее:

  • Используйте полноценный headless-режим. По умолчанию headless: true в Puppeteer запускает новый headless-режим Chrome. В Playwright передайте channel: 'chromium', чтобы использовать его вместо облегчённой оболочки headless shell, которая сильнее отличается от обычного браузера.
  • Закройте утечку через WebRTC. WebRTC может раскрыть ваш реальный IP по UDP в обход прокси. Добавьте --force-webrtc-ip-handling-policy=disable_non_proxied_udp в аргументы запуска.
  • Будьте последовательны. Сохраняйте один и тот же IP, User-Agent, часовой пояс и cookie на протяжении всей жизни цифровой личности. Случайная смена отпечатка на каждом запросе делает поведение менее человеческим, а не более.
  • Не торопитесь. Дожидайтесь загрузки страниц, не забрасывайте один сайт запросами из множества контекстов одновременно и снижайте темп при появлении капч, вместо того чтобы прорываться сквозь них. Подробно о контроле частоты запросов — в статье «Парсинг без блокировок».

На тарифах с оплатой за ГБ браузерный трафик быстро накапливается. Блокировка изображений, медиафайлов и шрифтов снижает объём передачи на каждую страницу:

JavaScript
// Playwright
await context.route('**/*', (route) =>
  ['image', 'media', 'font'].includes(route.request().resourceType()) ? route.abort() : route.continue());

// Puppeteer
await page.setRequestInterception(true);
page.on('request', (req) =>
  ['image', 'media', 'font'].includes(req.resourceType()) ? req.abort() : req.continue());

Для целых парков браузеров, которые круглосуточно рендерят полные страницы, подойдут безлимитные резидентные прокси: они тарифицируются по скорости канала, а не за ГБ, и поддерживают sticky-сессии до 12 часов.

Устранение неполадок

ОшибкаВероятная причинаРешение
net::ERR_PROXY_CONNECTION_FAILEDБраузер не может подключиться к шлюзуПроверьте хост и порт; разрешите исходящий трафик на порт 8000
net::ERR_TUNNEL_CONNECTION_FAILEDШлюз отклонил CONNECT, например с кодом 402 (нет баланса), 403 (сайт заблокирован) или 502 (сбой участника сети)Воспроизведите запрос через curl, чтобы увидеть код статуса
net::ERR_INVALID_AUTH_CREDENTIALSНеверное имя пользователя или пароль либо authenticate() вызван после перехода на страницуСначала пройдите аутентификацию и скопируйте учётные данные из личного кабинета
Тайм-аут навигацииМедленный участник сети или тяжёлая страницаИспользуйте waitUntil: 'domcontentloaded', блокируйте медиафайлы, повторите запрос с новой сессией

Чтобы увидеть, что именно отвечает шлюз, выполните запрос с тем же именем пользователя через curl с флагом -v:

Shell
curl -v -o /dev/null -x http://gw.proxonym.com:8000 \
  -U "USERNAME-country-us-session-k3p9x2:PASSWORD" https://example.com

Готовые фрагменты кода — на страницах интеграции с Puppeteer и Playwright.

Ключевые выводы

  • Для Puppeteer нужны --proxy-server при запуске (или proxyServer для каждого контекста) и page.authenticate(). Playwright принимает одну опцию proxy с сервером, именем пользователя и паролем.
  • Для браузерного трафика всегда используйте sticky-сессию — по одной на каждую цифровую личность.
  • Используйте один контекст браузера на цифровую личность, а не отдельный браузер на каждый IP.
  • Согласуйте локаль и часовой пояс со страной выхода и закройте утечку через WebRTC.
  • Chromium не умеет проходить аутентификацию на SOCKS5, поэтому для прокси с аутентификацией используйте HTTP-порт.

Читайте также

Все статьи

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления