Прокси в Puppeteer и Playwright: аутентификация, ротация и геотаргетинг
Код на Node.js для прокси с аутентификацией в Puppeteer и Playwright, отдельный IP для каждого контекста браузера, геотаргетинг с подходящими локалью и часовым поясом и решения типичных ошибок.
Команда Proxonym
Chromium не принимает учётные данные прокси внутри URL, поэтому прокси в Puppeteer настраивается в два шага: передайте --proxy-server при запуске браузера, а затем вызовите page.authenticate() с именем пользователя и паролем. Playwright объединяет оба шага в одну опцию proxy, которую можно задать для всего браузера или для каждого контекста. В этом руководстве — рабочий код для обеих библиотек, отдельный IP для каждого контекста браузера, геотаргетинг и настройки, которые согласуют headless-сессию с её IP.
Puppeteer: аргументы запуска и page.authenticate
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
args: ['--proxy-server=http://gw.proxonym.com:8000'],
});
const page = await browser.newPage();
await page.authenticate({
username: 'USERNAME-country-us-session-k3p9x2-lifetime-15',
password: 'PASSWORD',
});
await page.goto('https://api.ipify.org', { waitUntil: 'domcontentloaded' });
console.log(await page.evaluate(() => document.body.innerText)); // the exit IP
await browser.close();
})();Вызывайте page.authenticate() до первого перехода на страницу: метод отвечает на требование аутентификации 407 от шлюза для всех запросов, которые делает страница. Используйте HTTP-порт 8000: Chromium не умеет проходить аутентификацию на SOCKS5-прокси.
Обратите внимание на параметр session в имени пользователя. Одна загрузка страницы тянет за собой десятки ресурсов: скрипты, стили, шрифты и вызовы API. Без sticky-сессии эти подключения могут выходить с разных IP — так не делает ни один реальный посетитель, а сайты, которые привязывают cookie к IP, от этого ломаются. Дайте каждой цифровой личности браузера sticky-сессию, которая длится дольше задачи, — до 120 минут на резидентных прокси. Как подобрать её длительность, рассказано в сравнении ротации и sticky-сессий.
Отдельный IP для каждого контекста браузера
Запускать отдельный браузер на каждый IP — медленно. Контексты браузера — это лёгкие изолированные профили внутри одного процесса браузера, у каждого из которых свои cookie, хранилище и кэш. Свяжите каждый контекст с собственной sticky-сессией, и один запуск браузера даст вам множество независимых цифровых личностей.
Puppeteer
const { randomBytes } = require('node:crypto');
async function withIdentity(browser, country, task) {
const context = await browser.createBrowserContext({
proxyServer: 'http://gw.proxonym.com:8000',
});
const page = await context.newPage();
await page.authenticate({
username: `USERNAME-country-${country}-session-${randomBytes(4).toString('hex')}-lifetime-20`,
password: 'PASSWORD',
});
try {
return await task(page);
} finally {
await context.close();
}
}
// await withIdentity(browser, 'de', (page) => page.goto('https://example.com'));createBrowserContext() — так метод называется в Puppeteer 22 и новее; в более старых версиях он называется createIncognitoBrowserContext(). Держите одну цифровую личность на контекст, а не меняйте имя пользователя на уже открытой странице: Chromium кэширует учётные данные прокси, поэтому повторный вызов authenticate() в том же контексте может не сработать.
Playwright
const { chromium } = require('playwright');
const { randomBytes } = require('node:crypto');
(async () => {
const browser = await chromium.launch();
for (const country of ['us', 'gb', 'jp']) {
const context = await browser.newContext({
proxy: {
server: 'http://gw.proxonym.com:8000',
username: `USERNAME-country-${country}-session-${randomBytes(4).toString('hex')}-lifetime-20`,
password: 'PASSWORD',
},
});
const page = await context.newPage();
await page.goto('https://api.ipify.org');
console.log(country, await page.textContent('body'));
await context.close();
}
await browser.close();
})();Чтобы использовать один прокси для всего, передайте тот же объект proxy не в контекст, а в chromium.launch(). В старых версиях Playwright для Chromium в Windows требовалась заглушка на уровне запуска, proxy: { server: 'http://per-context' }, без которой прокси для отдельных контекстов не работали. Python API принимает тот же словарь:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
context = browser.new_context(proxy={
"server": "http://gw.proxonym.com:8000",
"username": "USERNAME-country-gb-session-q7m2x9-lifetime-20",
"password": "PASSWORD",
})
page = context.new_page()
page.goto("https://api.ipify.org")
print(page.text_content("body"))
browser.close()Какой тип прокси сочетать с браузером
- Резидентные прокси с ротацией и sticky-сессиями — для парсинга и коротких сессий: новая цифровая личность на каждый контекст, каждая живёт до 120 минут.
- ISP-прокси — для постоянных профилей, например аккаунтов с авторизацией, которые должны каждый день заходить с одного и того же IP. IP остаётся статическим весь срок тарифа, а трафик безлимитный.
- Безлимитные резидентные прокси — для интенсивного непрерывного рендеринга, где при оплате за ГБ трафик стал бы основной статьёй расходов.
Геотаргетинг с согласованным профилем браузера
Выберите локацию выхода в имени пользователя с помощью -country- и добавьте -state- или -city- для более точного таргетинга. Затем приведите браузер в соответствие с ней. Немецкий IP в сочетании с американским часовым поясом и заголовком Accept-Language только с английским языком — именно такие несоответствия и ищут антибот-скрипты.
// Playwright: everything goes into the context options
const context = await browser.newContext({
proxy: {
server: 'http://gw.proxonym.com:8000',
username: 'USERNAME-country-de-city-berlin-session-b81f2c-lifetime-30',
password: 'PASSWORD',
},
locale: 'de-DE',
timezoneId: 'Europe/Berlin',
});
// Puppeteer: set per page
await page.emulateTimezone('Europe/Berlin');
await page.setExtraHTTPHeaders({ 'Accept-Language': 'de-DE,de;q=0.9,en;q=0.6' });Опция locale в Playwright задаёт и navigator.language, и заголовок Accept-Language. В Puppeteer дополнительный заголовок не меняет navigator.language, поэтому проверьте, что из двух считывает ваш целевой сайт.
Проверьте профиль перед запуском
Прежде чем запускать задачу, убедитесь, что IP, часовой пояс и язык согласуются между собой:
await page.goto('https://api.ipify.org');
const report = await page.evaluate(() => ({
ip: document.body.innerText.trim(),
timezone: Intl.DateTimeFormat().resolvedOptions().timeZone,
language: navigator.language,
}));
console.log(report); // { ip: '...', timezone: 'Europe/Berlin', language: 'de-DE' }Проверьте IP по базе геолокации, чтобы подтвердить страну, и повторите проверку для каждого контекста: у каждого контекста своя сессия, а значит, и свой IP.
Обнаружение headless-режима: что исправляет прокси, а что нет
Прокси меняет IP-адрес, но не меняет браузер. Сайты, которые выявляют автоматизацию, смотрят и на то, и на другое, поэтому учитывайте следующее:
- Используйте полноценный headless-режим. По умолчанию
headless: trueв Puppeteer запускает новый headless-режим Chrome. В Playwright передайтеchannel: 'chromium', чтобы использовать его вместо облегчённой оболочки headless shell, которая сильнее отличается от обычного браузера. - Закройте утечку через WebRTC. WebRTC может раскрыть ваш реальный IP по UDP в обход прокси. Добавьте
--force-webrtc-ip-handling-policy=disable_non_proxied_udpв аргументы запуска. - Будьте последовательны. Сохраняйте один и тот же IP, User-Agent, часовой пояс и cookie на протяжении всей жизни цифровой личности. Случайная смена отпечатка на каждом запросе делает поведение менее человеческим, а не более.
- Не торопитесь. Дожидайтесь загрузки страниц, не забрасывайте один сайт запросами из множества контекстов одновременно и снижайте темп при появлении капч, вместо того чтобы прорываться сквозь них. Подробно о контроле частоты запросов — в статье «Парсинг без блокировок».
На тарифах с оплатой за ГБ браузерный трафик быстро накапливается. Блокировка изображений, медиафайлов и шрифтов снижает объём передачи на каждую страницу:
// Playwright
await context.route('**/*', (route) =>
['image', 'media', 'font'].includes(route.request().resourceType()) ? route.abort() : route.continue());
// Puppeteer
await page.setRequestInterception(true);
page.on('request', (req) =>
['image', 'media', 'font'].includes(req.resourceType()) ? req.abort() : req.continue());Для целых парков браузеров, которые круглосуточно рендерят полные страницы, подойдут безлимитные резидентные прокси: они тарифицируются по скорости канала, а не за ГБ, и поддерживают sticky-сессии до 12 часов.
Устранение неполадок
| Ошибка | Вероятная причина | Решение |
|---|---|---|
net::ERR_PROXY_CONNECTION_FAILED | Браузер не может подключиться к шлюзу | Проверьте хост и порт; разрешите исходящий трафик на порт 8000 |
net::ERR_TUNNEL_CONNECTION_FAILED | Шлюз отклонил CONNECT, например с кодом 402 (нет баланса), 403 (сайт заблокирован) или 502 (сбой участника сети) | Воспроизведите запрос через curl, чтобы увидеть код статуса |
net::ERR_INVALID_AUTH_CREDENTIALS | Неверное имя пользователя или пароль либо authenticate() вызван после перехода на страницу | Сначала пройдите аутентификацию и скопируйте учётные данные из личного кабинета |
| Тайм-аут навигации | Медленный участник сети или тяжёлая страница | Используйте waitUntil: 'domcontentloaded', блокируйте медиафайлы, повторите запрос с новой сессией |
Чтобы увидеть, что именно отвечает шлюз, выполните запрос с тем же именем пользователя через curl с флагом -v:
curl -v -o /dev/null -x http://gw.proxonym.com:8000 \
-U "USERNAME-country-us-session-k3p9x2:PASSWORD" https://example.comГотовые фрагменты кода — на страницах интеграции с Puppeteer и Playwright.
Ключевые выводы
- Для Puppeteer нужны
--proxy-serverпри запуске (илиproxyServerдля каждого контекста) иpage.authenticate(). Playwright принимает одну опциюproxyс сервером, именем пользователя и паролем. - Для браузерного трафика всегда используйте sticky-сессию — по одной на каждую цифровую личность.
- Используйте один контекст браузера на цифровую личность, а не отдельный браузер на каждый IP.
- Согласуйте локаль и часовой пояс со страной выхода и закройте утечку через WebRTC.
- Chromium не умеет проходить аутентификацию на SOCKS5, поэтому для прокси с аутентификацией используйте HTTP-порт.
