Ротационные или sticky-прокси: какой тип сессии выбрать
Ротационные сессии меняют IP на каждом запросе, а sticky-сессии удерживают один IP заданное время. Как работает каждый вариант, как задать время жизни сессии и какие ошибки ломают оба подхода.
Команда Proxonym
Ротационные прокси дают новый IP-адрес на каждый запрос. Sticky-прокси сохраняют один и тот же IP заданное время, поэтому многошаговый сценарий — вход в аккаунт, поиск с несколькими страницами результатов или оформление заказа — идёт с одного адреса. Используйте ротацию для массовых независимых запросов, а sticky-сессии — всякий раз, когда целевой сайт связывает запросы между собой через cookie или состояние на сервере. На наших резидентных, мобильных и безлимитных шлюзах переключение между режимами — это один параметр в имени пользователя.
Как работают ротационные сессии
Без параметра session шлюз выбирает для каждого запроса новый узел сети. Выполните эту команду дважды — и получите два разных IP:
curl -x http://gw.proxonym.com:8000 -U "USERNAME-country-us:PASSWORD" https://api.ipify.orgУ ротации три преимущества. Нагрузка распределяется по пулу, поэтому лимиты запросов на один IP достигаются редко. Заблокированный IP стоит вам одного запроса, а не всей задачи. А ваши запросы выглядят как визиты множества не связанных друг с другом посетителей — которыми они по сути и являются. Расплачиваться за это приходится непрерывностью: всё, что зависит от возвращения того же посетителя, — корзина, вход в аккаунт или серверный курсор поиска — может сломаться.
IP меняется, когда через шлюз проходит новое подключение. Для HTTPS ваш клиент открывает к целевому сайту туннель CONNECT, и все запросы, отправленные через этот туннель, используют один и тот же выходной IP. Поэтому HTTP-клиенты, которые держат соединения открытыми (keep-alive), могут отправлять несколько запросов с одного IP. Если нужна строгая ротация, открывайте новое подключение на каждый запрос.
Как работают sticky-сессии
Добавьте -session-{id} к имени пользователя, и шлюз будет сохранять один и тот же IP для всех запросов с этим ID. ID — любая выбранная вами строка из букв и цифр длиной от 1 до 32 символов. Добавьте -lifetime-{minutes}, чтобы задать, сколько удерживать IP; без этого параметра sticky-сессия длится 10 минут.
# The same New York IP for up to 30 minutes
curl -x http://gw.proxonym.com:8000 \
-U "USERNAME-country-us-city-new_york-session-a7k2-lifetime-30:PASSWORD" \
https://api.ipify.orgПовторно используете ID в пределах времени жизни сессии — получаете тот же IP; меняете ID — получаете другой. Для проверки запустите этот цикл: он трижды выведет один и тот же IP. Уберите -session-test1 — и он выведет три разных IP.
for i in 1 2 3; do
curl -s -x http://gw.proxonym.com:8000 -U "USERNAME-session-test1:PASSWORD" https://api.ipify.org; echo
doneМаксимальное время жизни сессии зависит от продукта:
| Продукт | Режим ротации | Время жизни sticky-сессии |
|---|---|---|
| Резидентные | Новый IP на каждый запрос | От 1 до 120 минут |
| Безлимитные резидентные прокси | Новый IP на каждый запрос | От 1 до 720 минут (12 часов) |
| Мобильные | Новый IP на каждое подключение | От 1 до 3 минут |
| ISP | Статический IP, без ротации | Один и тот же IP на весь срок тарифа |
Участники резидентной сети — это реальные устройства, поэтому устройство может отключиться раньше, чем истечёт время жизни сессии. В этом случае шлюз возвращает 502. Повторите запрос один раз; если сессия продолжает давать сбои, начните новую с другим ID, а в сценариях с авторизацией войдите в аккаунт заново.
Как выбрать время жизни сессии
Задавайте время жизни по самому долгому сценарию плюс небольшой запас. Дольше не значит надёжнее: IP, попавший под подозрение на полпути, останется с вами до конца сессии, а у участника сети в долгой сессии больше времени, чтобы отключиться.
| Задача | Рекомендуемое время жизни |
|---|---|
| Пагинация одного поиска или категории (страницы 1–5) | 2–5 минут |
| Тестирование добавления в корзину и оформления заказа | 10–15 минут |
| Вход в аккаунт и чтение нескольких его страниц | 15–30 минут |
| Долгие сессии в дашбордах или отчётах | 60–120 минут на резидентных прокси, до 12 часов на безлимитных резидентных |
| Сценарии в мобильных приложениях | До 3 минут; предусмотрите повторную авторизацию |
| Аккаунты, которым нужен один IP на несколько дней | Это задача не для сессий: используйте статические ISP-прокси |
Следите и за числом запросов на один IP. Воркер, который отправляет один запрос каждые две секунды в 30-минутной сессии, делает с одного IP 900 запросов. Если целевой сайт начинает показывать проверки после нескольких сотен запросов, сократите время жизни сессии или замедлите воркер. Нагрузку на каждый IP определяют время жизни и частота запросов вместе.
Примеры: парсинг и сценарии со входом в аккаунт
Парсинг каталога товаров: ротация
Страницы товаров независимы друг от друга. Каждый запрос может идти с другого IP, а блокировка на одной странице не влияет на следующую. Не указывайте параметр session, выберите страну, цены которой вам нужны, и повторяйте неудачные запросы с новым IP.
Сценарий со входом в аккаунт: sticky-сессия
При входе в аккаунт устанавливается файл cookie, и многие сайты привязывают его к IP, с которого он был создан. Если в следующем запросе этот cookie приходит с другого IP, это классический признак перехвата сессии, и сайт может разлогинить пользователя или запросить подтверждение. Держите IP и хранилище cookie вместе на протяжении всего сценария:
import secrets
import requests
def sticky(country, minutes):
sid = secrets.token_hex(6) # 12 letters and digits
url = (f"http://USERNAME-country-{country}-session-{sid}-lifetime-{minutes}"
":PASSWORD@gw.proxonym.com:8000")
return {"http": url, "https": url}
proxies = sticky("gb", 20)
with requests.Session() as s: # one cookie jar, one IP
s.post("https://example.com/login", data={"email": "...", "password": "..."},
proxies=proxies, timeout=30)
orders = s.get("https://example.com/account/orders", proxies=proxies, timeout=30)Автоматизируйте вход только в те аккаунты, которые принадлежат вам или которыми вы вправе пользоваться. Другие шаблоны, включая повторные попытки и тайм-ауты, — в статье «Прокси в Python Requests».
Sticky-сессия внутри задачи, ротация между задачами
В большинстве реальных задач эти режимы сочетаются. Трекер позиций выделяет каждому ключевому слову свою короткую sticky-сессию, поэтому страницы 1–3 запрашивает один «посетитель», а разные ключевые слова идут с разных IP. Headless-браузеру нужна sticky-сессия для каждого профиля, ведь при загрузке одной страницы подтягиваются десятки ресурсов, и все они должны идти с одного IP; подробнее — в статье «Прокси в Puppeteer и Playwright».
Смена IP каждые N запросов
Некоторые сайты терпят короткую серию запросов от одного посетителя, но не сотни. Компромисс — использовать каждый IP для фиксированного числа запросов, а затем переключаться:
import secrets
class SessionRotator:
"""Return the same session ID for per_ip requests, then a new one."""
def __init__(self, per_ip=20):
self.per_ip, self.used, self.sid = per_ip, 0, secrets.token_hex(4)
def username(self, country):
if self.used == self.per_ip:
self.used, self.sid = 0, secrets.token_hex(4)
self.used += 1
return f"USERNAME-country-{country}-session-{self.sid}-lifetime-10"Создавайте отдельный ротатор для каждого воркера, чтобы воркеры никогда не делили один IP, и подбирайте per_ip под то, что выдерживает целевой сайт.
Ошибки, которых стоит избегать
- Один ID сессии на всех воркеров. Если 50 потоков используют
-session-1, они делят один IP и вместе упираются в лимиты запросов. Выдайте каждому воркеру или задаче собственный ID. - Предсказуемые ID в разных скриптах. Две задачи, которые обе используют
-session-1, окажутся на одном IP. Генерируйте случайные ID. - Смена параметров посреди сценария. Всё время жизни сессии имя пользователя должно оставаться полностью неизменным, включая страну и город.
- Постоянные соединения в задачах с ротацией. Пул соединений может закрепить IP, как описано выше. Если ротация важна, закрывайте соединения между запросами.
- Ротация IP при сохранённых cookie. Либо очищайте cookie между запросами, либо используйте sticky-сессию. Постоянный cookie при меняющемся IP — худшее сочетание из возможных.
- Ожидание долгих сессий от мобильных прокси. Мобильные сессии длятся не более 3 минут. Для более длинных сценариев используйте резидентные, безлимитные или ISP-прокси.
Полный справочник параметров, включая -state-, -asn- и -type-mobile, — в документации.
Ключевые выводы
- Ротация: без параметра session, новый IP на каждый запрос. Подходит для массового сбора независимых страниц.
- Sticky-сессия:
-session-{id}плюс-lifetime-{minutes}. Подходит для входа в аккаунты, корзин, пагинации и браузеров. - Задавайте время жизни сессии настолько коротким, насколько позволяет сценарий: максимум 120 минут на резидентных, 12 часов на безлимитных и 3 минуты на мобильных прокси.
- Выдавайте каждому воркеру или задаче отдельный случайный ID сессии и никогда не используйте один ID в разных заданиях.
- Если IP должен сохраняться несколько дней, используйте статические ISP-прокси вместо сессий.
