Резидентные прокси или прокси дата-центров: как выбрать под свою задачу
Подробное сравнение резидентных прокси и прокси дата-центров: таблица для принятия решения, стратегии гибридной маршрутизации и расчёт затрат по реальным ценам за ГБ и за IP.
Команда Proxonym
Резидентные прокси пропускают ваш трафик через IP-адреса, которые домашние интернет-провайдеры выдают реальным домохозяйствам. Прокси дата-центров используют IP-адреса, принадлежащие хостинг-компаниям. Резидентные IP сайтам гораздо труднее отличить от обычных пользователей, к тому же они поддерживают таргетинг по городу, но обходятся дороже в пересчёте на гигабайт и добавляют задержку. IP дата-центров быстрые и дешёвые в пересчёте на запрос, но сайты с защитой от ботов легко их распознают. Практическое правило: используйте прокси дата-центров везде, где целевой сайт их пропускает, и переходите на резидентные там, где начинаются блокировки.
В этом руководстве мы сравним оба типа по факторам, которые определяют выбор, покажем, когда подходит каждый из них, и посчитаем стоимость обхода миллиона страниц по реальным ценам.
Главное различие: кому принадлежит IP
Каждый IP-адрес принадлежит автономной системе (ASN), зарегистрированной на определённую организацию. Базы данных IP-аналитики помечают такие диапазоны по типу использования: блок Comcast или Deutsche Telekom определяется как домашний широкополосный доступ, а блок облачной или хостинговой компании — как сервер. Антибот-системы придают этой метке большое значение, ведь реальные покупатели почти никогда не заходят на сайты из серверной стойки.
- Резидентные IP берутся из домашних подключений. В нашей сети они принадлежат устройствам, владельцы которых добровольно согласились делиться каналом через партнёрские приложения; в сумме это пул из 55 млн+ IP в 195+ странах.
- IP дата-центров находятся на серверах в коммерческих дата-центрах. В нашем общем пуле 40 000 IP в 9 странах, а выделенные IP дата-центров, закреплённые за одним аккаунтом, доступны в 8 странах.
Всё остальное в этом сравнении вытекает из одного этого факта: уровень доверия, скорость, размер пула и модель ценообразования.
Резидентные прокси или прокси дата-центров: краткое сравнение
| Параметр | Резидентные прокси | Прокси дата-центров |
|---|---|---|
| Источник IP | Домашние подключения участников сети, давших согласие | Серверы в коммерческих дата-центрах |
| Доверие на защищённых сайтах | Высокое: трафик выглядит как визит обычного домашнего пользователя | Ниже: хостинговые диапазоны легко вычислить |
| Скорость и задержка | Непостоянные, зависят от подключения конкретного участника сети | Высокая скорость, стабильная задержка |
| Пул и таргетинг | 55 млн+ IP в 195+ странах; таргетинг по стране, штату, городу и ASN | 40 000 общих IP в 9 странах; выбор на уровне страны |
| Ротация | Новый IP на каждый запрос или sticky-сессия до 120 минут | Статический список; ротацию IP вы реализуете в своём коде |
| Модель оплаты | За ГБ: 5 ГБ за $9,95, до $0,74/ГБ при объёме 10 ТБ | За IP плюс месячный пакет трафика: 1 000 IP с 250 ГБ за $17,50 в месяц |
| Лучшее применение | Защищённые сайты, локальная выдача, проверка рекламы | Слабо защищённые сайты, API, массовые загрузки, задачи, где важна скорость |
Все уровни тарифов для обоих продуктов приведены на странице с ценами.
Когда какой тип использовать
Когда выбирать прокси дата-центров
- У целевого сайта слабая защита от ботов или её нет вовсе: таковы многие B2B-каталоги, порталы открытых данных, сайты документации и API, к которым вам разрешено обращаться.
- Пропускная способность и задержка важнее незаметности — например, когда вы скачиваете большие файлы или часто опрашиваете одни и те же эндпоинты.
- Вы передаёте много данных. Пакеты трафика — от 250 ГБ до безлимитного, поэтому тяжёлые страницы не раздувают счёт.
- Вы хотите добавить IP своих серверов в белый список (3 IP уже включены) вместо работы с учётными данными или вам нужен SOCKS5 с UDP.
Общий пул дата-центров — недорогая отправная точка. Переходите на выделенные IP (от $6,65 в месяц за 5 штук), когда вам нужны адреса, которыми больше никто не пользуется.
Когда выбирать резидентные прокси
- На сайте работает система защиты от ботов, которая оценивает репутацию IP. Обычно так устроены крупные маркетплейсы, поисковые системы, туристические сайты и социальные платформы.
- Вам нужна точность до города, штата или ASN: локальные позиции в поиске, региональные цены или реклама, которую показывают на конкретном рынке.
- Запросы через дата-центр возвращают ошибки 403, капчи или подозрительно пустые страницы.
- Вам нужен новый IP для каждого из миллионов запросов.
Если вы пока не знаете, как устроены сеть участников и шлюз, начните со статьи «Что такое резидентный прокси?», а затем сравните тарифы на резидентные прокси.
Золотая середина: ISP-прокси
ISP-прокси — это статические IP, зарегистрированные за домашними интернет-провайдерами, но размещённые в дата-центрах. Базы данных IP обычно относят их к провайдерским, а не к хостинговым адресам; работают они со скоростью дата-центра, а трафик безлимитный. Оплата идёт за IP: 5 IP на 30 дней стоят $10,91. Они подходят для аккаунтов и длительных сессий, где резидентный IP, меняющийся каждые несколько минут, только мешал бы. 17 доступных локаций перечислены на странице ISP-прокси.
Гибридные стратегии для снижения затрат
Большинство команд не ограничиваются одним типом. Они направляют каждый запрос в самый дешёвый пул, который с ним справляется.
- Резервный маршрут. Сначала отправляйте каждый запрос через дата-центр. Если ответ указывает на блокировку, повторите тот же URL через резидентные прокси.
- Маршрутизация по доменам. Отслеживайте долю успешных запросов для каждого целевого домена и закрепляйте домен за самым дешёвым пулом, который проходит ваш порог, скажем 95%. Перепроверяйте раз в месяц: сайты меняют защиту.
- Разделение по типу страниц. Страницы категорий и списков товаров часто защищены слабее, чем эндпоинты поиска, цен или оформления заказа. Маршрутизируйте их отдельно.
- Постоянный IP для работы в аккаунтах. Держите сессии аккаунтов на ISP-прокси или выделенных IP, а ротационные пулы используйте только для анонимного сбора данных.
Минимальная реализация резервного маршрута на Python:
import requests
DATACENTER = "http://USERNAME:PASSWORD@203.0.113.10:3129" # an ip:port from your list
RESIDENTIAL = "http://USERNAME-country-us:PASSWORD@gw.proxonym.com:8000"
BLOCKED = {403, 429, 503}
def fetch(session, url):
for proxy in (DATACENTER, RESIDENTIAL):
r = session.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
if r.status_code not in BLOCKED and "captcha" not in r.text.lower():
return r
return r # blocked on both pools: log it and slow down for this domainОбратите внимание: проверка анализирует не только код состояния, но и тело ответа. Ответ 200 со страницей проверки — это всё равно блокировка.
Расчёт затрат: миллион страниц в месяц
Возьмём для примера обход 1 000 000 страниц в месяц при среднем объёме 100 КБ на страницу (сжатый HTML без изображений). Это 100 ГБ трафика.
- Только резидентные: пакет на 100 ГБ со сроком действия 30 дней стоит $154, то есть $1,54/ГБ.
- Только дата-центр: 1 000 общих IP с пакетом трафика 250 ГБ стоят $17,50 в месяц — и это с запасом.
- Гибрид: допустим, 80% страниц нормально загружаются через дата-центр, а 20% требуют резидентных прокси. На резидентные прокси приходится 20 ГБ — это пакет за $37,10, плюс $17,50 за дата-центр: итого $54,60 в месяц.
| Схема | Стоимость в месяц | Результат |
|---|---|---|
| Только дата-центр | $17,50 | Около 800 000 страниц; остальные 200 000 заблокированы |
| Только резидентные | $154 | Все страницы идут через пул с более высоким доверием |
| Гибрид с резервным маршрутом | $54,60 | Дата-центр там, где он справляется, резидентные — для остального |
Гибрид окупается, только пока доля успешных запросов через дата-центр остаётся высокой. Если проходит лишь 30% страниц, резидентная доля вырастает до 70 ГБ — это пакет на 75 ГБ за $131,25, — и итоговые $148,75 почти равны варианту «только резидентные», только схема сложнее. Если успешность ниже этой границы, отправляйте домен сразу на резидентные прокси. При объёмах примерно от 1 ТБ в месяц сравните также пакеты с оплатой за ГБ с безлимитными резидентными тарифами, которые оплачиваются за скорость канала, а не за объём.
Блокировки стоят денег в обоих пулах. Страница блокировки тоже передаёт байты, а тарифы с оплатой за ГБ учитывают трафик, а не результат, поэтому каждый процентный пункт, на который вы снижаете долю блокировок, уменьшает счёт. Приёмы из статьи «Парсинг без блокировок» работают для обоих пулов.
Ключевые выводы
- Всё дело во владельце: резидентные IP принадлежат домашним интернет-провайдерам, IP дата-центров — хостинг-провайдерам, и антибот-системы это учитывают.
- Дата-центры выигрывают по скорости и стоимости запроса, резидентные прокси — по уровню доверия и точности геотаргетинга.
- Сначала тестируйте каждый целевой сайт через дата-центр, измеряйте долю успешных запросов и переключайтесь на резидентные прокси только там, где это необходимо.
- Для работы в аккаунтах и длительных сессий используйте статические ISP-прокси или выделенные IP вместо ротационных пулов.
- Считайте затраты с учётом реального размера своих страниц: когда большинство страниц проходит через дата-центр, гибридная схема может обойтись примерно в треть стоимости варианта «только резидентные».
