НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Как парсить выдачу Google: собственные прокси или SERP API

Почему Google сложно парсить, когда стоит строить собственный парсер на резидентных прокси, а когда — обращаться к SERP API, а также нюансы локализации, пагинации, выбора устройства и правовые аспекты.

Команда Proxonym

Парсить выдачу Google можно двумя способами: запустить собственный парсер через резидентные прокси с ротацией и самостоятельно разбирать HTML или обращаться к SERP API, который возвращает результаты в виде структурированного JSON. Собственное решение даёт полный контроль, но вам придётся справляться с рендерингом JavaScript, блокировками и постоянно меняющейся разметкой. SERP API превращает каждую страницу выдачи в один запрос по фиксированной цене. В любом случае результаты зависят от местоположения, языка и устройства, поэтому эти параметры не менее важны, чем сам парсинг.

Почему Google сложно парсить

  • Жёсткие ограничения частоты запросов. Запросы с признаками автоматизации перенаправляются на страницу /sorry/ с капчей или получают ответ 429, и это может начаться уже после небольшого числа быстрых запросов с одного IP.
  • Обязательный JavaScript. В январе 2025 года Google начал требовать JavaScript для показа результатов поиска, поэтому простые HTTP-клиенты часто получают страницу с просьбой его включить. Большинству самописных парсеров теперь нужен headless-браузер.
  • Нестабильная разметка. Имена классов генерируются автоматически и часто меняются, поэтому парсеры на CSS-селекторах ломаются без предупреждения.
  • Локализованная выдача. Один и тот же запрос даёт разные позиции в зависимости от страны, города, языка и устройства. Парсер, который игнорирует местоположение, собирает данные, которых не видит ни один реальный пользователь.
  • Десять результатов на странице. В сентябре 2025 года Google перестал учитывать параметр num=100, поэтому для топ-100 позиций по ключевому слову теперь нужно десять запросов вместо одного.

Собственный парсер или SERP API

Собственный парсер на резидентных прокси

Собственное решение состоит из четырёх частей: headless-браузер или HTTP-клиент, резидентные IP с ротацией, привязанные к местоположению пользователя, парсер страницы выдачи и логика, которая распознаёт блокировки и страницы согласия. Резидентные IP важны, потому что к хостинговым диапазонам Google относится с подозрением. Таргетинг по городу, например -country-us-city-chicago в имени пользователя для шлюза, обеспечивает совпадение IP с местоположением, для которого вы снимаете позиции. Используйте новый IP для каждого ключевого слова и короткую sticky-сессию при пагинации одного запроса, чтобы страницы 1–3 запрашивал один и тот же «посетитель».

Затраты складываются в основном из трафика и времени инженеров. Отрендеренные страницы выдачи тяжёлые. Допустим, на страницу уходит 500 КБ трафика при отключённых изображениях: 1 000 страниц — это 0,5 ГБ, то есть от $0,37 до $1,00 за резидентный трафик в зависимости от размера пакета (от $0,74 до $1,99 за ГБ). И это без учёта повторных попыток, вычислительных ресурсов для браузеров и поддержки парсера.

SERP API

Наш Google SERP API принимает запрос, местоположение, язык и устройство в качестве параметров и возвращает разобранный JSON. Вы отправляете запрос и получаете структурированные результаты; загрузка и парсинг выполняются на нашей стороне. Один запрос — одна страница выдачи: от $28,70 в месяц за 100 000 запросов (около $0,29 за 1 000) до $0,16 за 1 000 на тарифе на 10 млн запросов. Все тарифы — на странице с ценами.

ПараметрСобственный парсер на резидентных проксиSERP API
На выходеСырой HTML, который вы разбираете самиРазобранный JSON
Стоимость 1 000 страницТрафик плюс вычисления, повторные попытки и поддержкаОт $0,16 до $0,29
ПоддержкаОбновление парсера при каждом изменении разметкиПарсинг поддерживаем мы
ГибкостьВсё, что видно на странице, скриншоты, нестандартные сценарииПоля, которые возвращает API
Подходит дляНестандартные элементы выдачи, снимки страницы целиком, уже готовая инфраструктура парсингаОтслеживание позиций, подбор ключевых слов, мониторинг конкурентов

Пример: запрос к SERP API

Shell
curl -G "https://serp.proxonym.com/v1/search" \
  -H "X-API-Key: YOUR_API_KEY" \
  --data-urlencode "q=espresso machine repair" \
  --data-urlencode "location=Chicago,Illinois" \
  -d gl=us -d hl=en -d device=desktop -d page=1

Тот же запрос на Python:

Python
import requests

resp = requests.get(
    "https://serp.proxonym.com/v1/search",
    headers={"X-API-Key": "YOUR_API_KEY"},
    params={"q": "espresso machine repair", "gl": "us", "hl": "en",
            "location": "Chicago,Illinois", "device": "desktop", "page": 1},
    timeout=60,
)
resp.raise_for_status()
data = resp.json()

for item in data["organic_results"]:
    print(item["position"], item["title"], item["link"])
print(len(data.get("ads", [])), "ads,", len(data.get("local_results", [])), "local results")

Ответ содержит следующие поля:

ПолеСодержимое
search_parametersПараметры, с которыми выполнялся поиск
organic_results[]position, title, link и snippet для каждого органического результата
ads[]Платные результаты на странице
people_also_ask[]Вопросы из блока «Похожие вопросы» (People also ask)
related_searches[]Связанные запросы
local_results[]Результаты локального блока (local pack) для запросов с локальным интентом

Локализация: gl, hl и location

  • gl — страна, для которой выполняется поиск, в виде двухбуквенного кода, например us или de. От него зависит, позиции какой страны вы увидите.
  • hl — язык интерфейса, например en или de. Он меняет подписи элементов и может влиять на то, какие языковые версии страниц попадают в выдачу.
  • location сужает поиск до города или региона, например Chicago,Illinois. Локальные блоки и многие коммерческие запросы полностью меняются от города к городу.

В собственном парсере Google определяет местоположение по IP, а параметр URL uule позволяет закодировать более точную локацию. Что бы вы ни использовали, сигналы должны быть согласованы: IP из Чикаго с gl=us и hl=en. Противоречивые сигналы, например немецкий IP с gl=us, дают смешанную выдачу, которая не соответствует ни одному реальному пользователю.

Пагинация, устройства и частота запросов

Пагинация. Каждая страница — отдельный запрос: page=1, page=2 и так далее в API или start=0, start=10 в URL Google. Решите, насколько глубоко вам действительно нужно отслеживать выдачу. Для отслеживания позиций топ-30 по 1 000 ключевых слов раз в день — это 3 страницы × 1 000 ключевых слов × 30 дней = 90 000 запросов в месяц, что укладывается в тариф на 100 000 запросов.

Устройства. Мобильная и десктопная выдача различаются вёрсткой, набором элементов, а иногда и позициями. В API задайте device=mobile или device=desktop; в собственном парсере используйте соответствующие User-Agent и размер окна (viewport). Отслеживайте оба варианта, если большая часть вашей аудитории ищет с телефонов.

Частота запросов в собственном парсере. Меняйте IP для каждого ключевого слова, распределяйте запросы равномерно во времени со случайным разбросом и избегайте всплесков в начале часа, когда обычно стартуют задания по расписанию. Отслеживайте редиректы на /sorry/, ответы 429 и промежуточные страницы согласия; растущая доля таких ответов — сигнал замедлиться, а не повторять запросы ещё настойчивее. Простая проверка покрывает типичные случаи:

Python
def is_blocked(final_url, status, html):
    return (
        status == 429
        or "/sorry/" in final_url
        or "unusual traffic" in html.lower()
    )

Считайте все заблокированные ответы по часам и по странам выхода и снижайте частоту, когда их доля растёт. Не пропускайте запросы через сервисы решения капч — лучше сбавьте темп. Общие приёмы описаны в статье «Парсинг без блокировок».

Кэширование. Позиции меняются раз в день, а не ежеминутно. Сохраняйте результаты по каждому ключевому слову с датой и используйте их до конца дня; обновление дашборда никогда не должно запускать новый запрос.

Сбор общедоступных результатов поиска — обычная практика в SEO и маркетинговых исследованиях, но и здесь есть правила. Условия использования Google ограничивают автоматизированный доступ, а его robots.txt запрещает сканировать страницы поиска. Влечёт ли это ответственность, зависит от вашей юрисдикции и от того, как вы используете данные. Собирайте только то, что действительно нужно, не храните персональные данные, попадающие в выдачу, не публикуйте массово чужие сниппеты, защищённые авторским правом, а по коммерческим проектам консультируйтесь с юристом. Наши правила допустимого использования распространяются на каждый запрос, какой бы подход вы ни выбрали.

Ключевые выводы

  • Собственный парсинг Google требует резидентных IP, headless-браузера, парсера и обработки блокировок, поэтому закладывайте в бюджет постоянную поддержку.
  • SERP API возвращает разобранный JSON — один запрос на страницу выдачи, от $0,16 за 1 000 запросов.
  • Согласуйте gl, hl, местоположение и IP, иначе вы будете измерять выдачу, которую не видит ни один реальный пользователь.
  • Google показывает около десяти органических результатов на странице, поэтому заранее определите глубину: топ-100 обходится в десять запросов на каждое ключевое слово.
  • Ограничивайте частоту, при капчах сбавляйте темп, а не решайте их, и соблюдайте правовые рамки своего сценария использования.

Читайте также

Все статьи

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления