Как парсить выдачу Google: собственные прокси или SERP API
Почему Google сложно парсить, когда стоит строить собственный парсер на резидентных прокси, а когда — обращаться к SERP API, а также нюансы локализации, пагинации, выбора устройства и правовые аспекты.
Команда Proxonym
Парсить выдачу Google можно двумя способами: запустить собственный парсер через резидентные прокси с ротацией и самостоятельно разбирать HTML или обращаться к SERP API, который возвращает результаты в виде структурированного JSON. Собственное решение даёт полный контроль, но вам придётся справляться с рендерингом JavaScript, блокировками и постоянно меняющейся разметкой. SERP API превращает каждую страницу выдачи в один запрос по фиксированной цене. В любом случае результаты зависят от местоположения, языка и устройства, поэтому эти параметры не менее важны, чем сам парсинг.
Почему Google сложно парсить
- Жёсткие ограничения частоты запросов. Запросы с признаками автоматизации перенаправляются на страницу
/sorry/с капчей или получают ответ429, и это может начаться уже после небольшого числа быстрых запросов с одного IP. - Обязательный JavaScript. В январе 2025 года Google начал требовать JavaScript для показа результатов поиска, поэтому простые HTTP-клиенты часто получают страницу с просьбой его включить. Большинству самописных парсеров теперь нужен headless-браузер.
- Нестабильная разметка. Имена классов генерируются автоматически и часто меняются, поэтому парсеры на CSS-селекторах ломаются без предупреждения.
- Локализованная выдача. Один и тот же запрос даёт разные позиции в зависимости от страны, города, языка и устройства. Парсер, который игнорирует местоположение, собирает данные, которых не видит ни один реальный пользователь.
- Десять результатов на странице. В сентябре 2025 года Google перестал учитывать параметр
num=100, поэтому для топ-100 позиций по ключевому слову теперь нужно десять запросов вместо одного.
Собственный парсер или SERP API
Собственный парсер на резидентных прокси
Собственное решение состоит из четырёх частей: headless-браузер или HTTP-клиент, резидентные IP с ротацией, привязанные к местоположению пользователя, парсер страницы выдачи и логика, которая распознаёт блокировки и страницы согласия. Резидентные IP важны, потому что к хостинговым диапазонам Google относится с подозрением. Таргетинг по городу, например -country-us-city-chicago в имени пользователя для шлюза, обеспечивает совпадение IP с местоположением, для которого вы снимаете позиции. Используйте новый IP для каждого ключевого слова и короткую sticky-сессию при пагинации одного запроса, чтобы страницы 1–3 запрашивал один и тот же «посетитель».
Затраты складываются в основном из трафика и времени инженеров. Отрендеренные страницы выдачи тяжёлые. Допустим, на страницу уходит 500 КБ трафика при отключённых изображениях: 1 000 страниц — это 0,5 ГБ, то есть от $0,37 до $1,00 за резидентный трафик в зависимости от размера пакета (от $0,74 до $1,99 за ГБ). И это без учёта повторных попыток, вычислительных ресурсов для браузеров и поддержки парсера.
SERP API
Наш Google SERP API принимает запрос, местоположение, язык и устройство в качестве параметров и возвращает разобранный JSON. Вы отправляете запрос и получаете структурированные результаты; загрузка и парсинг выполняются на нашей стороне. Один запрос — одна страница выдачи: от $28,70 в месяц за 100 000 запросов (около $0,29 за 1 000) до $0,16 за 1 000 на тарифе на 10 млн запросов. Все тарифы — на странице с ценами.
| Параметр | Собственный парсер на резидентных прокси | SERP API |
|---|---|---|
| На выходе | Сырой HTML, который вы разбираете сами | Разобранный JSON |
| Стоимость 1 000 страниц | Трафик плюс вычисления, повторные попытки и поддержка | От $0,16 до $0,29 |
| Поддержка | Обновление парсера при каждом изменении разметки | Парсинг поддерживаем мы |
| Гибкость | Всё, что видно на странице, скриншоты, нестандартные сценарии | Поля, которые возвращает API |
| Подходит для | Нестандартные элементы выдачи, снимки страницы целиком, уже готовая инфраструктура парсинга | Отслеживание позиций, подбор ключевых слов, мониторинг конкурентов |
Пример: запрос к SERP API
curl -G "https://serp.proxonym.com/v1/search" \
-H "X-API-Key: YOUR_API_KEY" \
--data-urlencode "q=espresso machine repair" \
--data-urlencode "location=Chicago,Illinois" \
-d gl=us -d hl=en -d device=desktop -d page=1Тот же запрос на Python:
import requests
resp = requests.get(
"https://serp.proxonym.com/v1/search",
headers={"X-API-Key": "YOUR_API_KEY"},
params={"q": "espresso machine repair", "gl": "us", "hl": "en",
"location": "Chicago,Illinois", "device": "desktop", "page": 1},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
for item in data["organic_results"]:
print(item["position"], item["title"], item["link"])
print(len(data.get("ads", [])), "ads,", len(data.get("local_results", [])), "local results")Ответ содержит следующие поля:
| Поле | Содержимое |
|---|---|
search_parameters | Параметры, с которыми выполнялся поиск |
organic_results[] | position, title, link и snippet для каждого органического результата |
ads[] | Платные результаты на странице |
people_also_ask[] | Вопросы из блока «Похожие вопросы» (People also ask) |
related_searches[] | Связанные запросы |
local_results[] | Результаты локального блока (local pack) для запросов с локальным интентом |
Локализация: gl, hl и location
gl— страна, для которой выполняется поиск, в виде двухбуквенного кода, напримерusилиde. От него зависит, позиции какой страны вы увидите.hl— язык интерфейса, напримерenилиde. Он меняет подписи элементов и может влиять на то, какие языковые версии страниц попадают в выдачу.locationсужает поиск до города или региона, напримерChicago,Illinois. Локальные блоки и многие коммерческие запросы полностью меняются от города к городу.
В собственном парсере Google определяет местоположение по IP, а параметр URL uule позволяет закодировать более точную локацию. Что бы вы ни использовали, сигналы должны быть согласованы: IP из Чикаго с gl=us и hl=en. Противоречивые сигналы, например немецкий IP с gl=us, дают смешанную выдачу, которая не соответствует ни одному реальному пользователю.
Пагинация, устройства и частота запросов
Пагинация. Каждая страница — отдельный запрос: page=1, page=2 и так далее в API или start=0, start=10 в URL Google. Решите, насколько глубоко вам действительно нужно отслеживать выдачу. Для отслеживания позиций топ-30 по 1 000 ключевых слов раз в день — это 3 страницы × 1 000 ключевых слов × 30 дней = 90 000 запросов в месяц, что укладывается в тариф на 100 000 запросов.
Устройства. Мобильная и десктопная выдача различаются вёрсткой, набором элементов, а иногда и позициями. В API задайте device=mobile или device=desktop; в собственном парсере используйте соответствующие User-Agent и размер окна (viewport). Отслеживайте оба варианта, если большая часть вашей аудитории ищет с телефонов.
Частота запросов в собственном парсере. Меняйте IP для каждого ключевого слова, распределяйте запросы равномерно во времени со случайным разбросом и избегайте всплесков в начале часа, когда обычно стартуют задания по расписанию. Отслеживайте редиректы на /sorry/, ответы 429 и промежуточные страницы согласия; растущая доля таких ответов — сигнал замедлиться, а не повторять запросы ещё настойчивее. Простая проверка покрывает типичные случаи:
def is_blocked(final_url, status, html):
return (
status == 429
or "/sorry/" in final_url
or "unusual traffic" in html.lower()
)Считайте все заблокированные ответы по часам и по странам выхода и снижайте частоту, когда их доля растёт. Не пропускайте запросы через сервисы решения капч — лучше сбавьте темп. Общие приёмы описаны в статье «Парсинг без блокировок».
Кэширование. Позиции меняются раз в день, а не ежеминутно. Сохраняйте результаты по каждому ключевому слову с датой и используйте их до конца дня; обновление дашборда никогда не должно запускать новый запрос.
Правовые аспекты
Сбор общедоступных результатов поиска — обычная практика в SEO и маркетинговых исследованиях, но и здесь есть правила. Условия использования Google ограничивают автоматизированный доступ, а его robots.txt запрещает сканировать страницы поиска. Влечёт ли это ответственность, зависит от вашей юрисдикции и от того, как вы используете данные. Собирайте только то, что действительно нужно, не храните персональные данные, попадающие в выдачу, не публикуйте массово чужие сниппеты, защищённые авторским правом, а по коммерческим проектам консультируйтесь с юристом. Наши правила допустимого использования распространяются на каждый запрос, какой бы подход вы ни выбрали.
Ключевые выводы
- Собственный парсинг Google требует резидентных IP, headless-браузера, парсера и обработки блокировок, поэтому закладывайте в бюджет постоянную поддержку.
- SERP API возвращает разобранный JSON — один запрос на страницу выдачи, от $0,16 за 1 000 запросов.
- Согласуйте
gl,hl, местоположение и IP, иначе вы будете измерять выдачу, которую не видит ни один реальный пользователь. - Google показывает около десяти органических результатов на странице, поэтому заранее определите глубину: топ-100 обходится в десять запросов на каждое ключевое слово.
- Ограничивайте частоту, при капчах сбавляйте темп, а не решайте их, и соблюдайте правовые рамки своего сценария использования.
