Парсинг сайтов
Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.
Сценарий · SEO и отслеживание позиций
Смотрите на поисковую выдачу так, как её видят пользователи на каждом рынке. Отправляйте запросы в Google с резидентных IP нужного города, меняйте IP при каждой проверке и ведите полную историю позиций без пробелов и страниц с капчей.
Рекомендуем для SEO и отслеживания позиций
НачатьОплата по мере использования · Принимаем криптовалюту · Запуск за минуты
Проблема
Трудности, с которыми рано или поздно сталкивается любая команда, занятая SEO и отслеживанием позиций.
Google подстраивает выдачу под город пользователя, а локальный блок может меняться в пределах нескольких километров. IP одного офиса показывает лишь одну версию страницы, а не то, что видят ваши клиенты.
Повторяющиеся поисковые запросы с одного адреса быстро приводят к странице о подозрительном трафике и капчам. Тогда трекер возвращает пробелы, а пробелы в ежедневной истории позиций трудно объяснить клиенту.
Ключевые слова × локации × устройства × дни — объёмы быстро накапливаются. Ежедневное отслеживание 2 000 ключевых слов в 10 городах — это 600 000 страниц выдачи в месяц, поэтому охват зависит от стоимости каждой проверки.
Решение
Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.
Добавьте -city-chicago или -state-texas к имени пользователя и отправляйте запросы с IP, зарегистрированных в этом районе. Тогда локальные блоки и результаты на картах отражают именно тот рынок, по которому вы отчитываетесь.
Без параметра сессии каждый запрос уходит с другого резидентного IP. Ни один адрес не накапливает историю запросов, которая вызывает ограничения, поэтому ежедневные прогоны завершаются по графику.
Обойдитесь без разбора HTML. Наш Google SERP API возвращает органические результаты, рекламу, блок People Also Ask и локальные результаты в формате JSON для любой страны или города — от $0,16 за 1 000 запросов.
Мобильная и десктопная выдача часто различаются. Отправляйте мобильный User-Agent через резидентные IP или задайте device=mobile в SERP API и отслеживайте обе версии параллельно.
Рекомендуем
Начните с первого варианта. Большинство команд добавляют второй пул по мере роста числа целевых сайтов.
Начать
Перечислите все ключевые слова со странами, штатами или городами, которые важны для бизнеса. Используйте двухбуквенные коды стран и названия городов строчными буквами с подчёркиваниями, например new_york.
Отправляйте каждый поисковый запрос через gw.proxonym.com:8000 с локацией в имени пользователя или вызывайте SERP API с параметром location, если вам удобнее готовый JSON.
Записывайте для каждой проверки позицию, URL, элементы выдачи и временную метку. Ежедневные снимки позволяют легко строить графики и объяснять изменения позиций, действия конкурентов и сдвиги в локальном блоке.
Лучшие практики SEO и отслеживания позиций
# pip install playwright && playwright install chromium
import secrets
from urllib.parse import quote_plus
from playwright.sync_api import sync_playwright
KEYWORD = "emergency plumber"
DOMAIN = "example.com"
CITIES = ["chicago", "houston", "san_diego"] # lowercase, spaces as underscores
def check(p, city):
browser = p.chromium.launch(proxy={
"server": "http://gw.proxonym.com:8000",
# one sticky session per check: the whole page load uses one local IP
"username": f"USERNAME-country-us-city-{city}-session-{secrets.token_hex(4)}",
"password": "PASSWORD",
})
page = browser.new_page(locale="en-US")
page.goto(f"https://www.google.com/search?q={quote_plus(KEYWORD)}&hl=en&gl=us",
wait_until="domcontentloaded")
if "/sorry/" in page.url: # challenge page: slow down and retry later
browser.close()
return "challenge", None
page.wait_for_selector("#search a:has(h3)", timeout=15000)
links = page.locator("#search a:has(h3)").evaluate_all("els => els.map(e => e.href)")
browser.close()
for position, href in enumerate(links, start=1):
if DOMAIN in href:
return position, href
return "-", None
with sync_playwright() as p:
for city in CITIES:
position, url = check(p, city)
print(f"{city:<10} {position:>9} {url or 'not on page 1'}")Частые вопросы
Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.
Открыть справочный центрGoogle подстраивает выдачу под местоположение пользователя и ограничивает автоматические запросы с одного IP. Резидентные прокси позволяют отправлять запросы из тех городов, по которым вы отчитываетесь, и распределять проверки по множеству адресов, поэтому вы получаете полную картину локальных позиций, а не единственный вид из офиса и стену капч.
Да. Добавьте -city- с названием города строчными буквами и подчёркиваниями вместо пробелов, например USERNAME-country-us-city-los_angeles, или используйте -state- для более широкой территории. Указывайте что-то одно, но не оба параметра сразу. В SERP API вместо этого передайте локацию, например Chicago,Illinois.
Выбирайте SERP API, если вам нужны структурированные данные в больших объёмах: один запрос возвращает одну страницу выдачи в формате JSON с органическими результатами, рекламой, блоком People Also Ask и локальными результатами. Выбирайте резидентные прокси, если у вас свой парсер, нужны скриншоты или вы отслеживаете другие поисковые системы, помимо Google.
В SERP API одна страница выдачи — это один запрос, поэтому проверка топ-20 по ключевому слову в одном городе занимает два запроса. Через прокси вы платите за ГБ, которые расходует каждая загрузка страницы. Блокируйте изображения, шрифты и медиафайлы в браузере, чтобы каждая проверка оставалась лёгкой.
Результаты поиска публичны, а отслеживание позиций — давно устоявшаяся практика SEO. Тем не менее условия Google ограничивают автоматические запросы, поэтому держите объёмы в разумных пределах, не собирайте персональные данные, хранить которые у вас нет причин, и проверьте правила, применимые к вашему бизнесу. Наши правила допустимого использования распространяются на каждый аккаунт.
Платформы
Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.
По теме
Команды часто совмещают эти сценарии с SEO и отслеживанием позиций в одном аккаунте.
Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.
Собирайте локализованный контент, отзывы и тренды на любом рынке.
Проверяйте размещения и выявляйте рекламное мошенничество через настоящие локальные IP.
Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.