Маркетинговые исследования
Собирайте локализованный контент, отзывы и тренды на любом рынке.
Сценарий · Электронная коммерция и цены
Отслеживайте цены, наличие и акции конкурентов в точности так, как их видят покупатели на каждом рынке. На защищённых маркетплейсах собирайте данные с локальных резидентных IP, а на остальных сайтах — с быстрых IP дата-центров.
Рекомендуем для мониторинга цен в электронной коммерции
НачатьОплата по мере использования · Принимаем криптовалюту · Запуск за минуты
Проблема
Трудности, с которыми рано или поздно сталкивается любая команда, отслеживающая цены в электронной коммерции.
Ритейлеры локализуют цены, валюты, налоги, доставку и акции. Собирая данные из одной локации, вы сравниваете себя с цифрами, которых покупатели на вашем рынке никогда не видят.
Крупные магазины ограничивают частоту запросов и собирают цифровые отпечатки посетителей, а подозрительному трафику отдают капчи или страницы-приманки. Заблокированный запрос — это пропущенная цена, а неверная цена ещё хуже.
В конкурентных категориях цены меняются несколько раз в день. Чтобы проверять тысячи SKU каждые несколько часов, нужны большое число параллельных подключений и предсказуемая стоимость проверки, а не пул, который тормозит в часы пик.
Решение
Все настройки задаются в имени пользователя — без дополнительных инструментов и отдельных эндпоинтов.
Задайте страну через -country-de или сузьте выбор до города. Каждый запрос возвращает локализованную цену, валюту и обещанный срок доставки, которые на самом деле получают покупатели на этом рынке.
Распределяйте проверки каталога по 55 млн+ резидентных IP. Каждый запрос может уходить с нового адреса, поэтому лимиты на один IP не накапливаются на одном подключении даже при большом прогоне.
Некоторые цены появляются только после выбора места доставки или при открытии корзины. Удерживайте один IP до 120 минут, чтобы cookie и IP оставались согласованными на протяжении всей проверки.
Простые сайты обрабатывайте через общие IP дата-центров, а защищённые — через резидентные прокси от $0,74/ГБ. Субпользователи с собственными лимитами трафика удерживают каждого клиента или категорию в рамках бюджета.
Рекомендуем
Начните с первого варианта. Большинство команд добавляют второй пул по мере роста числа целевых сайтов.
Начать
Составьте список URL товаров или SKU с рынками, на которых вы конкурируете. Сгруппируйте их по ритейлерам: каждому сайту может понадобиться свой пул прокси и своя частота запросов.
Запрашивайте каждую страницу, указав в имени пользователя страну и при необходимости город. Берите цену из структурированных данных, если страница их предоставляет: они переживают большинство редизайнов.
Сохраняйте каждое наблюдение с временной меткой, сравнивайте его с предыдущим прогоном и отправляйте оповещения о снижении цен, исчезновении товара из наличия или появлении новых продавцов. Храните исходный ответ для спорных случаев.
Лучшие практики мониторинга цен в электронной коммерции
# pip install requests beautifulsoup4
import csv
import json
from datetime import datetime, timezone
import requests
from bs4 import BeautifulSoup
# Replace with the product pages you track, mapped to the shopper's country
WATCHLIST = {
"https://shop.example.com/de/p/espresso-machine-x1": "de",
"https://shop.example.com/us/p/espresso-machine-x1": "us",
}
HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0 Safari/537.36"}
def product_offer(html):
"""Return (name, price, currency) from the page's JSON-LD Product data."""
soup = BeautifulSoup(html, "html.parser")
for tag in soup.find_all("script", type="application/ld+json"):
try:
data = json.loads(tag.string or "")
except json.JSONDecodeError:
continue
items = data.get("@graph", [data]) if isinstance(data, dict) else data
for item in items:
if isinstance(item, dict) and "Product" in str(item.get("@type")):
offer = item.get("offers") or {}
if isinstance(offer, list):
offer = offer[0] if offer else {}
price = offer.get("price") or offer.get("lowPrice")
return item.get("name"), price, offer.get("priceCurrency")
return None, None, None
with open("prices.csv", "a", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
for url, country in WATCHLIST.items():
proxy = f"http://USERNAME-country-{country}:PASSWORD@gw.proxonym.com:8000"
r = requests.get(url, headers=HEADERS, timeout=30,
proxies={"http": proxy, "https": proxy})
name, price, currency = product_offer(r.text)
writer.writerow([datetime.now(timezone.utc).isoformat(), country,
url, r.status_code, name, price, currency])
print(country, r.status_code, price, currency, name)Частые вопросы
Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.
Открыть справочный центрРезидентные прокси — надёжный выбор по умолчанию для крупных маркетплейсов и ритейлеров с защитой от ботов. Общие прокси дата-центров дешевле в расчёте на запрос и хорошо работают на небольших магазинах и сайтах брендов. Многие команды направляют каждый домен в самый дешёвый пул, который ещё отдаёт чистые данные, и переходят на резидентные прокси только там, где без этого не обойтись.
Да, если цена зависит от местоположения. Добавьте -city- или -state- к имени пользователя, чтобы выходить в сеть из этого района. Некоторые ритейлеры также назначают цены по почтовому индексу доставки, сохранённому в cookie: задайте эту локацию на сайте внутри sticky-сессии, чтобы cookie и IP оставались связанными на протяжении всей проверки.
Так часто, как позволяют ваш тариф и целевой сайт. Мы не ограничиваем число параллельных подключений, а лимит всплесков составляет около 10 000 запросов в секунду на аккаунт. На практике задавайте частоту для каждой категории — ежечасно для быстро меняющихся товаров и ежедневно для длинного хвоста — и придерживайтесь вежливой частоты запросов.
Загружайте только нужные данные: товарные API или JSON-LD вместо полного рендеринга, без изображений и шрифтов, со сжатыми ответами. Используйте IP дата-центров там, где они работают, а резидентные — только там, где они действительно нужны. Субпользователи с лимитами трафика удерживают каждого клиента, категорию или окружение в рамках фиксированного бюджета в ГБ.
Цены на публичных страницах товаров обычно считаются общедоступной информацией, а мониторинг цен — распространённая практика в ритейле. Соблюдайте условия использования каждого сайта, не заходите в закрытые разделы, к которым у вас нет законного доступа, не перегружайте серверы и проконсультируйтесь с юристом, если работаете на регулируемом рынке. Наши правила допустимого использования распространяются на весь трафик.
Платформы
Руководства по платформам: советы по таргетингу, готовый к запуску код и типы прокси, которые лучше всего работают на каждом сайте.
По теме
Команды часто совмещают эти сценарии с мониторингом цен в электронной коммерции в одном аккаунте.
Собирайте локализованный контент, отзывы и тренды на любом рынке.
Находите подделки и фишинг, скрытые за геоблокировками.
Собирайте публичные данные в любых объёмах без банов, капч и ограничений частоты запросов.
Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.