НовинкаБезлимитные резидентные прокси: трафик без учёта объёма по фиксированной цене. От $33,25/день

Прокси для Walmart

Прокси для Walmart: цены, наличие и продавцы маркетплейса в США

Отслеживайте цены Walmart, наличие в магазинах и сторонних продавцов через 8,3 млн резидентных IP в США. Выбирайте штаты и города, где вы продаёте, и сохраняйте sticky-сессию, пока выбран магазин или ZIP-код.

Что команды собирают на Walmart

  • Цены и скидки Rollback
  • Наличие онлайн и в магазинах
  • Продавцы и предложения маркетплейса
  • Оценки и тексты отзывов
  • Позиции в поиске и спонсируемые товары
  • Варианты самовывоза и доставки

Проблема

Почему сбор данных с Walmart сложно масштабировать

Что обычно ломается первым, когда сбор данных с Walmart разрастается от нескольких страниц до тысяч.

  1. 01

    Строгая защита от ботов

    Walmart жёстко фильтрует трафик и вместо страницы товара показывает подозрительным посетителям проверку «Robot or human?». IP дата-центров и частые повторные запросы натыкаются на неё почти сразу.

  2. 02

    Цены и наличие зависят от магазина

    Walmart показывает наличие, варианты самовывоза, а иногда и цены для выбранного магазина или ZIP-кода. Данные, собранные без постоянного местоположения, смешивают разные магазины, и на такие цифры невозможно опираться.

  3. 03

    Аудитория только из США

    walmart.com обслуживает покупателей в США, поэтому трафик из других стран выглядит неуместно. Каждому запросу нужен американский IP — в идеале из региона того магазина, который вы анализируете.

Локальные рынки

Сайты Walmart с таргетингом по стране

На каждом сайте Walmart свои цены, продавцы и варианты доставки. Подберите страну IP под сайт с помощью -country-{code}, а затем уточните город.

Все локации прокси

Советы по таргетингу

Получайте те же данные, что видят местные пользователи

  • Всегда используйте -country-us, а затем добавляйте -state- или -city-, чтобы IP соответствовал региону отслеживаемого магазина.
  • Выбирайте магазин или ZIP-код внутри sticky-сессии, а затем считывайте цены и наличие с теми же файлами cookie этой сессии.
  • Распределяйте проверки по нескольким городам штата, чтобы увидеть, где наличие различается по регионам.
  • На безлимитных тарифах выбирайте шлюз, ближайший к вашим серверам, — use.unl.proxonym.com или usw.unl.proxonym.com, чтобы сократить задержку.
Получение цены и наличия со страницы товара Walmart
# pip install requests beautifulsoup4
import json
import time

import requests
from bs4 import BeautifulSoup

ITEM_URL = "https://www.walmart.com/ip/123456789"  # replace with a product you track
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/129.0 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.9",
}
# Rotating US residential IPs in Texas: every attempt gets a new address
proxy = "http://USERNAME-country-us-state-texas:PASSWORD@gw.proxonym.com:8000"


def dig(obj, *keys):
    for key in keys:
        obj = obj.get(key) if isinstance(obj, dict) else None
    return obj


for attempt in range(3):
    try:
        r = requests.get(ITEM_URL, headers=HEADERS, timeout=30,
                         proxies={"http": proxy, "https": proxy})
    except requests.RequestException:
        continue
    tag = BeautifulSoup(r.text, "html.parser").find("script", id="__NEXT_DATA__")
    if tag and tag.string:
        product = dig(json.loads(tag.string), "props", "pageProps", "initialData", "data", "product") or {}
        print(product.get("name"),
              dig(product, "priceInfo", "currentPrice", "priceString"),
              product.get("availabilityStatus"))
        break
    time.sleep(3)  # "Robot or human?" page: pause, then retry on a new IP
else:
    print("Not collected after 3 attempts")

Документация по геотаргетингуСценарий: электронная коммерция и цены

Частые вопросы

Вопросы о прокси для Walmart

Остались сомнения? В справочном центре есть ответы на вопросы об оплате, настройке и аккаунте.

Открыть справочный центр
Почему Walmart сложно парсить?

Walmart использует строгую защиту от ботов: она оценивает репутацию IP, характер запросов и сигналы браузера, а затем показывает подозрительным посетителям проверку «Robot or human?». Американские резидентные IP с реалистичными заголовками и умеренной частотой запросов проходят её гораздо чаще, чем трафик из дата-центров, а повторная попытка с нового IP часто удаётся там, где первая не прошла.

Можно ли увидеть цены и наличие в конкретном магазине?

Да. Наличие и варианты самовывоза зависят от магазина или ZIP-кода, выбранного в сессии. Откройте sticky-сессию с IP в том же штате или городе, выберите магазин на сайте, а затем собирайте данные по отслеживаемым товарам с теми же файлами cookie.

Нужны ли для Walmart американские прокси?

Да. walmart.com рассчитан на покупателей из США, и трафик из других стран выглядит необычно. Proxonym предлагает 8,3 млн резидентных IP в США с таргетингом по штату и городу, а также статические американские ISP-прокси в Нью-Йорке, Лос-Анджелесе и Вирджинии и в пулах Comcast и Verizon.

Какие поля можно получить со страницы товара?

Страницы товаров Walmart содержат встроенный структурированный JSON с названием товара, текущей ценой, наличием и данными о продавце, и он стабильнее видимой вёрстки. Сначала разбирайте этот JSON, переходите к HTML-селекторам, только если какого-то поля не хватает, и записывайте в лог любые изменения структуры.

Законно ли собирать данные Walmart?

Цены и сведения о товарах, которые видит любой посетитель, общедоступны, а их мониторинг — обычная практика в розничной торговле. Условия использования Walmart ограничивают автоматизированный доступ, поэтому собирайте только публичные страницы, поддерживайте умеренную частоту запросов, никогда не заходите в аккаунты покупателей и согласуйте проект с юристом. Действуют наши правила допустимого использования.

Один шлюз. Миллионы цифровых личностей

Выберите тариф, оплатите криптовалютой и отправьте первый запрос через Proxonym за считаные минуты.

  • Оплата по мере использования
  • Мгновенная активация
  • Принимаем криптовалюту
  • Без автопродления