面临的挑战
为什么沃尔玛数据难以大规模采集
当沃尔玛采集任务从几个页面扩展到数千个页面时,最先出问题的通常是这些。
- 01
严格的反爬虫防护
沃尔玛会严格筛查流量,对可疑访客展示“Robot or human?”(机器人还是真人?)验证页面,而不是商品页面。数据中心 IP 和高频重复请求几乎立刻就会碰上它。
- 02
价格和库存因门店而异
沃尔玛会根据所选的门店或邮政编码显示库存情况、自提选项,有时还包括价格。如果采集时位置不一致,数据就会混杂多家门店,得出的数字根本无法指导决策。
- 03
只面向美国用户
walmart.com 服务于美国的购物者,因此来自其他国家的流量会显得格格不入。每个请求都需要使用美国 IP,最好位于您所研究门店所在的地区。
推荐
适用于沃尔玛的代理
从第一种开始即可。当用量或目标发生变化时,再增加第二个 IP 池。
本地市场
可按国家定位的沃尔玛站点
每个沃尔玛站点都有各自的价格、卖家和配送选项。使用 -country-{code} 让 IP 所在国家与站点匹配,再进一步细化到城市。
定位技巧
获取与本地用户所见一致的数据
- 始终使用 -country-us,再添加 -state- 或 -city-,与您跟踪的门店所在地区相匹配。
- 在粘性会话中选定门店或邮政编码,然后使用同一会话的 Cookie 读取价格和库存。
- 将检查分散到同一州的多个城市,找出各地库存的差异所在。
- 使用不限流量套餐时,请选择离您的服务器最近的网关(use.unl.proxonym.com 或 usw.unl.proxonym.com),以降低延迟。
# pip install requests beautifulsoup4
import json
import time
import requests
from bs4 import BeautifulSoup
ITEM_URL = "https://www.walmart.com/ip/123456789" # replace with a product you track
HEADERS = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/129.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
# Rotating US residential IPs in Texas: every attempt gets a new address
proxy = "http://USERNAME-country-us-state-texas:PASSWORD@gw.proxonym.com:8000"
def dig(obj, *keys):
for key in keys:
obj = obj.get(key) if isinstance(obj, dict) else None
return obj
for attempt in range(3):
try:
r = requests.get(ITEM_URL, headers=HEADERS, timeout=30,
proxies={"http": proxy, "https": proxy})
except requests.RequestException:
continue
tag = BeautifulSoup(r.text, "html.parser").find("script", id="__NEXT_DATA__")
if tag and tag.string:
product = dig(json.loads(tag.string), "props", "pageProps", "initialData", "data", "product") or {}
print(product.get("name"),
dig(product, "priceInfo", "currentPrice", "priceString"),
product.get("availabilityStatus"))
break
time.sleep(3) # "Robot or human?" page: pause, then retry on a new IP
else:
print("Not collected after 3 attempts")为什么沃尔玛难以抓取?
沃尔玛部署了严格的反爬虫防护,会对 IP 信誉、请求模式和浏览器信号进行评分,然后向可疑访客展示“Robot or human?”验证页面。搭配逼真请求头、请求频率适中的美国住宅 IP,通过率远高于数据中心流量;即使第一次尝试失败,换新 IP 重试往往也能成功。
可以查看特定门店的价格和库存吗?
可以。库存情况和自提选项取决于会话中选定的门店或邮政编码。使用位于同一州或城市的 IP 开启粘性会话,在网站上选定门店,然后用同一组 Cookie 采集您跟踪的商品。
抓取沃尔玛需要美国代理吗?
需要。walmart.com 面向美国市场,来自其他国家的流量会显得异常。Proxonym 提供 830万个美国住宅 IP,支持按州和城市定位,此外还提供位于纽约、洛杉矶和弗吉尼亚以及 Comcast 和 Verizon IP 池中的美国静态 ISP 代理。
可以从商品页面读取哪些字段?
沃尔玛商品页面内嵌了结构化 JSON,包含商品名称、当前价格、库存情况和卖家信息,比页面上可见的布局更稳定。请优先解析这段 JSON,只在缺少某个字段时才退而使用 HTML 选择器,并记录结构上的任何变化。
采集沃尔玛数据合法吗?
向所有访客展示的价格和商品详情属于公开信息,监控这些数据也是零售业的常见做法。沃尔玛的使用条款对自动化访问有所限制,因此请只采集公开页面,保持适度的请求频率,切勿访问顾客账户,并请法律顾问审核您的项目。我们的可接受使用政策同样适用。
