面临的挑战
为什么亚马逊数据难以大规模采集
当亚马逊采集任务从几个页面扩展到数千个页面时,最先出问题的通常是这些。
- 01
看似成功的验证码页面
亚马逊会用验证页面回应可疑流量,而这类页面往往仍返回状态码 200。从不检查页面内容的爬虫会存下一堆空记录,直到数据看板上的数字明显不对劲才察觉。
- 02
同一份商品目录,多个站点
amazon.com、amazon.de 和 amazon.co.jp 上的价格、报价和可售状态各不相同。如果从不匹配的国家访问某个站点,页面可能会显示海外的配送地址、不同的报价,甚至直接跳转到其他页面。
- 03
配送地址会改变页面内容
黄金购物车归属、送达日期和部分价格取决于会话中设置的邮政编码。如果会话不能保持一致,对同一商品的两次检查可能得出不同的结果。
推荐
适用于亚马逊的代理
从第一种开始即可。当用量或目标发生变化时,再增加第二个 IP 池。
本地市场
可按国家定位的亚马逊站点
每个亚马逊站点都有各自的价格、卖家和配送选项。使用 -country-{code} 让 IP 所在国家与站点匹配,再进一步细化到城市。
定位技巧
获取与本地用户所见一致的数据
- 让 IP 与站点对应:amazon.com 用 -country-us,amazon.co.uk 用 -country-gb(注意是 gb,不是 uk),amazon.de 用 -country-de。
- 在粘性会话中,通过位置选择组件设置配送邮政编码,然后在同一会话中采集价格。
- 按站点所用语言发送 Accept-Language,例如在 amazon.de 上使用 de-DE,让页面以当地语言呈现。
- 抓取商品目录时按请求轮换 IP,粘性会话则留给设置配送位置、报价列表翻页和购物车检查。
# pip install requests beautifulsoup4
import time
import requests
from bs4 import BeautifulSoup
ASIN = "B0EXAMPLE1" # replace with the ASIN you track
MARKETPLACES = { # country code -> (domain, Accept-Language)
"us": ("www.amazon.com", "en-US,en;q=0.9"),
"gb": ("www.amazon.co.uk", "en-GB,en;q=0.9"),
"de": ("www.amazon.de", "de-DE,de;q=0.9"),
}
UA = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/129.0 Safari/537.36")
def product(cc, domain, lang, attempts=3):
proxy = f"http://USERNAME-country-{cc}:PASSWORD@gw.proxonym.com:8000"
for _ in range(attempts):
try:
r = requests.get(f"https://{domain}/dp/{ASIN}", timeout=30,
headers={"User-Agent": UA, "Accept-Language": lang},
proxies={"http": proxy, "https": proxy})
except requests.RequestException:
continue # proxy or network error: next attempt gets a new IP
soup = BeautifulSoup(r.text, "html.parser")
title = soup.select_one("#productTitle")
if title: # a real product page, not a challenge page
price = soup.select_one(".a-price .a-offscreen")
return title.get_text(strip=True), price.get_text(strip=True) if price else None
time.sleep(2) # challenge or error page: pause, then retry on a new IP
return None, None
for cc, (domain, lang) in MARKETPLACES.items():
title, price = product(cc, domain, lang)
print(f"{domain:<18} {price or '-':>12} {title or 'not collected'}")哪些代理适用于亚马逊?
采集商品页面、搜索结果和评论时,住宅代理是最可靠的选择,因为数据中心流量一旦上量,亚马逊很快就会弹出验证。请选择与各站点对应的国家。如需在自己的账号上操作卖家后台(Seller Central)或品牌备案,静态 ISP 代理能让您的登录位置始终保持一致。
如何采集特定邮政编码下的价格?
亚马逊会将与配送相关的数据绑定到会话中设置的位置,而不仅仅是 IP。请在对应的国家开启粘性会话,通过配送位置选择组件设置邮政编码,然后使用同一会话和 Cookie 获取商品数据。
如何识别亚马逊的验证码页面?
请检查页面内容,而不只看状态码。真正的商品页面包含商品标题元素,验证页面则没有,却往往仍返回 200。如果缺少标题,请丢弃该响应,稍等片刻后换新 IP 重试。
抓取亚马逊会消耗多少流量?
亚马逊的页面比大多数网站都大,用浏览器加载全部图片和脚本时尤其如此。建议只获取 HTML,跳过媒体文件,并避免下载未发生变化的页面。如需跨多个站点抓取完整商品目录,不限流量住宅代理完全不按 GB 计量,而是按带宽计费。
可以抓取亚马逊数据吗?
商品价格、评分和商品信息都是公开可见的,监控这些数据也是电商行业的常见做法。但亚马逊的使用条件仍对自动化采集有所限制,因此请保持适度的请求频率,只采集公开数据,不要进入顾客账户,并针对您的具体用途寻求法律意见。我们的可接受使用政策同样适用。
