电商与价格监控
跨电商平台跟踪竞争对手的价格、库存和评价。
使用场景 · 市场调研
以当地消费者的视角研究每个市场。通过 195+ 个国家和地区的住宅 IP 采集本地化的价格、评价、搜索结果和竞争对手内容,不再局限于您所在位置看到的版本。
面临的挑战
每个市场调研团队迟早都会遇到的问题。
网站会根据访客的 IP 调整语言、货币、商品目录和优惠。在总部做调研,看到的只是本土市场的版本,您所研究市场中消费者的真实体验却被隐藏了。
调研工具往往只能很好地覆盖美国和西欧,其他地区则鲜有涉及。巴西、印度、印度尼西亚或墨西哥需要本地网络连接,而这是办公 VPN 和云服务器无法提供的。
手动查看几个竞争对手的网站,偶尔为之尚可。要每周在十个市场中跟踪数百个品牌、评价和商品信息,就需要能扛住速率限制的自动化方案。
解决方案
所有设置都在用户名中完成,无需额外工具,也无需单独的端点。
在调研最难开展的地区拥有庞大的住宅 IP 池,包括巴西 520万个 IP、印度 320万个、墨西哥 180万个和印度尼西亚 140万个,并支持按国家、州和城市定位。
只需修改一个用户名参数,就能在同一个脚本中从多个国家发出相同的请求。在同一个数据集中横向对比各市场的语言、货币、商品品类和促销活动。
以当地居民的视角采集本地搜索结果、应用商店页面和评价页面,再用与各市场相匹配的数据为情感分析、声量份额和定价模型提供输入。
以稳定的定位设置安排周期性采集,并为每个项目设定子用户预算。由于每次运行都从同一观测点观察市场,每周的环比对比始终保持一致。
推荐
从第一种开始即可。随着目标增多,大多数团队会再增加一个 IP 池。
开始使用
选定要研究的国家、城市和网站,从竞争对手的网店到评价平台和本地搜索。记下哪些数据源按 IP 本地化,哪些按 URL 本地化。
通过 gw.proxonym.com:8000 请求每个数据源,按市场设置 -country-,并发送当地语言的 Accept-Language 请求头,然后保留原始响应。
换算货币、统一商品名称,并为每条记录标注市场和日期。干净、可比的数据,能把本地观察转化为定价、定位和市场扩张方面的决策。
市场调研最佳实践
# pip install requests beautifulsoup4
import csv
import re
import requests
from bs4 import BeautifulSoup
URL = "https://www.example.com/" # the brand or competitor site you study
MARKETS = { # country code -> Accept-Language of a local visitor
"us": "en-US,en;q=0.9",
"de": "de-DE,de;q=0.9",
"fr": "fr-FR,fr;q=0.9",
"jp": "ja-JP,ja;q=0.9",
"br": "pt-BR,pt;q=0.9",
}
PRICE = re.compile(r"(?:US\$|R\$|[$€£¥])\s?\d(?:[\d.,]*\d)?|\d(?:[\d.,]*\d)?\s?(?:€|円)")
with open("markets.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["country", "status", "final_url", "lang", "title", "prices_seen"])
for cc, accept_language in MARKETS.items():
proxy = f"http://USERNAME-country-{cc}:PASSWORD@gw.proxonym.com:8000"
r = requests.get(URL, headers={"Accept-Language": accept_language}, timeout=30,
proxies={"http": proxy, "https": proxy})
soup = BeautifulSoup(r.text, "html.parser")
prices = sorted({m.group(0) for m in PRICE.finditer(soup.get_text(" "))})[:5]
lang = soup.html.get("lang", "") if soup.html else ""
title = soup.title.get_text(strip=True) if soup.title else ""
writer.writerow([cc, r.status_code, r.url, lang, title, " | ".join(prices)])
print(cc, r.status_code, lang, r.url, title, sep=" ")网站会根据访客的连接地点展示不同的语言、价格、商品和促销活动。在每个市场使用住宅代理,您就能看到当地消费者看到的内容,系统地采集这些数据,并对各市场进行横向对比,而不必依赖您所在位置显示的版本。
住宅 IP 覆盖 195+ 个国家和地区。规模最大的 IP 池依次为:美国 830万个 IP、巴西 520万个、印度 320万个、英国 230万个、墨西哥 180万个。通过用户名参数,可将任意请求限定到特定的国家、州、城市或 ASN。
可以,但仅限公开页面。应用商店中的应用页面、排行榜和评价往往因国家而异,因此请将 -country- 设为您研究的每个市场。请遵守各应用商店或评价平台的条款,并舍弃分析中用不到的评价者个人数据。
通常不多,因为调研任务只读取选定的页面,而非整个网站。每周几千个 HTML 页面,一般一个 5 GB 的住宅流量包就够用,售价 $9.95,有效期 30 天。屏蔽图片和媒体文件,能让每 GB 流量用得更久。
为调研目的采集公开信息很常见,在许多司法管辖区也是合法的。请遵守各网站的条款,避开需要登录的区域,不采集不需要的个人数据,并将请求频率保持在合理范围。如果调研涉及受监管的数据或市场,请先咨询法律顾问。
平台
各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。
相关内容
团队常在同一账户中将这些场景与市场调研搭配使用。