面临的挑战
为什么 Google 数据难以大规模采集
当 Google 采集任务从几个页面扩展到数千个页面时,最先出问题的通常是这些。
- 01
“异常流量”检测
Google 会按 IP 限制自动化查询的频率,并返回“异常流量”页面和验证码。只用一个服务器地址运行的排名跟踪工具几分钟内就会失效,而每一次漏检都会在您的数据中留下缺口。
- 02
超本地化的搜索结果
本地商家列表、地图商家信息乃至自然排名,都会随城市不同而变化。如果没有各地的 IP,您汇报的只是没有任何真实搜索用户会看到的平均值。
- 03
频繁变化的页面布局
Google 一直在新增、挪动和改版搜索结果页上的各类功能模块,而且如今许多结果都依赖 JavaScript。基于固定选择器构建的解析器会悄无声息地失效,并污染您的历史数据。
本地市场
按国家划分的 Google 域名
使用 -country-{code} 从各域名对应的国家发起搜索,获取与本地用户所见一致的搜索结果、广告和地图商家列表。
定位技巧
获取与本地用户所见一致的数据
- 让 gl 和 hl 与 IP 所在国家保持一致,例如 -country-de 搭配 gl=de 和 hl=de,避免 Google 混用不同的地区和语言设置。
- 检查本地商家列表和地图结果时使用 -city-;跟踪自然排名通常只需指定国家或州。
- 使用欧盟和英国 IP 时会遇到 Cookie 同意页面,请在解析结果之前,先在浏览器流程中处理该页面。
- 翻页时为每个关键词保持一个粘性会话,让第二页与第一页来自同一个 IP。
# pip install requests
import requests
SEED = "running shoes"
MARKETS = [("us", "en"), ("gb", "en"), ("de", "de"), ("fr", "fr"), ("jp", "ja")]
for cc, lang in MARKETS:
# A new residential IP in the target country for every request
proxy = f"http://USERNAME-country-{cc}:PASSWORD@gw.proxonym.com:8000"
r = requests.get(
"https://www.google.com/complete/search",
params={"client": "chrome", "q": SEED, "hl": lang, "gl": cc},
proxies={"http": proxy, "https": proxy},
timeout=20,
)
r.raise_for_status()
suggestions = r.json()[1] # [query, [suggestions], ...]
print(f"{cc}/{lang}: " + ", ".join(suggestions[:8]))为什么 Google 会封禁我的爬虫?
Google 会限制单个 IP 可发送的自动化查询数量,并根据自动化迹象为流量打分。数据中心 IP 段以及来自同一地址的重复查询,很快就会触发“异常流量”页面。使用按查询轮换的住宅 IP、逼真的请求头和克制的请求节奏,能让您的请求成功率大幅提升。
可以获取特定城市的 Google 搜索结果吗?
可以。在用户名中添加 -city-,例如 USERNAME-country-us-city-chicago,让每次查询都从该城市的 IP 发出。如果使用我们的 Google SERP API,则改为传入 location=Chicago,Illinois,即可以 JSON 格式获取自然搜索结果、广告和本地结果,无需维护任何解析器。
该用代理还是 Google SERP API?
如果您想要解析好的 JSON,又不想维护解析器,请选择 SERP API:一个请求返回一个结果页,每 1,000 次请求低至 $0.16。如果您需要完全的控制权、需要截图、要访问 Google 旗下的其他服务,或想使用自己的渲染流程,请选择住宅代理。
数据中心代理能用于 Google 吗?
偶尔查询时可以,但 Google 标记数据中心 IP 段的速度远快于住宅流量,因此查询量越大,失败率越高。对于每日排名跟踪或本地结果,住宅 IP 或移动 IP 才是可靠的选择。数据中心 IP 不妨留给您的其他抓取目标。
抓取 Google 搜索结果合法吗?
搜索结果是公开可见的,SEO 工具采集排名数据也已有多年历史。但 Google 的服务条款仍对自动化访问有所限制,因此请评估您具体用途的风险,将查询量控制在合理范围,避免采集个人数据,并遵守我们的可接受使用政策。如有疑问,请咨询法律顾问。
