如何抓取 Google 搜索结果:自建代理与 SERP API 对比
为什么 Google 难以抓取,何时该基于住宅代理自建爬虫、何时该调用 SERP API,以及本地化、分页、设备类型和法律方面的注意事项。
作者:Proxonym 团队
抓取 Google(谷歌)搜索结果有两种方式:一是通过动态住宅代理运行自建爬虫,自行解析 HTML;二是调用 SERP API,直接获取结构化 JSON 格式的结果。自建方案让您拥有完全的控制权,但也意味着要自己处理 JavaScript 渲染、封禁以及不断变化的页面结构。SERP API 则把每个结果页变成一次固定价格的请求。无论选择哪种方式,搜索结果都会因位置、语言和设备而异,因此这些参数与抓取本身同样重要。
为什么 Google 难以抓取
- 严格的速率限制。自动化的访问模式会被重定向到带验证码的
/sorry/页面,或直接收到429响应;同一个 IP 只要快速连续查询几次,就可能出现这种情况。 - 必须启用 JavaScript。自 2025 年 1 月起,Google 要求启用 JavaScript 才能显示搜索结果,因此普通 HTTP 客户端经常只能拿到一个提示启用 JavaScript 的页面。如今,大多数自建爬虫都需要借助无头浏览器。
- 页面结构不稳定。类名是自动生成的,而且经常变化,基于 CSS 选择器编写的解析器会毫无征兆地失效。
- 结果高度本地化。同一个查询词在不同的国家、城市、语言和设备下会返回不同的排名。忽略位置的爬虫采集到的,是任何真实搜索用户都看不到的数据。
- 每页只有十条结果。2025 年 9 月起,Google 不再支持
num=100参数,因此要获取一个关键词的前 100 名,现在需要十次请求,而不是一次。
自建爬虫与 SERP API 对比
基于住宅代理自建爬虫
自建方案由四部分组成:无头浏览器或 HTTP 客户端、定位到搜索者所在地的动态住宅 IP、结果页解析器,以及检测封禁页和 Cookie 同意页的逻辑。之所以要用住宅 IP,是因为 Google 会对托管服务商的 IP 段保持警惕。城市定位(例如在网关用户名中加入 -country-us-city-chicago)能让 IP 与您要测量的位置保持一致。每个关键词使用一个新 IP;对同一个查询词翻页时,则使用短时粘性会话,让第 1 至 3 页都来自同一位访客。
成本主要是流量费加上工程时间。渲染后的结果页体积很大。假设屏蔽图片后每页消耗 500 KB 流量:1,000 个页面约为 0.5 GB,视流量包大小(每 GB $0.74 至 $1.99),折合 $0.37 至 $1.00 的住宅代理流量。这还没算上重试、浏览器算力和解析器维护的开销。
SERP API
我们的 Google SERP API(谷歌搜索结果 API)以查询词、位置、语言和设备作为参数,返回解析好的 JSON。您只需发送查询,就能拿回结构化结果;抓取和解析都在我们这边完成。一次请求对应一个结果页:最低档每月 $28.70,含 100,000 次请求(约合每 1,000 次 $0.29),1000万次请求的套餐则低至每 1,000 次 $0.16。所有套餐均列在价格页面上。
| 对比项 | 基于住宅代理自建 | SERP API |
|---|---|---|
| 输出 | 需自行解析的原始 HTML | 解析好的 JSON |
| 每 1,000 页的成本 | 流量费,外加算力、重试和维护成本 | $0.16 至 $0.29 |
| 维护 | 页面结构一变就要更新解析器 | 解析由我们负责维护 |
| 灵活性 | 页面上可见的任何内容、截图、自定义流程 | API 返回的字段 |
| 适用场景 | 不常见的 SERP 特性、整页截图、现有的抓取技术栈 | 排名跟踪、关键词研究、竞争对手监测 |
示例:调用 SERP API
curl -G "https://serp.proxonym.com/v1/search" \
-H "X-API-Key: YOUR_API_KEY" \
--data-urlencode "q=espresso machine repair" \
--data-urlencode "location=Chicago,Illinois" \
-d gl=us -d hl=en -d device=desktop -d page=1使用 Python 发送同样的请求:
import requests
resp = requests.get(
"https://serp.proxonym.com/v1/search",
headers={"X-API-Key": "YOUR_API_KEY"},
params={"q": "espresso machine repair", "gl": "us", "hl": "en",
"location": "Chicago,Illinois", "device": "desktop", "page": 1},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
for item in data["organic_results"]:
print(item["position"], item["title"], item["link"])
print(len(data.get("ads", [])), "ads,", len(data.get("local_results", [])), "local results")响应包含以下字段:
| 字段 | 内容 |
|---|---|
search_parameters | 本次搜索所使用的参数 |
organic_results[] | 每条自然搜索结果的 position、title、link 和 snippet |
ads[] | 页面上的付费结果 |
people_also_ask[] | “相关问题”(People also ask)板块中的问题 |
related_searches[] | 相关搜索 |
local_results[] | 带有本地意图的查询所返回的本地商家列表(Local Pack)结果 |
本地化:gl、hl 和 location
gl是搜索所针对的国家,使用两位字母代码,例如us或de。它决定了您看到的是哪个国家的排名。hl是界面语言,例如en或de。它会改变界面上的文字,也可能影响哪种语言版本的页面获得排名。location把搜索范围缩小到某个城市或地区,例如Chicago,Illinois。本地商家列表和许多商业类查询的结果,在不同城市之间可能完全不同。
在自建爬虫中,Google 会根据 IP 推断位置,而 uule URL 参数可以编码更精确的位置。无论使用哪种方式,都要让各项信号保持一致:例如芝加哥的 IP 搭配 gl=us 和 hl=en。信号相互矛盾(例如德国 IP 搭配 gl=us)会产生混杂的结果,与任何真实搜索用户看到的都对不上。
分页、设备与请求频率
分页。每一页就是一次请求:在 API 中是 page=1、page=2 等,在 Google URL 中则是 start=0、start=10。请先想清楚您真正需要跟踪到多深。以排名跟踪为例,每天跟踪 1,000 个关键词的前 30 名,每月需要 3 页 × 1,000 个关键词 × 30 天 = 90,000 次请求,100,000 次请求的套餐即可满足。
设备。移动端和桌面端的结果在版面和功能模块上都有差异,有时排名也不同。在 API 中设置 device=mobile 或 device=desktop;在自建爬虫中,则使用与之匹配的 User-Agent 和视口尺寸。如果您的大部分受众在手机上搜索,请两种都跟踪。
自建爬虫的请求频率。按关键词轮换 IP,加入随机抖动,让查询在时间上均匀分布,并避开定时任务扎堆启动的整点时段,以免形成突发流量。检测 /sorry/ 重定向、429 响应和 Cookie 同意插页;一旦它们的占比上升,就应把它当作放慢速度的信号,而不是更猛烈地重试。一个简单的检查就能覆盖常见情况:
def is_blocked(final_url, status, html):
return (
status == 429
or "/sorry/" in final_url
or "unusual traffic" in html.lower()
)按小时和出口国家统计每一个被拦截的响应,占比上升时就降低请求频率。不要把查询交给验证码识别服务处理,而应降低频率。通用技巧请参阅网页抓取防封禁。
缓存。排名是按天变化的,而不是按分钟。把每个关键词的结果连同日期一起保存,当天剩余时间直接复用;刷新一次仪表板,绝不应该触发一次新的查询。
法律注意事项
在 SEO 和市场调研中,采集公开可见的搜索结果是常见做法,但这并非没有规则。Google 的服务条款限制自动化访问,其 robots.txt 也禁止抓取搜索页面。这是否会带来法律责任,取决于您所在的司法管辖区以及您使用数据的方式。只采集您需要的数据,避免存储结果中出现的个人数据,不要整体转载受版权保护的摘要内容,商业项目请寻求法律意见。无论您选择哪种方式,我们的可接受使用政策都适用于每一个请求。
要点总结
- 自建 Google 抓取需要住宅 IP、无头浏览器、解析器和封禁处理机制,因此要为持续维护预留预算。
- SERP API 每个结果页计一次请求,直接返回解析好的 JSON,每 1,000 次请求低至 $0.16。
- 让
gl、hl、位置和 IP 保持一致,否则您测到的将是任何真实搜索用户都看不到的结果。 - Google 每页大约显示十条自然搜索结果,因此请规划好抓取深度:每个关键词的前 100 名需要十次请求。
- 控制请求频率,遇到验证码时退避而不是设法破解,并遵守您使用场景的法律界限。
