新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

如何抓取 Google 搜索结果:自建代理与 SERP API 对比

为什么 Google 难以抓取,何时该基于住宅代理自建爬虫、何时该调用 SERP API,以及本地化、分页、设备类型和法律方面的注意事项。

作者:Proxonym 团队

抓取 Google(谷歌)搜索结果有两种方式:一是通过动态住宅代理运行自建爬虫,自行解析 HTML;二是调用 SERP API,直接获取结构化 JSON 格式的结果。自建方案让您拥有完全的控制权,但也意味着要自己处理 JavaScript 渲染、封禁以及不断变化的页面结构。SERP API 则把每个结果页变成一次固定价格的请求。无论选择哪种方式,搜索结果都会因位置、语言和设备而异,因此这些参数与抓取本身同样重要。

为什么 Google 难以抓取

  • 严格的速率限制。自动化的访问模式会被重定向到带验证码的 /sorry/ 页面,或直接收到 429 响应;同一个 IP 只要快速连续查询几次,就可能出现这种情况。
  • 必须启用 JavaScript。自 2025 年 1 月起,Google 要求启用 JavaScript 才能显示搜索结果,因此普通 HTTP 客户端经常只能拿到一个提示启用 JavaScript 的页面。如今,大多数自建爬虫都需要借助无头浏览器。
  • 页面结构不稳定。类名是自动生成的,而且经常变化,基于 CSS 选择器编写的解析器会毫无征兆地失效。
  • 结果高度本地化。同一个查询词在不同的国家、城市、语言和设备下会返回不同的排名。忽略位置的爬虫采集到的,是任何真实搜索用户都看不到的数据。
  • 每页只有十条结果。2025 年 9 月起,Google 不再支持 num=100 参数,因此要获取一个关键词的前 100 名,现在需要十次请求,而不是一次。

自建爬虫与 SERP API 对比

基于住宅代理自建爬虫

自建方案由四部分组成:无头浏览器或 HTTP 客户端、定位到搜索者所在地的动态住宅 IP、结果页解析器,以及检测封禁页和 Cookie 同意页的逻辑。之所以要用住宅 IP,是因为 Google 会对托管服务商的 IP 段保持警惕。城市定位(例如在网关用户名中加入 -country-us-city-chicago)能让 IP 与您要测量的位置保持一致。每个关键词使用一个新 IP;对同一个查询词翻页时,则使用短时粘性会话,让第 1 至 3 页都来自同一位访客。

成本主要是流量费加上工程时间。渲染后的结果页体积很大。假设屏蔽图片后每页消耗 500 KB 流量:1,000 个页面约为 0.5 GB,视流量包大小(每 GB $0.74 至 $1.99),折合 $0.37 至 $1.00 的住宅代理流量。这还没算上重试、浏览器算力和解析器维护的开销。

SERP API

我们的 Google SERP API(谷歌搜索结果 API)以查询词、位置、语言和设备作为参数,返回解析好的 JSON。您只需发送查询,就能拿回结构化结果;抓取和解析都在我们这边完成。一次请求对应一个结果页:最低档每月 $28.70,含 100,000 次请求(约合每 1,000 次 $0.29),1000万次请求的套餐则低至每 1,000 次 $0.16。所有套餐均列在价格页面上。

对比项基于住宅代理自建SERP API
输出需自行解析的原始 HTML解析好的 JSON
每 1,000 页的成本流量费,外加算力、重试和维护成本$0.16 至 $0.29
维护页面结构一变就要更新解析器解析由我们负责维护
灵活性页面上可见的任何内容、截图、自定义流程API 返回的字段
适用场景不常见的 SERP 特性、整页截图、现有的抓取技术栈排名跟踪、关键词研究、竞争对手监测

示例:调用 SERP API

Shell
curl -G "https://serp.proxonym.com/v1/search" \
  -H "X-API-Key: YOUR_API_KEY" \
  --data-urlencode "q=espresso machine repair" \
  --data-urlencode "location=Chicago,Illinois" \
  -d gl=us -d hl=en -d device=desktop -d page=1

使用 Python 发送同样的请求:

Python
import requests

resp = requests.get(
    "https://serp.proxonym.com/v1/search",
    headers={"X-API-Key": "YOUR_API_KEY"},
    params={"q": "espresso machine repair", "gl": "us", "hl": "en",
            "location": "Chicago,Illinois", "device": "desktop", "page": 1},
    timeout=60,
)
resp.raise_for_status()
data = resp.json()

for item in data["organic_results"]:
    print(item["position"], item["title"], item["link"])
print(len(data.get("ads", [])), "ads,", len(data.get("local_results", [])), "local results")

响应包含以下字段:

字段内容
search_parameters本次搜索所使用的参数
organic_results[]每条自然搜索结果的 position、title、link 和 snippet
ads[]页面上的付费结果
people_also_ask[]“相关问题”(People also ask)板块中的问题
related_searches[]相关搜索
local_results[]带有本地意图的查询所返回的本地商家列表(Local Pack)结果

本地化:gl、hl 和 location

  • gl 是搜索所针对的国家,使用两位字母代码,例如 us 或 de。它决定了您看到的是哪个国家的排名。
  • hl 是界面语言,例如 en 或 de。它会改变界面上的文字,也可能影响哪种语言版本的页面获得排名。
  • location 把搜索范围缩小到某个城市或地区,例如 Chicago,Illinois。本地商家列表和许多商业类查询的结果,在不同城市之间可能完全不同。

在自建爬虫中,Google 会根据 IP 推断位置,而 uule URL 参数可以编码更精确的位置。无论使用哪种方式,都要让各项信号保持一致:例如芝加哥的 IP 搭配 gl=us 和 hl=en。信号相互矛盾(例如德国 IP 搭配 gl=us)会产生混杂的结果,与任何真实搜索用户看到的都对不上。

分页、设备与请求频率

分页。每一页就是一次请求:在 API 中是 page=1、page=2 等,在 Google URL 中则是 start=0、start=10。请先想清楚您真正需要跟踪到多深。以排名跟踪为例,每天跟踪 1,000 个关键词的前 30 名,每月需要 3 页 × 1,000 个关键词 × 30 天 = 90,000 次请求,100,000 次请求的套餐即可满足。

设备。移动端和桌面端的结果在版面和功能模块上都有差异,有时排名也不同。在 API 中设置 device=mobile 或 device=desktop;在自建爬虫中,则使用与之匹配的 User-Agent 和视口尺寸。如果您的大部分受众在手机上搜索,请两种都跟踪。

自建爬虫的请求频率。按关键词轮换 IP,加入随机抖动,让查询在时间上均匀分布,并避开定时任务扎堆启动的整点时段,以免形成突发流量。检测 /sorry/ 重定向、429 响应和 Cookie 同意插页;一旦它们的占比上升,就应把它当作放慢速度的信号,而不是更猛烈地重试。一个简单的检查就能覆盖常见情况:

Python
def is_blocked(final_url, status, html):
    return (
        status == 429
        or "/sorry/" in final_url
        or "unusual traffic" in html.lower()
    )

按小时和出口国家统计每一个被拦截的响应,占比上升时就降低请求频率。不要把查询交给验证码识别服务处理,而应降低频率。通用技巧请参阅网页抓取防封禁。

缓存。排名是按天变化的,而不是按分钟。把每个关键词的结果连同日期一起保存,当天剩余时间直接复用;刷新一次仪表板,绝不应该触发一次新的查询。

在 SEO 和市场调研中,采集公开可见的搜索结果是常见做法,但这并非没有规则。Google 的服务条款限制自动化访问,其 robots.txt 也禁止抓取搜索页面。这是否会带来法律责任,取决于您所在的司法管辖区以及您使用数据的方式。只采集您需要的数据,避免存储结果中出现的个人数据,不要整体转载受版权保护的摘要内容,商业项目请寻求法律意见。无论您选择哪种方式,我们的可接受使用政策都适用于每一个请求。

要点总结

  • 自建 Google 抓取需要住宅 IP、无头浏览器、解析器和封禁处理机制,因此要为持续维护预留预算。
  • SERP API 每个结果页计一次请求,直接返回解析好的 JSON,每 1,000 次请求低至 $0.16。
  • 让 gl、hl、位置和 IP 保持一致,否则您测到的将是任何真实搜索用户都看不到的结果。
  • Google 每页大约显示十条自然搜索结果,因此请规划好抓取深度:每个关键词的前 100 名需要十次请求。
  • 控制请求频率,遇到验证码时退避而不是设法破解,并遵守您使用场景的法律界限。

一个网关,数百万个身份

选择套餐,用加密货币付款,几分钟内即可通过 Proxonym 发送第一个请求。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费