---
title: "如何大规模抓取 Google 搜索结果 | Proxonym"
description: "如何抓取 Google 搜索结果：自建住宅代理方案与 SERP API 对比，使用 gl、hl 和 location 实现本地化，以及分页、设备类型和速率限制。"
url: https://proxonym.com/zh/blog/scrape-google-search-results
updated: 2026-10-02T03:03:46+00:00
---

指南 · 2026年10月1日 · 阅读约 5 分钟

# 如何抓取 Google 搜索结果：自建代理与 SERP API 对比

为什么 Google 难以抓取，何时该基于住宅代理自建爬虫、何时该调用 SERP API，以及本地化、分页、设备类型和法律方面的注意事项。

作者：Proxonym 团队

抓取 Google（谷歌）搜索结果有两种方式：一是通过动态住宅代理运行自建爬虫，自行解析 HTML；二是调用 SERP API，直接获取结构化 JSON 格式的结果。自建方案让您拥有完全的控制权，但也意味着要自己处理 JavaScript 渲染、封禁以及不断变化的页面结构。SERP API 则把每个结果页变成一次固定价格的请求。无论选择哪种方式，搜索结果都会因位置、语言和设备而异，因此这些参数与抓取本身同样重要。

## 为什么 Google 难以抓取

- **严格的速率限制。**自动化的访问模式会被重定向到带验证码的 `/sorry/` 页面，或直接收到 `429` 响应；同一个 IP 只要快速连续查询几次，就可能出现这种情况。
- **必须启用 JavaScript。**自 2025 年 1 月起，Google 要求启用 JavaScript 才能显示搜索结果，因此普通 HTTP 客户端经常只能拿到一个提示启用 JavaScript 的页面。如今，大多数自建爬虫都需要借助无头浏览器。
- **页面结构不稳定。**类名是自动生成的，而且经常变化，基于 CSS 选择器编写的解析器会毫无征兆地失效。
- **结果高度本地化。**同一个查询词在不同的国家、城市、语言和设备下会返回不同的排名。忽略位置的爬虫采集到的，是任何真实搜索用户都看不到的数据。
- **每页只有十条结果。**2025 年 9 月起，Google 不再支持 `num=100` 参数，因此要获取一个关键词的前 100 名，现在需要十次请求，而不是一次。

## 自建爬虫与 SERP API 对比

### 基于住宅代理自建爬虫

自建方案由四部分组成：无头浏览器或 HTTP 客户端、定位到搜索者所在地的动态住宅 IP、结果页解析器，以及检测封禁页和 Cookie 同意页的逻辑。之所以要用住宅 IP，是因为 Google 会对托管服务商的 IP 段保持警惕。城市定位（例如在网关用户名中加入 `-country-us-city-chicago`）能让 IP 与您要测量的位置保持一致。每个关键词使用一个新 IP；对同一个查询词翻页时，则使用短时粘性会话，让第 1 至 3 页都来自同一位访客。

成本主要是流量费加上工程时间。渲染后的结果页体积很大。假设屏蔽图片后每页消耗 500 KB 流量：1,000 个页面约为 0.5 GB，视流量包大小（每 GB $0.74 至 $1.99），折合 $0.37 至 $1.00 的[住宅代理流量](https://proxonym.com/zh/residential-proxies)。这还没算上重试、浏览器算力和解析器维护的开销。

### SERP API

我们的 [Google SERP API](https://proxonym.com/zh/serp-api)（谷歌搜索结果 API）以查询词、位置、语言和设备作为参数，返回解析好的 JSON。您只需发送查询，就能拿回结构化结果；抓取和解析都在我们这边完成。一次请求对应一个结果页：最低档每月 $28.70，含 100,000 次请求（约合每 1,000 次 $0.29），1000万次请求的套餐则低至每 1,000 次 $0.16。所有套餐均列在[价格页面](https://proxonym.com/zh/pricing)上。

| 对比项 | 基于住宅代理自建 | SERP API |
| --- | --- | --- |
| 输出 | 需自行解析的原始 HTML | 解析好的 JSON |
| 每 1,000 页的成本 | 流量费，外加算力、重试和维护成本 | $0.16 至 $0.29 |
| 维护 | 页面结构一变就要更新解析器 | 解析由我们负责维护 |
| 灵活性 | 页面上可见的任何内容、截图、自定义流程 | API 返回的字段 |
| 适用场景 | 不常见的 SERP 特性、整页截图、现有的抓取技术栈 | 排名跟踪、关键词研究、竞争对手监测 |

## 示例：调用 SERP API

**Shell**

```bash
curl -G "https://serp.proxonym.com/v1/search" \
  -H "X-API-Key: YOUR_API_KEY" \
  --data-urlencode "q=espresso machine repair" \
  --data-urlencode "location=Chicago,Illinois" \
  -d gl=us -d hl=en -d device=desktop -d page=1
```

使用 Python 发送同样的请求：

**Python**

```python
import requests

resp = requests.get(
    "https://serp.proxonym.com/v1/search",
    headers={"X-API-Key": "YOUR_API_KEY"},
    params={"q": "espresso machine repair", "gl": "us", "hl": "en",
            "location": "Chicago,Illinois", "device": "desktop", "page": 1},
    timeout=60,
)
resp.raise_for_status()
data = resp.json()

for item in data["organic_results"]:
    print(item["position"], item["title"], item["link"])
print(len(data.get("ads", [])), "ads,", len(data.get("local_results", [])), "local results")
```

响应包含以下字段：

| 字段 | 内容 |
| --- | --- |
| `search_parameters` | 本次搜索所使用的参数 |
| `organic_results[]` | 每条自然搜索结果的 `position`、`title`、`link` 和 `snippet` |
| `ads[]` | 页面上的付费结果 |
| `people_also_ask[]` | “相关问题”（People also ask）板块中的问题 |
| `related_searches[]` | 相关搜索 |
| `local_results[]` | 带有本地意图的查询所返回的本地商家列表（Local Pack）结果 |

## 本地化：gl、hl 和 location

- **`gl`** 是搜索所针对的国家，使用两位字母代码，例如 `us` 或 `de`。它决定了您看到的是哪个国家的排名。
- **`hl`** 是界面语言，例如 `en` 或 `de`。它会改变界面上的文字，也可能影响哪种语言版本的页面获得排名。
- **`location`** 把搜索范围缩小到某个城市或地区，例如 `Chicago,Illinois`。本地商家列表和许多商业类查询的结果，在不同城市之间可能完全不同。

在自建爬虫中，Google 会根据 IP 推断位置，而 `uule` URL 参数可以编码更精确的位置。无论使用哪种方式，都要让各项信号保持一致：例如芝加哥的 IP 搭配 `gl=us` 和 `hl=en`。信号相互矛盾（例如德国 IP 搭配 `gl=us`）会产生混杂的结果，与任何真实搜索用户看到的都对不上。

## 分页、设备与请求频率

**分页。**每一页就是一次请求：在 API 中是 `page=1`、`page=2` 等，在 Google URL 中则是 `start=0`、`start=10`。请先想清楚您真正需要跟踪到多深。以[排名跟踪](https://proxonym.com/zh/use-cases/serp-tracking)为例，每天跟踪 1,000 个关键词的前 30 名，每月需要 3 页 × 1,000 个关键词 × 30 天 = 90,000 次请求，100,000 次请求的套餐即可满足。

**设备。**移动端和桌面端的结果在版面和功能模块上都有差异，有时排名也不同。在 API 中设置 `device=mobile` 或 `device=desktop`；在自建爬虫中，则使用与之匹配的 User-Agent 和视口尺寸。如果您的大部分受众在手机上搜索，请两种都跟踪。

**自建爬虫的请求频率。**按关键词轮换 IP，加入随机抖动，让查询在时间上均匀分布，并避开定时任务扎堆启动的整点时段，以免形成突发流量。检测 `/sorry/` 重定向、`429` 响应和 Cookie 同意插页；一旦它们的占比上升，就应把它当作放慢速度的信号，而不是更猛烈地重试。一个简单的检查就能覆盖常见情况：

**Python**

```python
def is_blocked(final_url, status, html):
    return (
        status == 429
        or "/sorry/" in final_url
        or "unusual traffic" in html.lower()
    )
```

按小时和出口国家统计每一个被拦截的响应，占比上升时就降低请求频率。不要把查询交给验证码识别服务处理，而应降低频率。通用技巧请参阅[网页抓取防封禁](https://proxonym.com/zh/blog/web-scraping-without-getting-blocked)。

**缓存。**排名是按天变化的，而不是按分钟。把每个关键词的结果连同日期一起保存，当天剩余时间直接复用；刷新一次仪表板，绝不应该触发一次新的查询。

## 法律注意事项

在 SEO 和市场调研中，采集公开可见的搜索结果是常见做法，但这并非没有规则。Google 的服务条款限制自动化访问，其 robots.txt 也禁止抓取搜索页面。这是否会带来法律责任，取决于您所在的司法管辖区以及您使用数据的方式。只采集您需要的数据，避免存储结果中出现的个人数据，不要整体转载受版权保护的摘要内容，商业项目请寻求法律意见。无论您选择哪种方式，我们的[可接受使用政策](https://proxonym.com/zh/acceptable-use)都适用于每一个请求。

## 要点总结

- 自建 Google 抓取需要住宅 IP、无头浏览器、解析器和封禁处理机制，因此要为持续维护预留预算。
- SERP API 每个结果页计一次请求，直接返回解析好的 JSON，每 1,000 次请求低至 $0.16。
- 让 `gl`、`hl`、位置和 IP 保持一致，否则您测到的将是任何真实搜索用户都看不到的结果。
- Google 每页大约显示十条自然搜索结果，因此请规划好抓取深度：每个关键词的前 100 名需要十次请求。
- 控制请求频率，遇到验证码时退避而不是设法破解，并遵守您使用场景的法律界限。

学以致用

- [住宅代理](https://proxonym.com/zh/residential-proxies): 最适合抓取防护严密的网站。 低至 **$0.74**/GB
- [不限流量住宅代理](https://proxonym.com/zh/unlimited-residential-proxies): 最适合大规模爬取和 AI 训练数据采集。 低至 **$33.25**/天

分步配置指南

- [Python Requests 代理配置](https://proxonym.com/zh/integrations/python-requests)
- [Node.js 代理配置](https://proxonym.com/zh/integrations/nodejs)

在您的目标网站上实测

自助购买套餐，支持加密货币付款，几分钟内即可开通。套餐绝不自动续费。

## 继续阅读

[全部文章](https://proxonym.com/zh/blog)

- [面向 AI 智能体的代理：为 LLM 应用提供可靠的网页访问](https://proxonym.com/zh/blog/proxies-for-ai-agents): 一旦被网站封锁，AI 智能体就会失灵。从搜索增强到浏览型智能体，本文说明每类任务适合哪种工具，并附上 Playwright 代码，以及让智能体始终受网站欢迎的使用规则。 (指南, 阅读约 5 分钟)
- [如何选择住宅代理服务商：10 项检查要点](https://proxonym.com/zh/blog/choose-residential-proxy-provider): 标价往往掩盖了大部分真实成本。本文给出区分住宅代理服务商的十项检查、一份危险信号对照表，以及在您自己的目标网站上进行测试的简单方法。 (指南, 阅读约 5 分钟)
- [网页抓取防封禁：12 个实用技巧](https://proxonym.com/zh/blog/web-scraping-without-getting-blocked): 让爬虫持续稳定运行的十二个技巧：遵守规则、控制请求节奏、合理轮换 IP、保持行为一致、出错时退避、做好缓存并监控成功率。 (指南, 阅读约 5 分钟)
