网页抓取
大规模采集公开数据,不再受封禁、验证码或速率限制困扰。
使用场景 · SEO 与搜索排名跟踪
以各市场搜索用户的视角查看搜索结果。通过城市级住宅 IP 查询 Google,每次检查都轮换 IP,留存完整的排名历史,没有空缺,也不会遇到验证码页面。
面临的挑战
每个 SEO 与搜索排名跟踪团队迟早都会遇到的问题。
Google 会根据搜索者所在的城市定制结果,本地商家列表(Local Pack)在几英里范围内就可能发生变化。一个办公室 IP 只能看到页面的一个版本,而不是您的客户看到的内容。
从同一地址反复搜索,很快就会触发“异常流量”页面和验证码。您的跟踪工具随之出现数据空缺,而每日排名记录中的空缺很难向客户解释。
关键词数 × 地区数 × 设备数 × 天数,乘起来就是一个庞大的数字。每天在 10 个城市跟踪 2,000 个关键词,每月就是 60万个结果页,因此单次检查的成本决定了您的覆盖范围。
解决方案
所有设置都在用户名中完成,无需额外工具,也无需单独的端点。
在用户名中添加 -city-chicago 或 -state-texas,即可从注册在该地区的 IP 发起查询。这样,本地商家列表和地图结果就能反映您实际汇报的市场。
不带会话参数时,每次查询都从不同的住宅 IP 发出。没有任何一个地址会累积足以触发限流的查询记录,因此每日任务都能按时完成。
完全省去 HTML 解析。我们的 Google SERP API(谷歌搜索结果 API)可针对任意国家或城市,以 JSON 格式返回自然搜索结果、广告、“相关问题”(People Also Ask)和本地结果,每 1,000 次请求低至 $0.16。
移动端和桌面端的搜索结果往往不同。通过住宅 IP 发送移动端 User-Agent,或在 SERP API 中设置 device=mobile,即可并排跟踪两种版面。
推荐
从第一种开始即可。随着目标增多,大多数团队会再增加一个 IP 池。
开始使用
列出每个关键词,以及对业务重要的国家、州或城市。国家使用两位字母代码,城市名使用小写字母并以下划线代替空格,例如 new_york。
通过 gw.proxonym.com:8000 发送每次搜索,并在用户名中指定地区;如果您更想要解析好的 JSON,也可以调用 SERP API 并传入 location 参数。
每次检查都记录排名、URL、SERP 特性和时间戳。有了每日快照,排名变化、竞争对手动向和本地商家列表的变动都能轻松绘制成图表并加以解释。
SEO 与搜索排名跟踪最佳实践
# pip install playwright && playwright install chromium
import secrets
from urllib.parse import quote_plus
from playwright.sync_api import sync_playwright
KEYWORD = "emergency plumber"
DOMAIN = "example.com"
CITIES = ["chicago", "houston", "san_diego"] # lowercase, spaces as underscores
def check(p, city):
browser = p.chromium.launch(proxy={
"server": "http://gw.proxonym.com:8000",
# one sticky session per check: the whole page load uses one local IP
"username": f"USERNAME-country-us-city-{city}-session-{secrets.token_hex(4)}",
"password": "PASSWORD",
})
page = browser.new_page(locale="en-US")
page.goto(f"https://www.google.com/search?q={quote_plus(KEYWORD)}&hl=en&gl=us",
wait_until="domcontentloaded")
if "/sorry/" in page.url: # challenge page: slow down and retry later
browser.close()
return "challenge", None
page.wait_for_selector("#search a:has(h3)", timeout=15000)
links = page.locator("#search a:has(h3)").evaluate_all("els => els.map(e => e.href)")
browser.close()
for position, href in enumerate(links, start=1):
if DOMAIN in href:
return position, href
return "-", None
with sync_playwright() as p:
for city in CITIES:
position, url = check(p, city)
print(f"{city:<10} {position:>9} {url or 'not on page 1'}")Google 会根据搜索者的位置定制结果,并限制来自单个 IP 的自动化查询。住宅代理让您可以从需要汇报的城市发起查询,并将检查分散到大量地址上,从而采集到完整的本地排名,而不是只有办公室视角的结果和满屏的验证码。
可以。添加 -city- 并填写小写城市名,空格用下划线代替,例如 USERNAME-country-us-city-los_angeles;如需覆盖更大范围,可使用 -state-。两者只能选其一,不能同时使用。如果使用 SERP API,则改为传入 Chicago,Illinois 这样的 location 值。
如果您需要大批量的结构化数据,请使用 SERP API:一个请求以 JSON 格式返回一个结果页,包含自然搜索结果、广告、“相关问题”(People Also Ask)和本地结果。如果您运行自己的解析器、需要截图,或要跟踪 Google 以外的搜索引擎,请使用住宅代理。
使用 SERP API 时,一个结果页算一次请求,因此在一个城市查看某个关键词的前 20 名需要两次请求。使用代理时,您按每次页面加载消耗的 GB 付费。在浏览器中屏蔽图片、字体和媒体文件,让每次检查都保持轻量。
搜索结果是公开的,排名跟踪也是由来已久的 SEO 做法。但 Google 的条款仍对自动化查询有所限制,因此请将查询量控制在合理范围,避免采集您没有理由持有的个人数据,并确认适用于您业务的相关规定。我们的可接受使用政策适用于每个账户。
平台
各平台专属指南,涵盖定位技巧、可直接运行的代码,以及在各网站上效果最好的代理类型。