面向 AI 智能体的代理:为 LLM 应用提供可靠的网页访问
一旦被网站封锁,AI 智能体就会失灵。从搜索增强到浏览型智能体,本文说明每类任务适合哪种工具,并附上 Playwright 代码,以及让智能体始终受网站欢迎的使用规则。
作者:Proxonym 团队
AI 智能体有多大用处,取决于它能读到哪些网页。研究助手、浏览型智能体和检索管道都会向开放网络发送请求,而其中许多请求换来的却是封禁、验证码,或是本地化到错误国家的页面。问题不在模型,而在网络路径。
本指南介绍为智能体提供可靠网页访问的三大基础组件、各自的适用场景、如何让浏览型智能体通过代理访问网络,以及让自动化流量始终受欢迎的规则。
AI 智能体为什么会被封禁
大多数智能体运行在云端,因此它们的请求都从属于托管服务商的 IP 段发出。反爬虫系统会把这些 IP 段判定为服务器而非真人,并优先对其发起人机验证。以下三种做法会让情况雪上加霜:
- 突发请求。一个智能体从同一 IP 同时打开二十个标签页,看起来完全不像正常访客。
- 没有会话。搜索、点击、填写表单这类多步骤任务,如果每个请求都从不同的地址发出,或者从一个被成千上万个其他智能体共用的地址发出,就会中断。
- 位置不对。一个关于德国价格的问题,如果在位于弗吉尼亚的服务器上检索作答,得到的会是美国的价格、货币和搜索结果。
浏览器指纹则是第四个信号。使用默认设置的无头浏览器,会通过其 User-Agent、缺失的字体以及与 IP 不匹配的时区暴露自己。代理解决的是网络层的问题;浏览器本身必须与之保持一致。
每个问题都有直接的解决办法,该用哪一种,取决于智能体在做什么。
智能体网页访问的三大基础组件
| 基础组件 | 适用场景 | 智能体的使用方式 | 计费方式 |
|---|---|---|---|
| SERP API | 基于最新搜索结果生成回答 | 一次 HTTPS 调用即可返回 JSON 格式的 Google 搜索结果 | 按每 1,000 次请求计费,低至 $0.16 |
| 动态住宅代理 | 以本地访客身份读取网页 | 将 HTTP 客户端或浏览器指向网关 | 按 GB 计费,低至 $0.74/GB |
| 粘性会话或静态 ISP IP | 多步骤任务和需要登录的流程 | 每个任务使用一个会话 ID 或一个专属地址 | 按 GB 计费,或按 IP 计费(低至 $1.15/IP) |
对于构建训练数据集这类大规模爬取,按带宽计费的不限流量住宅套餐(低至 $33.25/天)完全不按 GB 计量。大多数智能体会组合使用这三者:用搜索查找信息来源,用轮换 IP 读取页面,当一个任务跨越多个页面时再使用粘性会话。
用搜索结果为回答提供依据
检索增强生成(RAG)从一次搜索开始。直接抓取搜索引擎,意味着要自己处理 IP 轮换、重试,以及应对随时可能变化的 HTML 结构的解析工作。SERP API 把这些工作全部从智能体中剥离出来:工具调用只需发送一个附带国家、语言(以及可选城市)的查询,就能以带类型的结构化 JSON 拿回自然搜索结果、广告、“相关问题”(People Also Ask)和本地结果。
这种结构非常适合智能体:模型拿到的是干净的标题、摘要和可供引用的链接;本地化参数让回答与用户所在的市场相匹配;而且无论结果页面长什么样,每次调用的费用都相同。
两个习惯能让搜索增强既快又省钱。第一,为重复的问题缓存结果,因为同一个查询在一小时内很少需要重新搜索。第二,每次查询都传入用户所在的国家和语言:关于本地价格、法规或供应情况的回答,只有在搜索于用户所在地执行时才准确。一个研究助手每个问题执行三次搜索、每月回答一万个问题,大约需要三万次请求,最小的月度套餐就能满足。如果您更想自己搭建搜索环节,可以参阅如何抓取 Google 搜索结果,了解其中的利弊权衡。
浏览型智能体:IP 轮换与会话
需要打开真实页面、读取内容并执行操作的智能体,需要一个通过代理联网的浏览器。住宅 IP 让流量看起来像来自普通家庭的访客,而用户名参数则决定每个身份位于何处、存续多久。使用 Playwright 时,在启动浏览器时传入代理即可:
from playwright.sync_api import sync_playwright
task_id = "agent-42"
with sync_playwright() as p:
browser = p.chromium.launch(proxy={
"server": "http://gw.proxonym.com:8000",
"username": f"USERNAME-country-de-session-{task_id}-lifetime-30",
"password": "PASSWORD",
})
page = browser.new_page(locale="de-DE", timezone_id="Europe/Berlin")
page.goto("https://example.com/search?q=wireless+earbuds")
print(page.title())
browser.close()有三个细节需要注意。第一,为每个任务分配独立的会话 ID,让多步骤流程始终使用同一个 IP,而相互独立的任务则轮换 IP。第二,让浏览器的语言区域和时区与代理所在国家一致。第三,会话只需保持到任务结束:住宅会话最长可将同一 IP 保持 120 分钟,轮换会话与粘性会话一文介绍了如何选择时长。Playwright 配置指南则介绍了按上下文认证和重试的方法。
估算浏览型智能体的流量
住宅流量按 GB 计费,因此每个页面的大小决定了预算。在浏览器中加载一个包含图片、字体和脚本的完整页面,通常有 1 到 3 MB;而仅 HTML 部分一般只有 100 到 300 KB。只需要文本的智能体,可以省掉其中大部分流量:
- 屏蔽重量级资源。在浏览器中中止对图片、媒体和字体的请求,页面仍会正常渲染文本和链接。
- 能用纯 HTTP 就用纯 HTTP。不需要 JavaScript 的页面,可以用 HTTP 客户端代替浏览器来获取,流量只有后者的一小部分。
- 购买前先估算。一万个页面、每个 2 MB,总计约 20 GB;同样的页面去掉图片和字体后,往往不到 5 GB。
当流量规模大且稳定时,不按 GB 计量的带宽套餐比按 GB 计费的流量包更便于做预算。
让智能体始终受欢迎的规则
代理改变的只是请求从哪里发出,而不会改变哪些请求是可以接受的。像一位懂礼貌的访客那样行事的智能体,被封禁的次数更少,造成的负面影响也更小:
- 遵守 robots.txt 和公开的访问限制。许多网站会说明自动化客户端可以读取哪些路径,以及允许的访问频率。
- 控制请求节奏。将任务分散到不同时段和不同 IP 上,不要集中突发;收到
429或503响应时主动退避。 - 缓存读取过的内容。智能体两次问同一个问题时,不应该把同一个页面抓取两次。
- 只采集公开数据。不要自动化访问不属于您的账号,也不要收集您无权处理的个人数据。
所有 Proxonym 套餐都受可接受使用政策约束:该政策会拦截高风险目标,并对敏感用途进行核验。
要点总结
- 智能体被封禁,原因在于流量的来源、突发方式以及对会话的处理方式。
- 用 SERP API 实现搜索增强,用动态住宅代理读取网页,用粘性会话或静态 ISP IP 处理多步骤任务。
- 为每个任务分配独立的会话 ID,并让语言区域和时区与代理所在国家一致。
- 根据页面大小估算流量;如果智能体只需要文本,就屏蔽图片和字体。
- 控制请求节奏、缓存结果、只采集公开数据:守规矩的智能体才能一直受欢迎。
