新品不限流量住宅代理:固定价格,流量不计量。 低至 $33.25/天

面向 AI 智能体的代理:为 LLM 应用提供可靠的网页访问

一旦被网站封锁,AI 智能体就会失灵。从搜索增强到浏览型智能体,本文说明每类任务适合哪种工具,并附上 Playwright 代码,以及让智能体始终受网站欢迎的使用规则。

作者:Proxonym 团队

AI 智能体有多大用处,取决于它能读到哪些网页。研究助手、浏览型智能体和检索管道都会向开放网络发送请求,而其中许多请求换来的却是封禁、验证码,或是本地化到错误国家的页面。问题不在模型,而在网络路径。

本指南介绍为智能体提供可靠网页访问的三大基础组件、各自的适用场景、如何让浏览型智能体通过代理访问网络,以及让自动化流量始终受欢迎的规则。

AI 智能体为什么会被封禁

大多数智能体运行在云端,因此它们的请求都从属于托管服务商的 IP 段发出。反爬虫系统会把这些 IP 段判定为服务器而非真人,并优先对其发起人机验证。以下三种做法会让情况雪上加霜:

  • 突发请求。一个智能体从同一 IP 同时打开二十个标签页,看起来完全不像正常访客。
  • 没有会话。搜索、点击、填写表单这类多步骤任务,如果每个请求都从不同的地址发出,或者从一个被成千上万个其他智能体共用的地址发出,就会中断。
  • 位置不对。一个关于德国价格的问题,如果在位于弗吉尼亚的服务器上检索作答,得到的会是美国的价格、货币和搜索结果。

浏览器指纹则是第四个信号。使用默认设置的无头浏览器,会通过其 User-Agent、缺失的字体以及与 IP 不匹配的时区暴露自己。代理解决的是网络层的问题;浏览器本身必须与之保持一致。

每个问题都有直接的解决办法,该用哪一种,取决于智能体在做什么。

智能体网页访问的三大基础组件

基础组件适用场景智能体的使用方式计费方式
SERP API基于最新搜索结果生成回答一次 HTTPS 调用即可返回 JSON 格式的 Google 搜索结果按每 1,000 次请求计费,低至 $0.16
动态住宅代理以本地访客身份读取网页将 HTTP 客户端或浏览器指向网关按 GB 计费,低至 $0.74/GB
粘性会话或静态 ISP IP多步骤任务和需要登录的流程每个任务使用一个会话 ID 或一个专属地址按 GB 计费,或按 IP 计费(低至 $1.15/IP)

对于构建训练数据集这类大规模爬取,按带宽计费的不限流量住宅套餐(低至 $33.25/天)完全不按 GB 计量。大多数智能体会组合使用这三者:用搜索查找信息来源,用轮换 IP 读取页面,当一个任务跨越多个页面时再使用粘性会话。

检索增强生成(RAG)从一次搜索开始。直接抓取搜索引擎,意味着要自己处理 IP 轮换、重试,以及应对随时可能变化的 HTML 结构的解析工作。SERP API 把这些工作全部从智能体中剥离出来:工具调用只需发送一个附带国家、语言(以及可选城市)的查询,就能以带类型的结构化 JSON 拿回自然搜索结果、广告、“相关问题”(People Also Ask)和本地结果。

这种结构非常适合智能体:模型拿到的是干净的标题、摘要和可供引用的链接;本地化参数让回答与用户所在的市场相匹配;而且无论结果页面长什么样,每次调用的费用都相同。

两个习惯能让搜索增强既快又省钱。第一,为重复的问题缓存结果,因为同一个查询在一小时内很少需要重新搜索。第二,每次查询都传入用户所在的国家和语言:关于本地价格、法规或供应情况的回答,只有在搜索于用户所在地执行时才准确。一个研究助手每个问题执行三次搜索、每月回答一万个问题,大约需要三万次请求,最小的月度套餐就能满足。如果您更想自己搭建搜索环节,可以参阅如何抓取 Google 搜索结果,了解其中的利弊权衡。

浏览型智能体:IP 轮换与会话

需要打开真实页面、读取内容并执行操作的智能体,需要一个通过代理联网的浏览器。住宅 IP 让流量看起来像来自普通家庭的访客,而用户名参数则决定每个身份位于何处、存续多久。使用 Playwright 时,在启动浏览器时传入代理即可:

Python
from playwright.sync_api import sync_playwright

task_id = "agent-42"
with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gw.proxonym.com:8000",
        "username": f"USERNAME-country-de-session-{task_id}-lifetime-30",
        "password": "PASSWORD",
    })
    page = browser.new_page(locale="de-DE", timezone_id="Europe/Berlin")
    page.goto("https://example.com/search?q=wireless+earbuds")
    print(page.title())
    browser.close()

有三个细节需要注意。第一,为每个任务分配独立的会话 ID,让多步骤流程始终使用同一个 IP,而相互独立的任务则轮换 IP。第二,让浏览器的语言区域和时区与代理所在国家一致。第三,会话只需保持到任务结束:住宅会话最长可将同一 IP 保持 120 分钟,轮换会话与粘性会话一文介绍了如何选择时长。Playwright 配置指南则介绍了按上下文认证和重试的方法。

估算浏览型智能体的流量

住宅流量按 GB 计费,因此每个页面的大小决定了预算。在浏览器中加载一个包含图片、字体和脚本的完整页面,通常有 1 到 3 MB;而仅 HTML 部分一般只有 100 到 300 KB。只需要文本的智能体,可以省掉其中大部分流量:

  • 屏蔽重量级资源。在浏览器中中止对图片、媒体和字体的请求,页面仍会正常渲染文本和链接。
  • 能用纯 HTTP 就用纯 HTTP。不需要 JavaScript 的页面,可以用 HTTP 客户端代替浏览器来获取,流量只有后者的一小部分。
  • 购买前先估算。一万个页面、每个 2 MB,总计约 20 GB;同样的页面去掉图片和字体后,往往不到 5 GB。

当流量规模大且稳定时,不按 GB 计量的带宽套餐比按 GB 计费的流量包更便于做预算。

让智能体始终受欢迎的规则

代理改变的只是请求从哪里发出,而不会改变哪些请求是可以接受的。像一位懂礼貌的访客那样行事的智能体,被封禁的次数更少,造成的负面影响也更小:

  • 遵守 robots.txt 和公开的访问限制。许多网站会说明自动化客户端可以读取哪些路径,以及允许的访问频率。
  • 控制请求节奏。将任务分散到不同时段和不同 IP 上,不要集中突发;收到 429 或 503 响应时主动退避。
  • 缓存读取过的内容。智能体两次问同一个问题时,不应该把同一个页面抓取两次。
  • 只采集公开数据。不要自动化访问不属于您的账号,也不要收集您无权处理的个人数据。

所有 Proxonym 套餐都受可接受使用政策约束:该政策会拦截高风险目标,并对敏感用途进行核验。

要点总结

  • 智能体被封禁,原因在于流量的来源、突发方式以及对会话的处理方式。
  • 用 SERP API 实现搜索增强,用动态住宅代理读取网页,用粘性会话或静态 ISP IP 处理多步骤任务。
  • 为每个任务分配独立的会话 ID,并让语言区域和时区与代理所在国家一致。
  • 根据页面大小估算流量;如果智能体只需要文本,就屏蔽图片和字体。
  • 控制请求节奏、缓存结果、只采集公开数据:守规矩的智能体才能一直受欢迎。

一个网关,数百万个身份

选择套餐,用加密货币付款,几分钟内即可通过 Proxonym 发送第一个请求。

  • 按量付费
  • 即时开通
  • 支持加密货币
  • 不自动续费