面临的挑战
为什么 YouTube 数据难以大规模采集
当 YouTube 采集任务从几个页面扩展到数千个页面时,最先出问题的通常是这些。
- 01
视频能否观看,因国家而异
版权授权和上传者的设置可能导致某个视频在一些国家被屏蔽,而在另一些国家可以正常观看。版权方和发行方需要逐个市场确认视频能否观看,而不能只在总部检查。
- 02
广告因观众而异
YouTube 会根据位置、语言和设备选择广告。广告主在办公室检查品牌安全或竞争对手的广告活动时,只能看到一组广告,而错过在其他地区投放的内容。
- 03
页面臃肿,频率受限
视频观看页面体积大、脚本多,来自同一 IP 的重复请求很快就会遇到验证码或限流。大规模采集元数据,需要轮换 IP 并发送精简、有针对性的请求。
推荐
适用于 YouTube 的代理
从第一种开始即可。当用量或目标发生变化时,再增加第二个 IP 池。
本地市场
从以下任一国家查看 YouTube
视频可观看情况、前贴片广告和推荐内容都因国家而异。以下是规模最大的住宅 IP 池,总共可选 195+ 个国家和地区。
定位技巧
获取与本地用户所见一致的数据
- 在 YouTube URL 中添加 gl 和 hl 参数,例如 gl=DE 和 hl=de,让内容地区和语言与 IP 所在国家一致。
- 使用欧盟和英国 IP 时会遇到 Cookie 同意页面,请在读取页面内容之前先处理它。
- 在美国、英国或奥地利使用 -type-mobile,查看移动端的广告形式和投放情况。
- 从广告展示一路追踪到落地页时,请保持粘性会话,让每个请求都使用同一个 IP。
# pip install requests
import json
import re
import requests
VIDEO_ID = "aqz-KE-bpKQ" # replace with your own video ID
COUNTRIES = ["us", "ca", "br", "in", "jp"] # EU and UK IPs may see a consent page first
PLAYER = re.compile(r"ytInitialPlayerResponse\s*=\s*(\{.+?\})\s*;\s*(?:var\s|</script>)", re.S)
HEADERS = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/129.0 Safari/537.36",
"Accept-Language": "en-US,en;q=0.9",
}
for cc in COUNTRIES:
proxy = f"http://USERNAME-country-{cc}:PASSWORD@gw.proxonym.com:8000"
try:
r = requests.get("https://www.youtube.com/watch", params={"v": VIDEO_ID},
headers=HEADERS, proxies={"http": proxy, "https": proxy}, timeout=30)
player = json.loads(PLAYER.search(r.text).group(1))
except (requests.RequestException, AttributeError, json.JSONDecodeError) as exc:
print(cc, "could not read player data:", type(exc).__name__)
continue
status = player.get("playabilityStatus", {})
print(cc, status.get("status"), status.get("reason", ""))如何检查某个视频是否在某个国家被屏蔽?
通过该国家的 IP 加载视频观看页面,读取内嵌播放器数据中的可播放状态(playability status)。状态为 OK 表示该视频可在当地播放。如果状态为错误或不可播放,通常会附带原因,例如上传者未在该国家开放此视频。
可以验证其他市场在 YouTube 上投放了哪些广告吗?
可以。广告会根据位置、语言和设备进行选择,因此请通过目标市场的住宅 IP 或移动 IP,并搭配相应的语言设置来观看视频。由于广告通过脚本加载,请使用真实浏览器完成这项工作,并为报告保留带时间戳的截图。
是否应该改用 YouTube Data API?
如果它能满足您的需求,答案是肯定的:在配额范围内,官方 API 是获取公开频道和视频元数据最干净的来源。代理则可覆盖 API 无法提供的内容,例如各国观众实际看到的广告、推荐内容和页面布局。
为什么我看到的是同意页面,而不是视频?
YouTube 会在内容加载之前,向来自欧盟和英国的访客显示 Cookie 同意页面。您可以在浏览器会话中处理一次该提示,并通过粘性会话保留 Cookie;也可以改用基于浏览器的流程检查这些市场,而不是发送普通的 HTTP 请求。
可以使用代理采集 YouTube 数据吗?
YouTube 的条款禁止以自动化方式访问其服务(公共搜索引擎或事先获得许可的情况除外),并引导开发者使用官方 API。请尽可能使用 API,将基于代理的检查限定在验证您自己的内容和广告上,只采集公开数据,并遵守我们的可接受使用政策。
