claude-video：让 Claude 用 /watch 看视频、抽帧、转字幕和回答问题

Wed, 08 Jul 2026 08:15:05 +0800

Claude 可以读网页、读代码、读文档，但默认并不会真正“看视频”。你给它一个 YouTube 链接，它通常只能依赖标题、网页描述或字幕。如果视频里关键内容在画面上，比如屏幕录制、产品演示、广告开头、代码报错，单靠字幕就不够。

bradautomates/claude-video 做的事情很直接：给 Claude 增加一个 /watch 能力。你传入视频链接或本地视频文件，再提出问题，它会下载必要内容、提取字幕、抽取画面帧，然后把这些材料交给 Claude 分析。

它适合做什么

这个工具不是单纯的视频下载器，也不是普通字幕总结器。它的价值在于让 AI 同时看到“画面”和“文字”。

比较适合这些场景：

分析 YouTube、TikTok、Loom、Vimeo、X、Instagram 等公开视频；
总结长视频或课程内容；
把视频教程整理成笔记；
看广告、发布会、竞品视频里真正展示了什么；
诊断别人发来的 bug 复现录屏；
问某个时间点画面里发生了什么；
从屏幕录制里找 UI 问题、错误提示或操作步骤。

比如你可以这样问：

`1`	`/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?`

也可以分析本地录屏：

`1`	`/watch ~/Movies/screen-recording.mp4 when does the UI break?`

对经常看教程、复盘视频、分析产品演示的人来说，这比手动拖进度条省不少时间。

工作流程

claude-video 的流程可以拆成几步。

1. 接收视频和问题

输入可以是 URL，也可以是本地文件路径。项目底层依赖 yt-dlp，所以支持范围比较广，包括 YouTube、Loom、TikTok、X、Instagram 以及许多 yt-dlp 支持的网站。本地文件则支持常见格式，比如 .mp4、.mov、.mkv、.webm。

2. 优先读取字幕

工具会先检查视频有没有原生字幕或自动生成字幕。如果你只需要文本总结，而且视频有字幕，transcript 模式可以不下载完整视频，速度和成本都更低。

这是一个很实际的设计。很多视频总结任务并不需要每一帧画面，先走字幕可以避免浪费 token 和下载时间。

3. 用 ffmpeg 抽取关键帧

如果问题需要看画面，工具会用 ffmpeg 抽帧。抽帧不是无脑截每一秒，而是根据 detail 模式选择策略：

efficient：快速读取关键帧，速度快；
balanced：默认模式，偏向场景变化帧；
token-burner：保留更多场景变化帧，适合更完整的画面覆盖；
transcript：只取字幕，不抽帧。

默认图片宽度是 512px，并会控制尺寸，方便 Claude 读取。需要看清代码、终端、幻灯片小字时，可以提高分辨率。

4. 没字幕时用 Whisper 兜底

如果视频没有字幕，claude-video 会提取音频，再用 Whisper 转写。项目优先支持 Groq 的 whisper-large-v3，也支持 OpenAI 的 whisper-1。

这意味着多数公开视频可以免费用字幕解决，只有没有字幕的视频才需要 API key 和转写成本。对本地录屏、TikTok、部分 Vimeo 或没有字幕的 YouTube 视频，这个兜底很有用。

5. 把画面和字幕交给 Claude

最后，工具会输出带时间戳的字幕和帧图片路径。Claude 读取这些图片帧，再结合字幕回答问题。

所以它不是“根据视频标题猜答案”，而是让 Claude 看到部分画面、读到音频文字，再基于这些材料回答。

为什么要关心帧预算

视频分析的成本主要来自图片帧。每一帧都是一张图片，图片 token 会迅速累积。一个 30 秒视频可以密集抽帧，但 30 分钟视频如果全程细看，很容易把上下文预算烧掉。

claude-video 给不同长度视频设置了默认帧预算：

30 秒以内大约 30 帧；
30 秒到 1 分钟大约 40 帧；
1 到 3 分钟大约 60 帧；
3 到 10 分钟大约 80 帧；
超过 10 分钟的 capped 模式最多约 100 帧，并会提示 sparse scan。

如果你关心的是某个片段，最好直接指定时间范围：

`1`	`/watch https://youtu.be/abc --start 2:15 --end 2:45`

这样比让它粗略扫完整个长视频更准，也更省。

去重机制也很重要

屏幕录制、课程视频和幻灯片经常会长时间停留在同一画面。如果每隔几秒都把几乎一样的画面发给 Claude，花了 token，却没有增加信息量。

claude-video 默认会做近似帧去重。它用 ffmpeg 把图片缩成 16x16 灰度缩略图，再比较亮度差异。变化很小的帧会被丢掉，帧预算留给真正不同的画面。

如果视频一直在动，去重不会节省多少；但对幻灯片、终端录屏、产品演示，这个设计很实用。

安装方式

Claude Code 推荐通过插件市场安装：

1
2

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

Codex、Cursor、Copilot、Gemini CLI 等支持 Agent Skills 的环境，可以用：

`1`	`npx skills add bradautomates/claude-video -g`

-g 表示全局安装，当前用户所有项目都能用；去掉 -g 则安装到当前项目。

项目也支持 claude.ai web 的 .skill 文件安装，以及手动 clone 后把 skills/watch 链接到对应 skill 目录。

第一次运行要准备什么

第一次调用 /watch 时，技能会运行预检查。如果缺少 ffmpeg 或 yt-dlp，它会提示安装方式：

macOS 可以通过 brew install ffmpeg yt-dlp；
Linux 会给出 apt、dnf 或 pipx 命令；
Windows 会提示 winget 或 pip 方案；
需要 Whisper 兜底时，会在 ~/.config/watch/.env 里配置 GROQ_API_KEY 或 OPENAI_API_KEY。

如果视频本身有字幕，多数情况下不需要 Whisper key。只有没有字幕、又需要音频转写时，才会走 Groq 或 OpenAI。

使用时的几个建议

第一，长视频先用 transcript 或 efficient，不要一上来就 token-burner。很多问题靠字幕和少量关键帧就够。

第二，能指定时间范围就指定时间范围。比如“2 分 15 秒到 2 分 45 秒发生了什么”，比“总结整个 1 小时视频”更适合 AI 精准回答。

第三，视频里有代码、表格、小字时，可以提高分辨率，但要接受更高 token 成本。

第四，本地隐私视频要注意目录清理。工具会输出工作目录，后续不追问时可以删除临时文件。

第五，公开视频也要遵守平台规则。这个工具适合分析和总结，不意味着可以绕过版权、付费墙或平台访问限制。

适合谁

claude-video 比较适合：

经常看技术视频、课程、发布会的人；
做内容复盘、广告分析、竞品分析的人；
开发者需要分析 bug 复现录屏；
希望把视频整理成笔记的人；
已经在用 Claude Code、Codex 或其他 Agent Skills 环境的人。

不太适合：

只想下载视频文件的人；
不想安装命令行工具的人；
需要逐帧精确视觉识别的专业视频分析任务；
不能把视频内容交给 AI 工具处理的敏感场景。

总结

claude-video 的定位很清楚：它不是视频播放器，而是把视频拆成 Claude 能理解的材料。字幕负责听见内容，抽帧负责看见画面，时间戳负责把回答落到具体片段。

如果你经常把视频当信息源，这个 /watch 技能很值得试。尤其是长教程、发布会、产品演示和 bug 录屏，它能把“我得看完一遍”变成“我问一个更具体的问题”。省下来的不是几分钟，而是少掉很多无意义拖进度条的时间。

参考来源：

视频分析 on KnightLi的博客