Claude 可以读网页、读代码、读文档,但默认并不会真正“看视频”。你给它一个 YouTube 链接,它通常只能依赖标题、网页描述或字幕。如果视频里关键内容在画面上,比如屏幕录制、产品演示、广告开头、代码报错,单靠字幕就不够。
bradautomates/claude-video 做的事情很直接:给 Claude 增加一个 /watch 能力。你传入视频链接或本地视频文件,再提出问题,它会下载必要内容、提取字幕、抽取画面帧,然后把这些材料交给 Claude 分析。
它适合做什么
这个工具不是单纯的视频下载器,也不是普通字幕总结器。它的价值在于让 AI 同时看到“画面”和“文字”。
比较适合这些场景:
- 分析 YouTube、TikTok、Loom、Vimeo、X、Instagram 等公开视频;
- 总结长视频或课程内容;
- 把视频教程整理成笔记;
- 看广告、发布会、竞品视频里真正展示了什么;
- 诊断别人发来的 bug 复现录屏;
- 问某个时间点画面里发生了什么;
- 从屏幕录制里找 UI 问题、错误提示或操作步骤。
比如你可以这样问:
|
|
也可以分析本地录屏:
|
|
对经常看教程、复盘视频、分析产品演示的人来说,这比手动拖进度条省不少时间。
工作流程
claude-video 的流程可以拆成几步。
1. 接收视频和问题
输入可以是 URL,也可以是本地文件路径。项目底层依赖 yt-dlp,所以支持范围比较广,包括 YouTube、Loom、TikTok、X、Instagram 以及许多 yt-dlp 支持的网站。本地文件则支持常见格式,比如 .mp4、.mov、.mkv、.webm。
2. 优先读取字幕
工具会先检查视频有没有原生字幕或自动生成字幕。如果你只需要文本总结,而且视频有字幕,transcript 模式可以不下载完整视频,速度和成本都更低。
这是一个很实际的设计。很多视频总结任务并不需要每一帧画面,先走字幕可以避免浪费 token 和下载时间。
3. 用 ffmpeg 抽取关键帧
如果问题需要看画面,工具会用 ffmpeg 抽帧。抽帧不是无脑截每一秒,而是根据 detail 模式选择策略:
efficient:快速读取关键帧,速度快;balanced:默认模式,偏向场景变化帧;token-burner:保留更多场景变化帧,适合更完整的画面覆盖;transcript:只取字幕,不抽帧。
默认图片宽度是 512px,并会控制尺寸,方便 Claude 读取。需要看清代码、终端、幻灯片小字时,可以提高分辨率。
4. 没字幕时用 Whisper 兜底
如果视频没有字幕,claude-video 会提取音频,再用 Whisper 转写。项目优先支持 Groq 的 whisper-large-v3,也支持 OpenAI 的 whisper-1。
这意味着多数公开视频可以免费用字幕解决,只有没有字幕的视频才需要 API key 和转写成本。对本地录屏、TikTok、部分 Vimeo 或没有字幕的 YouTube 视频,这个兜底很有用。
5. 把画面和字幕交给 Claude
最后,工具会输出带时间戳的字幕和帧图片路径。Claude 读取这些图片帧,再结合字幕回答问题。
所以它不是“根据视频标题猜答案”,而是让 Claude 看到部分画面、读到音频文字,再基于这些材料回答。
为什么要关心帧预算
视频分析的成本主要来自图片帧。每一帧都是一张图片,图片 token 会迅速累积。一个 30 秒视频可以密集抽帧,但 30 分钟视频如果全程细看,很容易把上下文预算烧掉。
claude-video 给不同长度视频设置了默认帧预算:
- 30 秒以内大约 30 帧;
- 30 秒到 1 分钟大约 40 帧;
- 1 到 3 分钟大约 60 帧;
- 3 到 10 分钟大约 80 帧;
- 超过 10 分钟的 capped 模式最多约 100 帧,并会提示 sparse scan。
如果你关心的是某个片段,最好直接指定时间范围:
|
|
这样比让它粗略扫完整个长视频更准,也更省。
去重机制也很重要
屏幕录制、课程视频和幻灯片经常会长时间停留在同一画面。如果每隔几秒都把几乎一样的画面发给 Claude,花了 token,却没有增加信息量。
claude-video 默认会做近似帧去重。它用 ffmpeg 把图片缩成 16x16 灰度缩略图,再比较亮度差异。变化很小的帧会被丢掉,帧预算留给真正不同的画面。
如果视频一直在动,去重不会节省多少;但对幻灯片、终端录屏、产品演示,这个设计很实用。
安装方式
Claude Code 推荐通过插件市场安装:
|
|
Codex、Cursor、Copilot、Gemini CLI 等支持 Agent Skills 的环境,可以用:
|
|
-g 表示全局安装,当前用户所有项目都能用;去掉 -g 则安装到当前项目。
项目也支持 claude.ai web 的 .skill 文件安装,以及手动 clone 后把 skills/watch 链接到对应 skill 目录。
第一次运行要准备什么
第一次调用 /watch 时,技能会运行预检查。如果缺少 ffmpeg 或 yt-dlp,它会提示安装方式:
- macOS 可以通过
brew install ffmpeg yt-dlp; - Linux 会给出
apt、dnf或pipx命令; - Windows 会提示
winget或pip方案; - 需要 Whisper 兜底时,会在
~/.config/watch/.env里配置GROQ_API_KEY或OPENAI_API_KEY。
如果视频本身有字幕,多数情况下不需要 Whisper key。只有没有字幕、又需要音频转写时,才会走 Groq 或 OpenAI。
使用时的几个建议
第一,长视频先用 transcript 或 efficient,不要一上来就 token-burner。很多问题靠字幕和少量关键帧就够。
第二,能指定时间范围就指定时间范围。比如“2 分 15 秒到 2 分 45 秒发生了什么”,比“总结整个 1 小时视频”更适合 AI 精准回答。
第三,视频里有代码、表格、小字时,可以提高分辨率,但要接受更高 token 成本。
第四,本地隐私视频要注意目录清理。工具会输出工作目录,后续不追问时可以删除临时文件。
第五,公开视频也要遵守平台规则。这个工具适合分析和总结,不意味着可以绕过版权、付费墙或平台访问限制。
适合谁
claude-video 比较适合:
- 经常看技术视频、课程、发布会的人;
- 做内容复盘、广告分析、竞品分析的人;
- 开发者需要分析 bug 复现录屏;
- 希望把视频整理成笔记的人;
- 已经在用 Claude Code、Codex 或其他 Agent Skills 环境的人。
不太适合:
- 只想下载视频文件的人;
- 不想安装命令行工具的人;
- 需要逐帧精确视觉识别的专业视频分析任务;
- 不能把视频内容交给 AI 工具处理的敏感场景。
总结
claude-video 的定位很清楚:它不是视频播放器,而是把视频拆成 Claude 能理解的材料。字幕负责听见内容,抽帧负责看见画面,时间戳负责把回答落到具体片段。
如果你经常把视频当信息源,这个 /watch 技能很值得试。尤其是长教程、发布会、产品演示和 bug 录屏,它能把“我得看完一遍”变成“我问一个更具体的问题”。省下来的不是几分钟,而是少掉很多无意义拖进度条的时间。
参考来源: