claude-video：讓 Claude 用 /watch 看影片、抽幀、轉字幕並回答問題

Wed, 08 Jul 2026 08:15:05 +0800

Claude 可以讀網頁、程式碼和文件，但預設不會真的「看影片」。你貼一個 YouTube 連結時，它通常只能依賴標題、網頁描述或字幕。如果重點在畫面上，例如螢幕錄製、產品展示、廣告開頭、程式錯誤，單靠字幕就不夠。

bradautomates/claude-video 做的事很直接：給 Claude 增加 /watch 能力。你提供影片連結或本地檔案，再提出問題，它會下載必要內容、提取字幕、抽取畫面幀，然後把材料交給 Claude 分析。

適合做什麼

它不是單純影片下載器，也不是一般字幕總結工具。價值在於讓 AI 同時看到畫面和文字。

適合這些場景：

分析 YouTube、TikTok、Loom、Vimeo、X、Instagram 等公開影片；
總結長影片或課程；
把影片教學整理成筆記；
看發布會、廣告、競品影片裡真正展示了什麼；
診斷 bug 復現錄影；
問某個時間點畫面裡發生了什麼；
從螢幕錄製裡找 UI 問題、錯誤提示或操作步驟。

`1`	`/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?`

本地錄影也可以：

`1`	`/watch ~/Movies/screen-recording.mp4 when does the UI break?`

工作流程

1. 接收影片和問題

輸入可以是 URL，也可以是本地檔案路徑。底層依賴 yt-dlp，因此支援 YouTube、Loom、TikTok、X、Instagram 等許多網站。本地檔案支援 .mp4、.mov、.mkv、.webm。

2. 優先讀取字幕

工具會先檢查影片是否有原生字幕或自動字幕。如果只需要文字總結，而且影片有字幕，transcript 模式可以不下載完整影片，速度和成本都更低。

3. 用 ffmpeg 抽取畫面幀

需要看畫面時，工具會用 ffmpeg 抽幀。detail 模式控制速度和品質：

efficient：快速讀取關鍵幀；
balanced：預設模式，偏向場景變化幀；
token-burner：保留更多場景變化；
transcript：只取字幕，不抽幀。

預設圖片寬度是 512px，適合 Claude 讀取。需要看清程式碼、終端或投影片小字時，可以提高解析度。

4. 沒字幕時用 Whisper

如果影片沒有字幕，claude-video 會提取音訊，再用 Whisper 轉寫。專案優先支援 Groq 的 whisper-large-v3，也支援 OpenAI 的 whisper-1。

多數公開影片可以靠字幕免費處理；只有沒有字幕又需要音訊轉寫時，才需要 API key。

5. 交給 Claude 分析

最後，工具會輸出帶時間戳的字幕和圖片幀路徑。Claude 讀取這些圖片，再結合字幕回答問題。

為什麼要控制幀預算

影片分析的成本主要來自圖片幀。每一幀都是圖片，token 會很快累積。30 秒影片可以密集抽幀，但 30 分鐘影片如果全程細看，成本會很高。

如果只關心某段，最好指定時間範圍：

`1`	`/watch https://youtu.be/abc --start 2:15 --end 2:45`

這通常比粗略掃完整段長影片更準，也更省。

去重機制

螢幕錄製、課程和投影片常常長時間停在同一畫面。claude-video 預設會做近似幀去重，用 ffmpeg 縮成 16x16 灰階圖，再比較亮度差異。變化很小的幀會被丟掉，把預算留給真正不同的畫面。

安裝方式

Claude Code：

1
2

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

Codex、Cursor、Copilot、Gemini CLI 等支援 Agent Skills 的環境：

`1`	`npx skills add bradautomates/claude-video -g`

-g 表示全域安裝；去掉則安裝到目前專案。

第一次執行

第一次呼叫 /watch 時，技能會檢查 ffmpeg、yt-dlp 和可選的 Whisper 設定。

macOS 可以用 brew install ffmpeg yt-dlp；
Linux 會提示 apt、dnf 或 pipx；
Windows 會提示 winget 或 pip；
Whisper 兜底使用 ~/.config/watch/.env 裡的 GROQ_API_KEY 或 OPENAI_API_KEY。

如果影片本身有字幕，通常不需要 Whisper key。

使用建議

長影片先用 transcript 或 efficient，不要一開始就 token-burner。知道時間點時用 --start 和 --end。影片裡有小字、程式碼或表格時再提高解析度。私密影片要注意清理工作目錄。

適合誰

它適合經常看技術影片、課程、發布會、廣告、競品展示或 bug 錄影的人。若只是想下載影片、不想安裝命令列工具、需要專業逐幀分析，或不能把影片內容交給 AI，則不太適合。

總結

claude-video 不是影片播放器，而是把影片拆成 Claude 能理解的材料：字幕負責聽見內容，抽幀負責看見畫面，時間戳負責定位片段。如果影片是你的資訊來源，/watch 可以省下很多手動拖進度條的時間。

參考來源：

影片分析 on KnightLi的博客