Claude は Web ページ、コード、文書を読めますが、標準では動画を実際に「見る」ことはできません。YouTube のリンクを渡しても、タイトル、説明文、字幕に頼ることが多く、画面上の内容が重要な場合は不十分です。
bradautomates/claude-video は、Claude に /watch 能力を追加するプロジェクトです。動画 URL またはローカルファイルを渡し、質問すると、必要な範囲を取得し、字幕を取り、フレームを抽出して Claude に渡します。
何に使えるか
これは単なる動画ダウンローダーでも字幕要約ツールでもありません。映像フレームと音声テキストを同時に使えるのが価値です。
用途は次のようなものです。
- YouTube、TikTok、Loom、Vimeo、X、Instagram などの公開動画を分析；
- 長い動画や講座を要約；
- チュートリアルをノート化；
- 発表会、広告、競合動画で実際に何が示されたか確認；
- バグ再現動画を分析；
- 特定の時間に何が起きたか質問；
- 画面録画から UI 問題やエラーを探す。
|
|
ローカル動画も使えます。
|
|
仕組み
1. 動画と質問を受け取る
入力は URL またはローカルファイルです。内部で yt-dlp を使うため、YouTube、Loom、TikTok、X、Instagram など多くのサイトに対応します。ローカルでは .mp4、.mov、.mkv、.webm などを扱えます。
2. 字幕を優先する
まずネイティブ字幕や自動字幕を確認します。字幕だけで足りる場合、transcript モードでは動画本体をダウンロードせずに済み、速く低コストです。
3. ffmpeg でフレーム抽出
映像が必要な場合は ffmpeg でフレームを抽出します。
efficient：高速なキーフレーム抽出；balanced：既定、シーン変化を重視；token-burner：より多くのシーン変化を保持；transcript：字幕のみ。
既定の画像幅は 512px です。コード、端末、スライドの小さい文字を読む必要がある場合は解像度を上げます。
4. 字幕がない場合は Whisper
字幕がない動画では音声を抽出し、Whisper で文字起こしします。Groq の whisper-large-v3 を優先し、OpenAI の whisper-1 も使えます。
多くの公開動画は字幕だけで無料処理できます。Whisper キーが必要なのは、字幕がない動画で音声認識が必要な場合です。
5. Claude に渡す
最後に、タイムスタンプ付き字幕と画像フレームのパスを出力します。Claude は画像を読み、字幕と合わせて回答します。
フレーム予算が重要な理由
動画分析のコストは主に画像フレームです。各フレームは画像 token を消費します。30 秒なら密に見られますが、30 分動画を全体的に細かく見ると文脈をすぐ使い切ります。
特定の区間だけ知りたい場合は時間範囲を指定します。
|
|
長い動画全体を粗く見るより、こちらのほうが正確で安くなりやすいです。
重複フレームの削減
スライド、画面録画、製品デモでは同じ画面が長く続くことがあります。claude-video は既定で近似フレームを削除し、ffmpeg で小さなグレースケール画像にして明るさの差を比較します。ほぼ同じフレームを落とすことで、予算を情報量のあるフレームに使えます。
インストール
Claude Code:
|
|
Codex、Cursor、Copilot、Gemini CLI など Agent Skills 対応環境:
|
|
-g はユーザー全体へのインストールです。外すと現在のプロジェクトに限定されます。
初回実行
初回の /watch では ffmpeg、yt-dlp、任意の Whisper 設定を確認します。
- macOS:
brew install ffmpeg yt-dlp; - Linux:
apt、dnf、pipxのコマンドを表示； - Windows:
wingetまたはpipの手順を表示； - Whisper は
~/.config/watch/.envのGROQ_API_KEYまたはOPENAI_API_KEYを使います。
字幕がある動画なら、通常 Whisper キーは不要です。
使い方のコツ
長い動画ではまず transcript または efficient を使います。時間が分かっているなら --start と --end を指定します。小さい文字を読む必要があるときだけ解像度を上げましょう。私的な動画では作業ディレクトリの削除にも注意します。
向いている人
技術動画、講座、発表会、広告、競合デモ、バグ録画をよく見る人に向いています。動画を保存したいだけの人、CLI を使いたくない人、専門的なフレーム単位解析が必要な人、AI に動画内容を渡せない場面には向きません。
まとめ
claude-video は動画を、Claude が理解できる字幕、フレーム、タイムスタンプに分解します。動画を情報源としてよく使うなら、/watch は手作業でシークする時間をかなり減らせます。
参考: