claude-video：/watch で Claude に動画を見せ、フレーム抽出と文字起こしを行う

Wed, 08 Jul 2026 08:15:05 +0800

Claude は Web ページ、コード、文書を読めますが、標準では動画を実際に「見る」ことはできません。YouTube のリンクを渡しても、タイトル、説明文、字幕に頼ることが多く、画面上の内容が重要な場合は不十分です。

bradautomates/claude-video は、Claude に /watch 能力を追加するプロジェクトです。動画 URL またはローカルファイルを渡し、質問すると、必要な範囲を取得し、字幕を取り、フレームを抽出して Claude に渡します。

何に使えるか

これは単なる動画ダウンローダーでも字幕要約ツールでもありません。映像フレームと音声テキストを同時に使えるのが価値です。

用途は次のようなものです。

YouTube、TikTok、Loom、Vimeo、X、Instagram などの公開動画を分析；
長い動画や講座を要約；
チュートリアルをノート化；
発表会、広告、競合動画で実際に何が示されたか確認；
バグ再現動画を分析；
特定の時間に何が起きたか質問；
画面録画から UI 問題やエラーを探す。

`1`	`/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?`

ローカル動画も使えます。

`1`	`/watch ~/Movies/screen-recording.mp4 when does the UI break?`

仕組み

1. 動画と質問を受け取る

入力は URL またはローカルファイルです。内部で yt-dlp を使うため、YouTube、Loom、TikTok、X、Instagram など多くのサイトに対応します。ローカルでは .mp4、.mov、.mkv、.webm などを扱えます。

2. 字幕を優先する

まずネイティブ字幕や自動字幕を確認します。字幕だけで足りる場合、transcript モードでは動画本体をダウンロードせずに済み、速く低コストです。

3. ffmpeg でフレーム抽出

映像が必要な場合は ffmpeg でフレームを抽出します。

efficient：高速なキーフレーム抽出；
balanced：既定、シーン変化を重視；
token-burner：より多くのシーン変化を保持；
transcript：字幕のみ。

既定の画像幅は 512px です。コード、端末、スライドの小さい文字を読む必要がある場合は解像度を上げます。

4. 字幕がない場合は Whisper

字幕がない動画では音声を抽出し、Whisper で文字起こしします。Groq の whisper-large-v3 を優先し、OpenAI の whisper-1 も使えます。

多くの公開動画は字幕だけで無料処理できます。Whisper キーが必要なのは、字幕がない動画で音声認識が必要な場合です。

5. Claude に渡す

最後に、タイムスタンプ付き字幕と画像フレームのパスを出力します。Claude は画像を読み、字幕と合わせて回答します。

フレーム予算が重要な理由

動画分析のコストは主に画像フレームです。各フレームは画像 token を消費します。30 秒なら密に見られますが、30 分動画を全体的に細かく見ると文脈をすぐ使い切ります。

特定の区間だけ知りたい場合は時間範囲を指定します。

`1`	`/watch https://youtu.be/abc --start 2:15 --end 2:45`

長い動画全体を粗く見るより、こちらのほうが正確で安くなりやすいです。

重複フレームの削減

スライド、画面録画、製品デモでは同じ画面が長く続くことがあります。claude-video は既定で近似フレームを削除し、ffmpeg で小さなグレースケール画像にして明るさの差を比較します。ほぼ同じフレームを落とすことで、予算を情報量のあるフレームに使えます。

インストール

Claude Code:

1
2

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

Codex、Cursor、Copilot、Gemini CLI など Agent Skills 対応環境:

`1`	`npx skills add bradautomates/claude-video -g`

-g はユーザー全体へのインストールです。外すと現在のプロジェクトに限定されます。

初回実行

初回の /watch では ffmpeg、yt-dlp、任意の Whisper 設定を確認します。

macOS: brew install ffmpeg yt-dlp;
Linux: apt、dnf、pipx のコマンドを表示；
Windows: winget または pip の手順を表示；
Whisper は ~/.config/watch/.env の GROQ_API_KEY または OPENAI_API_KEY を使います。

字幕がある動画なら、通常 Whisper キーは不要です。

使い方のコツ

長い動画ではまず transcript または efficient を使います。時間が分かっているなら --start と --end を指定します。小さい文字を読む必要があるときだけ解像度を上げましょう。私的な動画では作業ディレクトリの削除にも注意します。

向いている人

技術動画、講座、発表会、広告、競合デモ、バグ録画をよく見る人に向いています。動画を保存したいだけの人、CLI を使いたくない人、専門的なフレーム単位解析が必要な人、AI に動画内容を渡せない場面には向きません。

まとめ

claude-video は動画を、Claude が理解できる字幕、フレーム、タイムスタンプに分解します。動画を情報源としてよく使うなら、/watch は手作業でシークする時間をかなり減らせます。

参考:

動画分析 on KnightLiブログ