Open-LLM-VTuber の使い方：ローカル LLM を話せる Live2D キャラクターにする

Wed, 10 Jun 2026 15:00:15 +0800

Open-LLM-VTuber/Open-LLM-VTuber は、GitHub Weekly Trending でかなり個性のあるプロジェクトです。普通のチャットボットでも、単なる Live2D デスクトップペットでもありません。LLM、音声認識、音声合成、視覚認識、Live2D キャラクターを組み合わせ、ローカルで動く AI コンパニオンを作ります。

README の説明はわかりやすいです。手入力なしの音声インタラクションで任意の LLM と会話でき、音声割り込み、Live2D 表情、デスクトップペットモードに対応し、Windows、macOS、Linux で動作します。最初の目標は、neuro-sama のような AI VTuber 体験をオープンソースで再現することでした。

解決する問題

通常の LLM チャットは、多くの場合テキストボックスの中にとどまります。ユーザーが入力し、モデルが返答する。多くても TTS を接続して文章を読み上げる程度です。

Open-LLM-VTuber が作ろうとしているのは、より完整な「キャラクターインタラクション層」です。

ずっとキーボード入力しなくても直接話せる。
AI が音声で返答できる。
キャラクターが Live2D で表情や動きを返せる。
フロントエンドがカメラ、画面録画、スクリーンショットを読み取り、キャラクターが環境を「見る」ことができる。
デスクトップクライアントは透明背景と最前面表示でデスクトップペットになれる。
バックエンドは LLM、ASR、TTS モジュールを切り替えられる。

この種のプロジェクトの価値は、モデルを賢くすることではありません。モデルを「質問応答ウィンドウ」から、継続的な伴走とインターフェースへ変えることです。配信、デスクトップアシスタント、二次元キャラクター、バーチャル陪伴、ローカル音声操作には自然な方向です。

主な機能

モジュール	機能
LLM	Ollama、OpenAI 互換 API、Gemini、Claude、Mistral、DeepSeek、Zhipu、GGUF、LM Studio、vLLM などに対応
ASR	sherpa-onnx、FunASR、Faster-Whisper、Whisper.cpp、Whisper、Groq Whisper、Azure ASR などに対応
TTS	sherpa-onnx、pyttsx3、MeloTTS、Coqui-TTS、GPT-SoVITS、Bark、CosyVoice、Edge TTS、Fish Audio、Azure TTS などに対応
キャラクター表現	Live2D 表情、タッチ反応、デスクトップペットモード、透明背景、常に最前面
視覚認識	カメラ、画面録画、スクリーンショット入力
会話体験	音声割り込み、チャット履歴の永続化、自発発話、内部思考表示
デプロイ	Web 版とデスクトップクライアント。Windows、macOS、Linux に対応

この表から、Open-LLM-VTuber は単一モデルに縛られたアプリというより、組み合わせ可能な AI キャラクターフレームワークだとわかります。

ローカル・オフラインが重点

プロジェクトは完全オフライン実行を強調しています。つまり、ローカル LLM、ローカル ASR、ローカル TTS を使い、会話内容を自分の PC に残せます。

これは AI コンパニオン系アプリでは重要です。音声会話、カメラ、画面キャプチャ、長期チャット履歴はいずれも敏感な情報です。すべてをクラウド API に依存すると、プライバシーとコストが問題になります。

もちろん、オフラインはゼロコストという意味ではありません。必要になるものは次の通りです。

LLM を動かせるローカルハードウェア、または小型モデルの品質を受け入れること。
ASR と TTS 用のモデルファイル。
ffmpeg、uv などの依存関係。
Live2D モデル、音声モデル、設定ファイルの基本的な理解。
プラットフォームごとの音声、マイク、GPU 互換性を調整する忍耐。

「開いたらすぐ使える」ものだけが欲しいなら、ホステッドなチャット製品のほうが楽かもしれません。ただし、制御性、改造性、ローカル化を求めるなら、このプロジェクトには大きな余地があります。

音声割り込みは重要

README では voice interruption、つまり AI が話している途中でユーザーが割り込める機能が明示されています。

これは小さな機能に見えますが、体験への影響は大きいです。割り込みできない音声アシスタントでは、AI が一段落話し終えるまで待たされます。モデルが長く話し始めると、やり取りはすぐぎこちなくなります。

Open-LLM-VTuber は、ヘッドホンを使っていない場合に AI が自分の声を聞いてしまう問題を避けることも強調しています。ここにはエコー、マイク収音、フロントエンド音声処理が関わります。リアルタイム音声インタラクションでは、こうした工程の細部が単に LLM API を呼ぶより難しくなります。

Live2D は装飾だけではない

Live2D をスキンだと見る人も多いですが、AI キャラクタープロジェクトでは、むしろインタラクションのフィードバック層です。

表情、動き、タッチ反応、デスクトップペットモードによって、ユーザーはシステム状態を把握しやすくなります。たとえば、AI が聞いている、考えている、話している、感情が変わったといった状態を視覚的に伝えられます。

Open-LLM-VTuber は、バックエンドの感情を Live2D 表情へマッピングすることや、カスタム Live2D モデルのインポートに対応しています。Prompt を変えて人格設定を作り、音声クローンでキャラクターに合う声を与えることもできます。

ただし、著作権とライセンスには注意が必要です。リポジトリは、含まれるサンプル Live2D モデルが Live2D Inc. の別ライセンスに従い、プロジェクトの MIT ライセンスの対象外だと説明しています。商用利用では素材ライセンスを必ず確認する必要があります。

向いている人

Open-LLM-VTuber は次のようなユーザーに向いています。

AI VTuber や AI デスクトップペットを自作したい。
ローカル LLM を音声インタラクションアプリにしたい。
Live2D キャラクターや人格カスタマイズが好き。
ASR、TTS、LLM、フロントエンドキャラクターの連携を研究したい。
音声、視覚入力、チャット履歴をできるだけローカルに置きたい。
配信インタラクション、コンパニオン bot、個人デスクトップアシスタントのプロトタイプを作りたい。

普通のチャットツールだけが欲しい人には重めです。LLM、ASR、TTS、フロントエンド、Live2D、音声デバイス、設定ファイル、モデルダウンロードなど、関わる層が多く、それぞれでデバッグが必要になる可能性があります。

使う前の注意点

第一に、プロジェクトは活発に開発中です。README では v2.0 の計画が触れられており、v2.0 は全面的な書き換えになるとされています。つまり、既存 v1 の設定やインターフェースは将来変わる可能性があります。

第二に、リモートアクセスには HTTPS が必要です。サーバーを一台の PC で動かし、別の端末からフロントエンドへアクセスする場合、ブラウザのマイク利用には通常 secure context、つまり HTTPS または localhost が必要だと README は注意しています。

第三に、完全ローカルのオフラインモードはハードウェアに軽くありません。LLM、ASR、TTS をすべてローカルで動かすなら、CPU/GPU、メモリ、VRAM がすべて関係します。低スペック環境ではクラウド API や軽量モデルで妥協できます。

第四に、キャラクター型アプリはユーザーがモデルの「人格」を過大評価しやすい面があります。本質的には LLM に音声と視覚インタラクション層を加えたものです。安定した人格、約束能力、専門判断を持つ存在として扱うべきではありません。

まとめ

Open-LLM-VTuber の見どころは、分散していた多くの能力を具体的な体験にまとめている点です。ユーザーは単にモデルとチャットするのではなく、声があり、表情があり、画面を見られ、割り込みでき、デスクトップに常駐できるキャラクターとやり取りします。

この種のプロジェクトは増えていくはずです。LLM の入口は、いつまでもテキストボックスとは限りません。音声アシスタント、デスクトップペット、バーチャル配信者、学習コンパニオン、ゲーム NPC になる可能性があります。Open-LLM-VTuber はまだ「箱から出して完璧」ではありませんが、ローカル AI キャラクターシステムをどう組み立てるかを学ぶには十分有用です。

参考： GitHub Weekly Trending、Open-LLM-VTuber/Open-LLM-VTuber

音声インタラクション on KnightLiブログ