Open-LLM-VTuber 怎麼用？把本地 LLM 變成會說話的 Live2D 角色

Wed, 10 Jun 2026 15:00:15 +0800

Open-LLM-VTuber/Open-LLM-VTuber 是 GitHub Weekly Trending 上一個很有辨識度的專案。它不是普通聊天機器人，也不是單純的 Live2D 桌寵，而是把 LLM、語音識別、語音合成、視覺感知和 Live2D 角色整合到一起，做成一個可以本地執行的 AI 伴侶。

專案 README 的描述很直白：你可以用免手動輸入的語音互動和任意 LLM 對話，支援語音打斷、Live2D 表情、桌面寵物模式，並且可以跨 Windows、macOS、Linux 執行。它最初的目標，是用開源方案復刻類似 neuro-sama 的 AI VTuber 體驗。

它解決什麼問題

普通 LLM 聊天更多停留在文字框裡。你打字，它回覆；最多再接一個 TTS，把文字讀出來。

Open-LLM-VTuber 想做的是更完整的「角色互動層」：

你可以直接說話，不必一直打字；
AI 可以用語音回應；
角色可以透過 Live2D 做表情和動作回饋；
前端可以讀取攝影機、螢幕錄製或截圖，讓角色「看到」環境；
桌面客戶端可以用透明背景和置頂模式變成桌寵；
後端可以切換不同 LLM、ASR 和 TTS 模組。

這類專案的價值不在於讓模型更聰明，而是把模型從「問答視窗」變成「持續陪伴和互動介面」。對直播、桌面助手、二次元角色、虛擬陪伴和本地語音控制來說，這個方向很自然。

核心能力一覽

模組	能力
LLM	支援 Ollama、OpenAI 相容 API、Gemini、Claude、Mistral、DeepSeek、智譜、GGUF、LM Studio、vLLM 等
ASR	支援 sherpa-onnx、FunASR、Faster-Whisper、Whisper.cpp、Whisper、Groq Whisper、Azure ASR 等
TTS	支援 sherpa-onnx、pyttsx3、MeloTTS、Coqui-TTS、GPT-SoVITS、Bark、CosyVoice、Edge TTS、Fish Audio、Azure TTS 等
角色表現	Live2D 表情、觸摸回饋、桌寵模式、透明背景、全域置頂
視覺感知	支援攝影機、螢幕錄製和截圖輸入
對話體驗	語音打斷、聊天記錄持久化、主動說話、內部想法顯示
部署方式	Web 版本和桌面客戶端，支援 Windows、macOS、Linux

從這個表可以看出，Open-LLM-VTuber 更像一個可組合的 AI 角色框架，而不是綁定某個單一模型的應用。

本地離線是它的重點

專案強調可以完全離線執行。也就是說，你可以用本地 LLM、本地 ASR、本地 TTS，把聊天內容留在自己的電腦上。

這對 AI 伴侶類應用很重要。因為語音對話、攝影機、螢幕截圖和長期聊天記錄都比較敏感。如果全部依賴雲端 API，隱私和成本都會變成問題。

當然，離線不等於零成本。你需要準備：

能跑 LLM 的本地硬體，或者接受較小模型的效果；
ASR 和 TTS 所需的模型檔案；
ffmpeg、uv 等安裝依賴；
對 Live2D 模型、語音模型和設定檔有基本理解；
足夠耐心處理不同平台的音訊、麥克風和顯卡相容問題。

如果你只想「打開就用」，這類專案可能會比託管聊天產品麻煩。但如果你想要可控、可改、可本地化，它的空間就大很多。

語音打斷很關鍵

README 裡特別提到 voice interruption，也就是使用者可以在 AI 說話時打斷它。

這個功能看似小，實際非常影響體驗。沒有打斷能力的語音助手，經常會變成「你必須等它把一整段話說完」。一旦模型開始囉嗦，互動就會很彆扭。

Open-LLM-VTuber 還強調在不戴耳機的情況下避免 AI 聽到自己的聲音。這背後涉及回聲、麥克風拾音和前端音訊處理。對即時語音互動來說，這些工程細節比單純呼叫一個 LLM API 更難。

Live2D 不只是裝飾

很多人會把 Live2D 看成皮膚，但在 AI 角色專案裡，它更像互動回饋層。

角色表情、動作、觸摸回饋、桌面寵物模式，能讓使用者更容易感知系統狀態。比如 AI 正在聽、正在思考、正在說話、情緒發生變化，這些都可以透過視覺表現傳達出來。

Open-LLM-VTuber 支援後端情緒映射到 Live2D 表情，也支援匯入自訂 Live2D 模型。你可以修改 Prompt 塑造人設，也可以透過聲音克隆讓角色擁有更匹配的音色。

不過這裡也有版權和授權問題。專案倉庫裡說明，包含的 Live2D 範例模型遵循 Live2D Inc. 的單獨授權，不屬於專案 MIT 授權覆蓋範圍。商業使用時要特別注意模型素材授權。

適合什麼人

Open-LLM-VTuber 適合這些使用者：

想自建 AI VTuber 或 AI 桌寵；
想把本地 LLM 做成語音互動應用；
喜歡 Live2D 角色和人設定制；
想研究 ASR、TTS、LLM 和前端角色聯動；
希望語音、視覺和聊天記錄盡量留在本地；
想做直播互動、陪伴機器人或個人桌面助手原型。

它不太適合只想要一個普通聊天工具的人。因為它牽涉的模組很多：LLM、ASR、TTS、前端、Live2D、音訊設備、設定檔、模型下載，每一層都可能需要調試。

使用前的注意點

第一，專案仍處於活躍開發階段。README 提到團隊正在規劃 v2.0，並且 v2.0 會是一次完整重寫。也就是說，現有 v1 的設定和介面未來可能變化。

第二，遠端存取需要 HTTPS。README 明確提醒，如果伺服器跑在一台電腦上、前端從另一台設備存取，瀏覽器麥克風通常需要 secure context，也就是 HTTPS 或 localhost。

第三，本地全離線模式對硬體要求不低。如果 LLM、ASR、TTS 都本地跑，CPU/GPU、記憶體和顯存都會參與。低配機器可以用雲 API 或輕量模型折中。

第四，角色類應用容易讓使用者高估模型「人格」。本質上它仍然是 LLM 加上語音和視覺互動層，不應該把它當成真正具備穩定人格、承諾能力或專業判斷的對象。

結論

Open-LLM-VTuber 的看點，是它把很多原本分散的能力組合成一個具體體驗：你不只是和模型聊天，而是在和一個有聲音、有表情、能看螢幕、能被打斷、能待在桌面上的角色互動。

這類專案會越來越多。LLM 的入口不一定永遠是文字框，也可能是語音助手、桌面寵物、虛擬主播、學習陪伴和遊戲 NPC。Open-LLM-VTuber 還不算「開箱即完美」，但它已經很適合拿來研究本地 AI 角色系統該怎麼拼起來。

參考來源：GitHub Weekly Trending、Open-LLM-VTuber/Open-LLM-VTuber

Live2D on KnightLi的博客