Tags

8 ページ目

GGUF

llama.cpp b9196アップデート：Windowsプリビルド版がCUDA 13.1、Vulkan、HIP、SYCLに対応

RTX 3060 で動かしやすいローカル LLM モデルおすすめ

Qwen3.6 をローカルで動かす：27B と 35B-A3B の量子化版に必要なVRAM

Gemma 4 をローカルで動かす：E2B、E4B、26B、31B の量子化版に必要なVRAM

llama-quantize の使用方法: GGUF モデル量子化の概要

llama.cpp Hugging Face から GGUF モデルを取得する方法

Llama の GGUF モデルを選択するときの量子化の選択方法: Q8 から Q2 までの実践的な提案

Hugging Face から GGUF モデルをダウンロードし、Ollama にインポートします。