Gemma 4 ローカル導入時のVRAM：E2B・E4B・12B・26B・31Bの選び方

Gemma 4にはE2B、E4B、26B、31Bだけでなく、公式資料に12Bも含まれます。EやAを含む名前は埋め込み規模や有効化パラメータを示すもので、重みのサイズを直接表すものではありません。

本記事では、Googleの概算推論メモリ、特定のGGUFファイルサイズ、実際のバックエンドで測ったピークVRAMを分けて扱います。自分のPCで必要な容量を答えられるのは最後の実測値だけです。

各モデルの位置付け

モデル	主な用途	ローカル導入の目安
E2B	軽量・エッジ	一般向け端末で最も試しやすい
E4B	軽量な汎用処理	8～12GB GPUで検討しやすい
12B	中規模タスク	量子化版を12～24GB環境で試す
26B A4B	MoE効率の検証	A4Bだけでなく総重みを見る
31B	大きなDenseモデル	24GB単体では量子化と短いコンテキストが必要

アーキテクチャ、入力モダリティ、最大コンテキストは公式モデルカードで確認してください。

VRAM表が出発点にすぎない理由

Googleの近似値は重みの規模を示すもので、すべての実行時コストを含みません。GGUFでは次の条件も影響します。

Q4_K_M、Q5_K_M、Q6_K、Q8_0の実効ビット数
KV cacheの型とコンテキスト長
同時実行数とバッチサイズ
GPU offloadするレイヤー数
画像エンコーダーやmmproj
llama.cpp、Ollamaのバージョン

9GBのGGUFだから9GBのVRAMで足りる、とは限りません。

コンシューマーGPUでの選定目安

VRAM	最初に試す候補	注意点
6～8GB	E2B/E4Bの低量子化	KV cache分を残す
12GB	E4B、12B Q4	全GPU配置はファイルと文脈次第
16GB	12B Q4/Q5、26B低量子化＋offload	RAMと速度を確認
24GB	12B高精度、26B/31B Q4	長文ではOOMの可能性
32GB以上	26B/31Bの高精度量子化	バックエンドごとに実測

対応ファイルやバックエンドが存在しない段階で、計算値だけから「導入可能」と断定しないでください。

間違ったモデルをダウンロードしない方法

Google公式Gemmaページからモデルカードを開く。
baseとitを区別する。
GGUF変換元を公式重みまでたどる。
ファイル名、量子化、全シャード、SHA-256を保存する。
Gemmaライセンスが用途と再配布を許すか確認する。

1

Get-FileHash .\gemma-model.gguf -Algorithm SHA256

llama.cppでの実測手順

対応バージョンを使い、4K・単一リクエストから開始します。

1
2
3
4
5
6
7


.\llama-server.exe `
  -m .\gemma-model.gguf `
  -ngl 999 `
  -c 4096 `
  -np 1 `
  --host 127.0.0.1 `
  --port 8080

1

nvidia-smi -l 1

モデルバッファ、KV cache、計算バッファ、offloadレイヤー数を記録します。モデルや量子化を変えずに8Kでも再測定してください。

結果の読み方

起動時OOM：文脈と同時実行を下げ、次に小さい量子化を試す。
読み込めるが遅い：CPU offload量を確認する。
出力形式が壊れる：tokenizerとchat templateを確認する。
画像入力が失敗：モデル、投影ファイル、バックエンドの対応を確認する。
同じ量子化で差が出る：バックエンド、KV型、offload設定を比較する。

導入前に4種類の資源を確認する

1
2
3
4
5
6
7
8


Get-CimInstance Win32_VideoController |
  Select-Object Name, AdapterRAM, DriverVersion

Get-CimInstance Win32_ComputerSystem |
  Select-Object TotalPhysicalMemory

Get-PSDrive -PSProvider FileSystem |
  Select-Object Name, Free, Used

AdapterRAMは誤表示される場合があるため、nvidia-smiでも確認します。RAMはCPU側の重み、OS、バッファを収容できる必要があります。複数の量子化や分割ファイルを保存するディスク容量も必要です。

5モデルを実機でどう使い分けるか

E2B：互換性確認を優先

Gemma 4の認識、chat template、ローカルAPIを確認する最初のモデルに適します。E2BでもCPUのみなら、先にGPUバックエンドやドライバーを修正します。

E4B：8～12GBの実用的な出発点

会話、要約、分類、軽いコード作業向けです。Q4/Q5・4Kから始め、Q6/Q8の品質向上が容量増に見合うか比較します。

12B：KV cacheの余裕を残す

12GB GPUではQ4でも上限に近づくことがあります。デスクトップと実行時バッファ用に1～2GB程度を残し、2K/4Kから始めます。Q5でCPU offloadが発生するなら、Q4の方が快適な場合があります。

26B A4B：有効化パラメータはロード容量ではない

A4Bは4Bモデル相当のVRAMを意味しません。MoE対応と専門家重みの正しいロードをログで確認します。

31B：速度の合格基準を決める

24GB単体では量子化と文脈制限が一般的です。最初のtokenまでの時間と最低tokens/sを先に定め、「ロードできた」だけで合格にしないでください。

GGUFファイル名から確認する項目

1
2


gemma-4-12b-it-q4_k_m.gguf
gemma-4-26b-a4b-it-q5_k_m-00001-of-00003.gguf

base/it、規模、完全な量子化名、全分割、変換元、合計サイズを確認します。異常に小さいファイルはmmproj、LoRA、索引、最初の分割だけかもしれません。

メタデータでモデルを確認する

ロードログでアーキテクチャ、tokenizer、chat template、コンテキスト、全シャードを確認します。unknown tensorやunsupported architectureが出たら停止し、バックエンドを更新してください。

コンテキストを段階的に試す

回	コンテキスト	同時実行	確認点
1	2048	1	安定してロードできるか
2	4096	1	日常利用の速度とVRAM
3	8192	1	KV cache増加量
4	8192	2	同時実行の負荷
5	さらに長い文脈	1	必要な場合のみ

各回でサービスを再起動し、KV cache型も記録します。

GPU offloadを段階的に調整する

1
2
3
4
5
6
7


.\llama-server.exe `
  -m .\gemma-model.gguf `
  -ngl 40 `
  -c 4096 `
  -np 1 `
  --host 127.0.0.1 `
  --port 8080

GPU/RAMピーク、prompt処理、生成速度、初回token、ページングを記録します。大量のページングが起きたら、より小さいモデルか低量子化を選びます。

複数GPUは単純な容量の足し算ではない

分割方式、GPU性能差、PCIe構成が影響します。

1

nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,power.draw --format=csv -l 1

カード間転送で遅くなる場合は、単一GPU＋少量CPU offloadの方が簡単です。

Web UIだけでなくAPIを検証する

1

curl.exe http://127.0.0.1:8080/v1/models

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$body = @{
  model = 'local-gemma'
  messages = @(
    @{ role = 'user'; content = '把 17×23 的计算过程写成两步。' }
  )
  temperature = 0
} | ConvertTo-Json -Depth 5

Invoke-RestMethod `
  -Uri 'http://127.0.0.1:8080/v1/chat/completions' `
  -Method Post `
  -ContentType 'application/json' `
  -Body $body

HTTP状態、モデル名、回答、サーバーログを確認します。

よくある選択の疑問

12GBならE4Bと12Bのどちらか

速度や長文を優先するならE4B、短い文脈で品質を比べたいなら12B Q4を試します。

24GBで31Bを選べるか

Q4・短文脈は試せますが保証ではありません。ファイル、ログ、ピークVRAMを確認します。

同じQ4でサイズが違う理由

混合精度、グループ方式、メタデータで実効ビット数が変わるため、完全な量子化名を記録します。

ロード後もVRAMが増える理由

KV cache、同時実行、画像入力が増えるため、待機時と最長リクエスト時を分けて測ります。

再現可能なGemma実測記録

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


GPU / 显存：
驱动：
后端与版本：
Gemma 型号（base/it）：
GGUF 文件与 SHA256：
量化：
上下文 / 并发：
GPU offload：
空载与峰值显存：
首 token 延迟 / tokens/s：

Googleと推論バックエンドの資料

`Gemma-4-31B-it` のような名前を読む

Gemma-4 はファミリーと世代、31B は総パラメータがおよそ 310 億であることを示します。実行時に必ず 31GB を使う、または各 token で全パラメータを使うという意味ではありません。it は通常 instruction-tuned で、指示、質問応答、会話向けに調整済みです。チャット、要約、コード支援、Agent には -it を選び、base checkpoint は追加学習や研究に使います。

Q4_K_M、Q8_0、BF16、GGUF などの量子化、精度、形式の接尾辞は、ファイルサイズ、対応バックエンド、メモリへ直接影響します。公式の型番表と合わない名前は、ファイル名だけで判断せず、model card、所有者、metadata を確認してください。

ノート PC の設定と受け入れテスト

ノート PC では VRAM に加え、共有メモリ、冷却、持続電力が制約になります。16GB RAM で単体 GPU がない場合は、低ビットの E2B/E4B と 4K context から始めます。8GB VRAM は E4B Q4 の検証、12–16GB VRAM は 12B Q4 を慎重に試す目安です。Apple Silicon は unified memory のため、macOS とアプリに数 GB を残します。

最初の実行では GPU を使うブラウザや動画アプリを閉じ、電源を接続して温度を確認します。32K/128K context から始めないでください。KV cache は context とともに増え、ロードできても長い prompt でメモリ不足になります。

1
2


ollama ps
nvidia-smi

完全なモデルタグ、量子化、context、backend、first-token latency、生成速度、peak memory を記録します。CPU-only で返答できても対話速度の保証にはなりません。thermal throttling、swap、速度不足が起きたら、モデル、量子化負荷、context を下げます。新設定が同じテストを通るまで、元のモデルまたは Modelfile を残してください。