llama.cpp の GPU 性能比較：CUDA・ROCm・Vulkan の再現テストと GPU 選び

llama.cpp はコミュニティ内で実行され、グラフィックカードの候補を見つけるのに適していますが、購入リストとして直接考慮することはできません。 異なるドライバ、バックエンド、送信バージョン、ユーティリティ、モデルの定量化、コンテキストおよび可視オフロード比は、結果を変更することがあります。

このドキュメントは、元のスコアボードの参照エントリを保持しますが、数百の実行をコピーしません。 焦点は、指標の読み方、それらを繰り返す方法、および2つの図のセットを比較することができる状況下に変更されるべきです。

まず pp512 と tg128 を理解する

llama-bench 2つの共通:

• pp512: 512のヒントトークンのワンタイム処理、迅速な処理/プレフィルに近い。
• tg128: ユーザーが解読を待ち受けるとき、128トークンの連続生成。

単位は通常 tokens/s ですが、2つの指標は異なるボトルネックを示します。バッチ処理や長いプロンプトの取り込みは pp、チャットやコード補完は tg の影響を受けやすいため、一方の最大値だけで GPU が「2倍速い」とは判断できません。

Q4_0 と Q4_K_M は異なる量子化方式です。モデルサイズ、VRAM 帯域への負荷、計算経路も変わります。FA は Flash Attention の有効・無効を示し、長いコンテキストではバックエンドによって大きな差が出ます。

直接比較できる結果とは

少なくとも同時に会って下さい:

スコアボードがこれらのいくつか欠けている場合は、粗いスクリーニングにのみ使用でき、正確に計算することはできません。

CUDA 完全ランキング

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

自分のテスト基準を作る

記録版:

1
2

llama-bench --version
git -C llama.cpp rev-parse HEAD

NVIDIA 環境の記録:

1

nvidia-smi --query-gpu=name,driver_version,memory.total,power.limit,temperature.gpu --format=csv

AMDのLinux:

1
2

rocminfo | head -80
rocm-smi --showproductname --showmeminfo vram --showpower --showtemp

ヴァルカン:

1

vulkaninfo --summary

これらの出力は、rundown CSV で保存する必要があります。 t/s は環境記録がないため、数週間で回復することが困難です。

最小限の繰り返しコマンド

同じテストを想定しています。 model-q4_k_m.gguf: : :

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 1 \
  -r 5 \
  -o csv > bench-fa.csv

クローズ フラッシュの注意

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 0 \
  -r 5 \
  -o csv > bench-no-fa.csv

1つの予熱を実行し、少なくとも5回繰り返します。 同時にモデルをダウンロードしないでください。ゲームを実行するか、デスクトップアプリケーションが大量のディスプレイを占有することを可能にします。

モデルが本当に GPU へ完全オフロードされたか確認する

テストの観察:

1

nvidia-smi dmon -s pucm

モデルがシステム上または部分的にアンマウントだけにこぼれている場合、結果はCPU、PCIE、GPUの組み合わせを反映しており、単純なグラフィックカード機能はありません。 2枚のカードを比較する前に必ず確認してください。 -ngl 実際のオフロード状態は同じです。

マルチGPUは、ピットモード、カード表示、PCIe/SXM相互接続とスケーリングを記録する必要があります。 2枚のカードは、小さなモデルのデコードが1枚の大きなカードよりも速くなければならないという意味ではありません。

CUDA・ROCm・Vulkan の選び方

CUDA

NVIDIA は通常最も成熟した llama.cpp パスを持っています。 t/s に加えて、カードは視覚記憶容量、可視帯域幅、実用性および中古カード信頼性のために選ばれます。 ターゲットモデルは、ピークコンピューティングよりもはるかに重要です。

ROCm/HIP

AMDデータには、ROCmとドライバのバージョンが必要です。 消費者レベルの Radeon サポート マトリックス、システム バージョンおよび特定のアーキテクチャは適切な機能に影響を与える。 Windowsに直接Linuxの組み合わせでカードの達成を拡張しないでください。

Vulkan

Vulkanは、オリジナルのCUDA/ROCmパスを欠く装置、クロスプラットフォームのベースラインに適した、幅広い範囲のカバレッジを持っています。 しかし、異なるドライバーと機器の最適化は大きく変化し、特にコミュニティテーブルは再訪する必要があります。

結果から実際の GPU 選定に答える

ターゲットモデルとコンテキストを決定し、重量、KVキャッシュ、実行時間バランスを推定します。 可視性は単にモデルファイルのサイズと等しいです。

選択が順番で判断されることをお勧めします。

1. ターゲットの量子化が完全に捕獲できるかどうか。
2. 必要なコンテキストにKVキャッシュのルームがあるかどうか。
3. tg インタラクティブな速度が満たされているかどうか。
4. pp 嘔吐の長いヒントを満たしているかどうか。
5. お使いのオペレーティングシステムでは、バックエンドが安定しています。
6. 実用性、騒音および総費用の許容。

例えば、 tg128 より高くても可視、対象30Bモデルを実行するカードは、完全に読み込まれているカードとして高速ではない場合があります。

結果シートに記録すべき項目

少なくとも:

1
2

tested_at,llama_commit,gpu,driver,backend,model,quant,ngl,flash_attention,pp512_tps,tg128_tps,power_limit,notes
2026-08-02,abcdef1,Example GPU,driver-version,CUDA,model-name,Q4_K_M,999,true,0,0,250W,replace zeros with measured median

結果が公開されると、数値が測定され、中または引用されます。 複数の作者、複数年、複数のモデルのレコードを混ぜて「完全な梯子」と呼ぶべきではありません。

コミュニティのベンチマーク値の使い方

GitHubのディスカッションのスコアボードは、まだ価値があります。カードが渡るかどうか、バックエンドが成熟しているかどうか、および広範なパフォーマンス範囲を発見するのに役立ちます。 しかし、同じモデルは、購入や展開前に候補ハードウェアを再スケールするために使用されるべきです。

元の参照:

• CUDAスコアボードディスカッション #15013
• アップルシリコンのディスカッション #4167
• ROCmスコアボードディスカッション #15021
• Vulkanスコアボードディスカッション#10879
• llama.cpp GitHub