まずパラメータを理解する

Q4_0 とは

Q4_0 は 4-bit 量子化フォーマットの一種です。これは「モデルがより強い」という意味ではなく、「モデルが小さく、VRAM を節約でき、より多くのデバイスに載せやすい」という意味です。これらのランキングでは多くの場合 Llama 2 7B, Q4_0 に条件をそろえ、変数を減らして GPU 同士を横比較しやすくしています。

pp512 とは

pp512 は一般に prompt processing 512 tokens、つまり 512 個の入力 token を処理するときのスループットとして理解できます。

• pp = prompt processing
• 512 = 入力長が 512 token
• t/s = tokens per second

これは「プロンプトを読み込む速度」に近く、並列化が効きやすいため数値が大きくなりがちです。

tg128 とは

tg128 は一般に text generation 128 tokens、つまり 128 個の token を連続生成するときの速度として理解できます。

• tg = text generation
• 128 = 128 token を連続生成
• t/s = tokens per second

こちらは普段感じる「モデルの返答が速いか」により近い指標です。生成段階は token を逐次的に進めるため、通常は pp512 よりかなり低くなります。

FA とは

FA は Flash Attention です。簡単に言えば、attention 計算を最適化するためのスイッチです。

• with FA は Flash Attention を有効化した状態
• no FA は Flash Attention を無効化した状態

多くの GPU では、FA は tg128 より pp512 に対して目立った改善を出しやすいです。ただし、バックエンド、ドライバ、アーキテクチャによって効果はそろわず、デバイスによっては PP だけ伸びる、TG の変化が小さい、あるいは PP が下がることもあります。

t/s の読み方

t/s は tokens per second です。フレームレートでも FLOPS でもなく、モデルのスループットを直接表す結果です。

ランキングを読むときに一番大事なのは、同じ種類のテストを比較しているかを先に確認することです。

• pp512 と tg128 を混ぜて比較しない
• no FA と with FA を混ぜて比較しない
• CUDA、ROCm、Vulkan の結果を完全に同じ条件の曲線として扱わない

先に結論

現時点でこれらの discussion に見えているデータからは、おおよそ次のように読めます。

• CUDA は今でも llama.cpp の GPU ベンチマークで最も強く、サンプルも最も多い系統です。特に高性能な Nvidia GPU は pp512 で大きな優位があります。
• ROCm はハイエンド AMD GPU や Instinct 系でかなり実用的な成績を出しており、MI300X、7900 XTX、W7900 などの項目は十分強いです。
• Vulkan の強みは「絶対に最速」ではなく、対応範囲の広さです。Nvidia、AMD、Intel、Apple Asahi / MoltenVK に加え、古い GPU や内蔵 GPU でも比較対象を見つけやすいです。
• tg128 は日常の体感に近く、pp512 はスループットを見るのに向いています。ランキング上位の GPU でも、両指標でのリード幅は必ずしも同じではありません。

CUDA 完全ランキング

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Apple Silicon の参照基準

#4167 の discussion が後の 3 つと大きく違うのは、より早い段階で統一された見方を作っており、Q4_0 だけでなく F16 や Q8_0 も併記している点です。PP / TG / t/s を理解するうえで役立ちます。

discussion 内での説明は次のとおりです。

• PP は prompt processing
• TG は text-generation
• t/s は tokens per second

本文で確認できる時系列比較の例として、同じ M2 Ultra がバージョンと FA の進化に応じてどう変わったかが示されています。

Apple の系統はここでは全文を展開せず、以降は指定された 3 種類のディスクリート GPU バックエンドのランキングを中心に見ます。

ROCm / HIP 完全ランキング

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Vulkan 完全ランキング

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, FA enabled

これらの表の使い方

GPU を買いたい、または手元のマシンがおおよそどの位置にあるかを知りたいだけなら、実用的な読み方は次の 3 ステップです。

1. まず tg128 と pp512 のどちらを重視するかを見る。
   日常会話、コーディング、チャットの体感なら tg128 を優先します。長いコンテキストの処理、バッチ処理、サーバー側で大量の prompt をさばく用途なら pp512 を見るべきです。

2. 次に実際に使うバックエンドを見る。
   Nvidia なら通常 CUDA が実際の上限に近く、AMD なら ROCm と Vulkan を先に照合します。クロスプラットフォーム互換を重視する場合は Vulkan が参考になります。

3. 最後に FA を見る。
   多くの GPU では FA 有効時に pp512 がより大きく伸びますが、tg128 が同じだけ伸びるとは限りません。単一の最高スコアだけで判断しないほうが安全です。

ひと言でまとめると

同じ llama.cpp ベンチマークでも、pp512、tg128、Q4_0、FA、CUDA / ROCm / Vulkan はそれぞれまったく違う軸を表します。先に条件を切り分けてから数字を見ることで、ランキングに意味が出ます。

最短で覚えるなら、次のとおりです。

• CUDA は現時点で全体的に最も強い
• ROCm はハイエンド AMD GPU でかなり戦える
• Vulkan は対応範囲が最も広く、古い GPU、内蔵 GPU、Intel Arc、Apple Asahi まで比較対象がある
• tg128 は pp512 より日常の実際の体感に近い

元データ

• CUDA discussion #15013: https://github.com/ggml-org/llama.cpp/discussions/15013
• Apple Silicon discussion #4167: https://github.com/ggml-org/llama.cpp/discussions/4167
• ROCm discussion #15021: https://github.com/ggml-org/llama.cpp/discussions/15021
• Vulkan discussion #10879: https://github.com/ggml-org/llama.cpp/discussions/10879