llama.cpp ollama 顯卡性能天梯：CUDA、ROCm、Vulkan

先看懂這些參數

Q4_0 是什麼

Q4_0 是一種 4-bit 量化格式。它的意義不是「模型更強」，而是「模型更小、更省顯存、更容易塞進更多設備裡」。這些榜單大多統一使用 Llama 2 7B, Q4_0，核心目的就是減少變數，讓不同 GPU 的成績更容易橫向比較。

pp512 是什麼

pp512 一般可以理解為 prompt processing 512 tokens，也就是處理 512 個輸入 token 時的吞吐。

• pp = prompt processing
• 512 = 輸入長度是 512 token
• t/s = tokens per second

它更像是「吃提示詞的速度」，通常能更充分地並行，所以數字往往很高。

tg128 是什麼

tg128 一般可以理解為 text generation 128 tokens，也就是連續生成 128 個 token 時的速度。

• tg = text generation
• 128 = 連續生成 128 token
• t/s = tokens per second

它更接近我們平時感受到的「模型回答快不快」。因為生成階段是逐 token 遞推，所以通常明顯低於 pp512。

FA 是什麼

FA 是 Flash Attention。簡單理解，就是注意力計算的一種最佳化開關。

• with FA 表示啟用了 Flash Attention
• no FA 表示關閉 Flash Attention

在不少卡上，FA 對 pp512 的提升比對 tg128 更明顯；但不同後端、不同驅動和不同架構之間，提升幅度並不一致，個別設備甚至會出現 PP 上升、TG 變化很小，或者 PP 反而下降的情況。

t/s 怎麼看

t/s 就是 tokens per second。它不是幀率，也不是 FLOPS，而是模型吞吐表現的直接結果。

讀榜單時最重要的一點是：先確認你比較的是不是同一種測試。

• 不要把 pp512 和 tg128 直接混著比
• 不要把 no FA 和 with FA 混著比
• 不要把 CUDA、ROCm、Vulkan 的結果當成完全等價的同一條曲線

先說結論

從這幾條討論串目前可見的資料看，大致可以先記住這幾個結論：

• CUDA 仍然是目前 llama.cpp GPU 跑分裡最強、樣本也最密集的一條線，特別是高階 Nvidia 卡在 pp512 上優勢很大。
• ROCm 在高階 AMD 卡和 Instinct 卡上已經能給出非常像樣的成績，MI300X、7900 XTX、W7900 這些條目都不弱。
• Vulkan 的優點不是「絕對最快」，而是覆蓋面最廣，Nvidia、AMD、Intel、Apple Asahi / MoltenVK，甚至很多老卡和核顯都能找到條目。
• tg128 往往更接近日常體感，pp512 更適合看吞吐能力。很多「榜一」卡，在兩項裡的領先幅度並不完全一樣。

CUDA 完整榜單

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Apple Silicon 參考口徑

#4167 這條討論和後三條最大的區別，是它更早建立了統一口徑，除了 Q4_0，還會順帶放 F16 和 Q8_0。它對理解 PP / TG / t/s 很有幫助。

討論裡直接給出的說明是：

• PP 表示 prompt processing
• TG 表示 text-generation
• t/s 表示 tokens per second

文中可見的一個時間對比樣例，是 M2 Ultra 在同一台機器上隨著版本和 FA 演進後的成績：

Apple 這條線這裡不展開全文搬運，後面重點看你指定的三類獨顯後端榜單。

ROCm / HIP 完整榜單

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Vulkan 完整榜單

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, FA enabled

這些表格該怎麼用

如果你只是想買卡，或者看手裡機器大概在哪個檔位，最實用的讀法其實是這三步：

1. 先看你關心的是 tg128 還是 pp512。
   日常對話、寫程式、聊天體感，優先看 tg128；長上下文吞吐、批次處理、服務端壓 prompt，則更應該看 pp512。

2. 再看你實際跑的後端。
   Nvidia 通常看 CUDA 更貼近真實上限；AMD 機器更應該先對照 ROCm 和 Vulkan；跨平台相容場景則更適合參考 Vulkan。

3. 最後再看 FA。
   很多卡開啟 FA 後 pp512 會漲得更明顯，但 tg128 不一定同步大漲，所以不能只看單個最高分。

一句話總結

同樣是 llama.cpp 跑分，pp512、tg128、Q4_0、FA、CUDA / ROCm / Vulkan 分別代表完全不同的維度。先把口徑分清，再看數字，榜單才有意義。

如果你只想記一個最短結論，那就是：

• CUDA 目前整體最強
• ROCm 在高階 AMD 卡上已經很能打
• Vulkan 覆蓋最廣，老卡、核顯、Intel Arc、Apple Asahi 都能找到可比條目
• tg128 比 pp512 更接近日常真實體感

原始來源

• CUDA discussion #15013: https://github.com/ggml-org/llama.cpp/discussions/15013
• Apple Silicon discussion #4167: https://github.com/ggml-org/llama.cpp/discussions/4167
• ROCm discussion #15021: https://github.com/ggml-org/llama.cpp/discussions/15021
• Vulkan discussion #10879: https://github.com/ggml-org/llama.cpp/discussions/10879