llama.cpp GPU 性能怎么比：CUDA、ROCm、Vulkan 复测与选卡方法

社区里的 llama.cpp 跑分表很适合找候选显卡，却不能直接当成购买排行榜。驱动、后端、提交版本、功耗、模型量化、上下文和显存卸载比例任何一项不同，都可能改变结果。

本文保留原始 scoreboard 的参考入口，但不再复制数百行跑分。重点改为：如何读指标、怎样复测，以及什么情况下两组数字可以比较。

先读懂 pp512 和 tg128

llama-bench 常见两项：

• pp512：一次处理 512 个提示 token，接近 prompt ingestion/prefill。
• tg128：连续生成 128 个 token，接近用户等待回答时的 decode。

两者单位通常是 token/s，但代表不同瓶颈。批量摘要、长提示更关注 pp；聊天和代码补全更关注 tg。不能只取其中最大的数字宣布某张卡“快几倍”。

Q4_0、Q4_K_M 等表示权重量化格式。量化不同，模型大小、显存带宽压力和计算路径也不同。FA 表示 Flash Attention 是否启用，它对长上下文和特定后端的影响可能很大。

哪些跑分可以直接比较

至少要同时满足：

如果 scoreboard 缺少其中几项，只能用于粗筛，不能精确计算性价比。

CUDA 完整榜单

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

建立自己的测试基线

记录版本：

1
2

llama-bench --version
git -C llama.cpp rev-parse HEAD

记录 NVIDIA 环境：

1

nvidia-smi --query-gpu=name,driver_version,memory.total,power.limit,temperature.gpu --format=csv

AMD Linux：

1
2

rocminfo | head -80
rocm-smi --showproductname --showmeminfo vram --showpower --showtemp

Vulkan：

1

vulkaninfo --summary

这些输出应和跑分 CSV 一起保存。只有 t/s 没有环境记录，几周后就很难复现。

最小复测命令

假设测试同一个 model-q4_k_m.gguf：

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 1 \
  -r 5 \
  -o csv > bench-fa.csv

关闭 Flash Attention 做对照：

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 0 \
  -r 5 \
  -o csv > bench-no-fa.csv

先运行一次预热，再重复至少五次。不要同时下载模型、跑游戏或让桌面应用占用大量显存。

验证是否真的完全进显存

测试时观察显存：

1

nvidia-smi dmon -s pucm

如果模型溢出到系统内存或只有部分层卸载，结果反映的是 CPU、PCIe 和 GPU 的组合，不再是单纯显卡性能。比较两张卡前要确保 -ngl 和实际 offload 状态一致。

多 GPU 还需要记录 split mode、各卡显存、PCIe/SXM 互连和张量切分。两张卡能装下更大模型，不代表小模型 decode 一定比单张大显存卡快。

CUDA、ROCm 和 Vulkan 怎么选

CUDA

NVIDIA 通常拥有最成熟的 llama.cpp 路径。选卡时除了 t/s，还要看显存容量、显存带宽、功耗和二手卡可靠性。能装下目标模型往往比峰值算力更重要。

ROCm/HIP

AMD 数据必须写明 ROCm 和驱动版本。消费级 Radeon 的支持矩阵、系统版本和具体架构会影响能否正常运行。不要把某张卡在一个 Linux 组合中的成绩直接推广到 Windows。

Vulkan

Vulkan 覆盖范围广，适合缺少原生 CUDA/ROCm 路径的设备，也适合做跨平台基线。但不同驱动和设备的优化差异很大，社区表格尤其需要复测。

用结果回答实际选卡问题

先确定目标模型和上下文，再估算权重、KV cache 和运行时余量。显存刚好等于模型文件大小通常不够。

选择时建议按顺序判断：

1. 目标量化能否完整放入显存。
2. 所需上下文的 KV cache 是否还有空间。
3. tg 是否满足交互速度。
4. pp 是否满足长提示吞吐。
5. 后端在你的操作系统上是否稳定。
6. 功耗、噪音和总成本是否可接受。

例如，一张 tg128 更高但显存不足的卡，运行目标 30B 模型时可能不如一张速度稍低、却能完全装入显存的卡。

结果表应该怎么写

建议至少保留：

1
2

tested_at,llama_commit,gpu,driver,backend,model,quant,ngl,flash_attention,pp512_tps,tg128_tps,power_limit,notes
2026-08-02,abcdef1,Example GPU,driver-version,CUDA,model-name,Q4_K_M,999,true,0,0,250W,replace zeros with measured median

公开结果时标明数字是实测、中位数还是引用。不要把多个作者、多个年份、多个模型的记录混合后仍称为“完整天梯”。

社区数据适合做什么

GitHub Discussions 中的 scoreboard 仍然有价值：它能帮助发现某张卡是否有人跑通过、后端是否成熟，以及大致性能区间。但最终购买或部署前，应使用同一模型在候选硬件上复测。

原始参考：

• CUDA scoreboard discussion #15013
• Apple Silicon discussion #4167
• ROCm scoreboard discussion #15021
• Vulkan scoreboard discussion #10879
• llama.cpp GitHub