Cómo comparar el rendimiento GPU de llama.cpp: CUDA, ROCm, Vulkan y pruebas reproducibles

Las carreras de llama.cpp en la comunidad son muy adecuadas para encontrar candidatos para una tarjeta gráfica, pero no se pueden considerar directamente como una lista de compra. Un controlador diferente, backend, versión de presentación, utilidad, cuantificación modelo, contexto y relación de descarga visible puede cambiar el resultado.

Este documento conserva la entrada de referencia de marcador original, pero no copia cientos de carreras. El enfoque debe cambiarse a: cómo leer los indicadores, cómo repetirlos, y en qué circunstancias se podrían comparar los dos conjuntos de cifras.

Empezar por pp512 y tg128

llama-bench Dos comunes:

• pp512: procesamiento por una sola vez de 512 consejos token, cerca de la inging/prefill rápida.
• tg128: Una generación continua de 128 fichas, cerca de decodificar cuando el usuario espera responder.

La unidad suele ser tokens/s, pero las dos métricas reflejan cuellos de botella distintos. El procesamiento por lotes y la ingestión de prompts largos dependen más de pp; el chat y la finalización de código dependen más de tg. Un solo número mayor no basta para afirmar que una GPU es “dos veces más rápida”.

Q4_0 y Q4_K_M son cuantizaciones distintas. También cambian el tamaño del modelo, la presión sobre el ancho de banda de VRAM y las rutas de cálculo. FA indica si Flash Attention está activado y puede afectar mucho al contexto largo según el backend.

Qué resultados se pueden comparar directamente

Al menos se reúnen al mismo tiempo:

Si el marcador carece de varios de estos, sólo se puede utilizar para la detección brusca y no se puede calcular con precisión.

Clasificación completa de CUDA

Llama 2 7B, Q4_0, no FA

Llama 2 7B, Q4_0, with FA

Establecer una base de prueba propia

Versión grabada:

1
2

llama-bench --version
git -C llama.cpp rev-parse HEAD

Record NVIDIA environment:

1

nvidia-smi --query-gpu=name,driver_version,memory.total,power.limit,temperature.gpu --format=csv

AMD Linux:

1
2

rocminfo | head -80
rocm-smi --showproductname --showmeminfo vram --showpower --showtemp

Vulkan:

1

vulkaninfo --summary

Estos productos deben guardarse con el CSV desplegable. Sólo t/s no tiene registros ambientales, y será difícil recuperarse en unas pocas semanas.

Repetición mínima

Suponiendo la misma prueba. model-q4_k_m.gguf:

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 1 \
  -r 5 \
  -o csv > bench-fa.csv

Cerrar atención Flash

1
2
3
4
5
6
7
8

llama-bench \
  -m ./models/model-q4_k_m.gguf \
  -p 512 \
  -n 128 \
  -ngl 999 \
  -fa 0 \
  -r 5 \
  -o csv > bench-no-fa.csv

Corre un precalentamiento y repite al menos cinco veces. No descargar modelos al mismo tiempo, ejecutar juegos o permitir que las aplicaciones de escritorio ocupen grandes cantidades de pantallas.

Verificar que el modelo está completamente descargado a la GPU

Observación a prueba:

1

nvidia-smi dmon -s pucm

Si el modelo se derrama sobre el sistema o sólo falta parcialmente, el resultado refleja una combinación de CPU, PCIE y GPU y ya no es una simple función de tarjeta gráfica. Asegúrate antes de comparar las dos cartas. -ngl Y el estado de descarga real es el mismo.

Multi GPU también necesita registrar el modo escupido, la pantalla de tarjetas, la interconectividad PCIe/SXM y el escalado. Dos tarjetas pueden encajar en un modelo más grande, lo que no significa que un pequeño modelo decodificado debe ser más rápido que una sola tarjeta visible grande.

Elegir entre CUDA, ROCm y Vulkan

CUDA

NVIDIA generalmente tiene el camino más maduro llama.cpp. Además de t/s, las tarjetas se seleccionan para la capacidad de almacenamiento visual, ancho de banda visible, utilidad y fiabilidad de tarjeta de segunda mano. Los modelos de objetivos son a menudo más importantes que el cálculo máximo.

ROCM/HIP

Los datos de AMD deben tener versiones de ROCm y controlador. La matriz de apoyo Radeon a nivel de consumo, la versión del sistema y la arquitectura específica afectarán el funcionamiento adecuado. No extienda el logro de una tarjeta en una combinación Linux directamente a Windows.

Vulkan

Vulkan tiene una amplia gama de cobertura, adecuada para el equipo que carece de trayectorias originales CUDA/ROCm, y para líneas de referencia multiplataforma. Sin embargo, la optimización de diferentes conductores y equipos varía ampliamente, y las mesas comunitarias en particular deben ser revisadas.

Usar los resultados para elegir una GPU

Determina el modelo y contexto de destino, luego calcula el peso, KV Cache y el equilibrio de tiempo de ejecución. La visibilidad es simplemente igual al tamaño del archivo modelo.

It is recommended that the selection be judged in order:

1. Si la cuantificación del objetivo puede ser capturada completamente.
2. Si hay espacio para KV Cache en el contexto requerido.
3. tg Si la velocidad interactiva está satisfecha.
4. pp Ya sea o no conocer la larga pista de vómitos.
5. El extremo trasero está estable en su sistema operativo.
6. Admisibilidad de utilidad, ruido y coste total.

Por ejemplo, uno. tg128 Más alto, pero menos visible, las tarjetas que ejecutan el modelo 30B objetivo pueden no ser tan rápidas como una tarjeta que se carga completamente.

Qué debe incluir la hoja de resultados

Se sugiere que al menos:

1
2

tested_at,llama_commit,gpu,driver,backend,model,quant,ngl,flash_attention,pp512_tps,tg128_tps,power_limit,notes
2026-08-02,abcdef1,Example GPU,driver-version,CUDA,model-name,Q4_K_M,999,true,0,0,250W,replace zeros with measured median

Cuando los resultados se hacen públicos, las cifras se miden, median o citan. No mezcle los registros de múltiples autores, varios años, múltiples modelos y siga siendo referido como la “ escalera completa”.

Cómo utilizar los datos de la comunidad

El marcador en GitHub Discusiones todavía tiene valor: ayuda a descubrir si una tarjeta está pasando, si el extremo posterior es maduro, y amplios rangos de rendimiento. Sin embargo, el mismo modelo debe utilizarse para reescalificar el hardware candidato antes de la compra o el despliegue.

Referencia original:

• Discusión del marcador de la CUDA #15013
• Aplicar la discusión de silicona #4167
• ROCm marcador discusión #15021
• Vulkan marcador discusión #10879
• llama.cpp GitHub