escalera de rendimiento de la tarjeta gráfica llama.cpp ollama: CUDA, ROCm, Vulkan

Primero comprenda estos parámetros

¿Qué es Q4_0?

Q4_0 es un formato de cuantificación de 4 bits. Su significado no es “el modelo es más fuerte”, sino “el modelo es más pequeño, ahorra memoria de video y es más fácil de instalar en más dispositivos”. La mayoría de estas listas usan Llama 2 7B, Q4_0. El objetivo principal es reducir las variables y facilitar la comparación horizontal de los resultados de diferentes GPU.

¿Qué es pp512?

pp512 generalmente puede entenderse como prompt processing 512 tokens, que es el rendimiento al procesar 512 tokens de entrada.

• pp = procesamiento rápido
• 512 = La longitud de entrada es 512 tokens
• t/s = tokens por segundo

Es más como “velocidad de comer palabras clave” y generalmente es más paralelo, por lo que los números tienden a ser altos.

¿Qué es tg128?

tg128 generalmente puede entenderse como text generation 128 tokens, que es la velocidad cuando se generan 128 tokens continuamente.

• tg = generación de texto
• 128 = generar 128 tokens continuamente
• t/s = tokens por segundo

Está más cerca de lo que normalmente sentimos como “si el modelo responde rápidamente o no”. Debido a que la fase de generación es recursiva token por token, generalmente es significativamente menor que pp512.

¿Qué es FA?

FA es Flash Attention. Una comprensión simple es un interruptor de optimización para el cálculo de la atención.

• with FA significa que la atención flash está habilitada
• no FA significa desactivar Flash Atención

En muchas tarjetas, la mejora de FA a pp512 es más obvia que la de tg128; sin embargo, la mejora no es consistente entre diferentes backends, diferentes controladores y diferentes arquitecturas. Algunos dispositivos pueden incluso experimentar un aumento de PP, un pequeño cambio en TG o una disminución de PP.

t/s Cómo leer

t/s es tokens per second. No es velocidad de cuadros, no es FLOPS, es un resultado directo del rendimiento del modelo.

El punto más importante al leer la lista es: **Primero confirma si estás comparando la misma prueba. **

• No compares pp512 y tg128 directamente
• No confundas no FA con with FA
• No considere los resultados de CUDA, ROCm y Vulkan como completamente equivalentes a la misma curva

Hablemos primero de la conclusión.

A juzgar por los datos actualmente visibles en estos hilos de discusión, podemos recordar aproximadamente estas conclusiones:

• CUDA sigue siendo la línea más sólida y con mayor uso de muestras entre los puntos de referencia de GPU llama.cpp actuales. En particular, las tarjetas Nvidia de alta gama tienen una gran ventaja en pp512.
• ROCm ya puede dar resultados muy decentes en tarjetas AMD e Instinct de gama alta. MI300X, 7900 XTX y W7900 no son débiles.
• La ventaja de Vulkan no es “absolutamente más rápido”, sino la cobertura más amplia. Se pueden encontrar entradas para Nvidia, AMD, Intel, Apple Asahi / MoltenVK e incluso muchas tarjetas y pantallas centrales antiguas.
• tg128 suele estar más cerca de la sensación física diaria y pp512 es más adecuado para observar la capacidad de rendimiento. Para muchas tarjetas “superiores”, los márgenes de ventaja en las dos categorías no son exactamente los mismos.

Lista completa de CUDA

Llama 2 7B, Q4_0, sin FA

Llama 2 7B, Q4_0, con FA

Calibre de referencia de Apple Silicon

#4167 La mayor diferencia entre esta discusión y las tres últimas es que estableció un calibre unificado antes. Además de Q4_0, también incluye F16 y Q8_0. Es útil para comprender PP / TG / t/s.

Las instrucciones dadas directamente en la discusión son:

• PP significa prompt processing
• TG significa text-generation
• t/s significa tokens per second

Un ejemplo de comparación de tiempos que se puede ver en el artículo son los resultados de M2 Ultra a medida que evolucionan las versiones y FA en la misma máquina:

Al principio del texto de discusión, se dan varios ejemplos unificados de dispositivos Apple Silicon:

No entraré aquí en el texto completo de la línea de Apple. Más adelante, me centraré en las tres categorías de listas de backend de gráficos independientes que usted especificó.

Lista completa de ROCm / HIP

Llama 2 7B, Q4_0, sin FA

Llama 2 7B, Q4_0, con FA

Lista completa de Vulkan

Llama 2 7B, Q4_0, sin FA

Llama 2 7B, Q4_0, FA habilitado

Cómo utilizar estas tablas

Si solo quieres comprar una tarjeta o comprobar en qué marcha está la máquina que tienes en la mano, la forma más práctica de leerla son en realidad estos tres pasos:

1. Primero vea si le preocupa tg128 o pp512.
   Para conversaciones diarias, escritura de código y experiencia de chat, debes darle prioridad a tg128; para obtener rendimiento de contexto prolongado, procesamiento por lotes y avisos del lado del servidor, debería consultar más en pp512.

2. Mire el backend que realmente ejecuta.
   Nvidia normalmente mira CUDA, que está más cerca del límite superior real; Las máquinas AMD deben verificar primero ROCm y Vulkan; Los escenarios de compatibilidad multiplataforma son más adecuados para referirse a Vulkan.

3. Finalmente, mira FA.
   Para muchas tarjetas, pp512 aumentará de manera más obvia después de que se active FA, pero es posible que tg128 no necesariamente aumente simultáneamente, por lo que no se puede mirar simplemente una puntuación más alta.

Resumen de una oración

Lo mismo es el puntaje actual llama.cpp, pp512, tg128, Q4_0, FA, CUDA / ROCm / Vulkan representan respectivamente dimensiones completamente diferentes. Sólo aclarando primero el calibre y luego mirando los números la lista podrá tener significado.

Si solo quieres recordar la conclusión más corta, es decir:

• CUDA es actualmente el más fuerte en general
• ROCm ya es muy capaz en tarjetas AMD de alta gama
• Vulkan tiene la cobertura más amplia y se pueden encontrar entradas comparables para tarjetas antiguas, gráficos centrales, Intel Arc y Apple Asahi.
• tg128 está más cerca de la sensación corporal real diaria que pp512

Fuente original

• Discusión CUDA n.º 15013: https://github.com/ggml-org/llama.cpp/discussions/15013
• Discusión sobre Apple Silicon n.º 4167: https://github.com/ggml-org/llama.cpp/discussions/4167
• Discusión de ROCm #15021: https://github.com/ggml-org/llama.cpp/discussions/15021
• Discusión sobre Vulkan #10879: https://github.com/ggml-org/llama.cpp/discussions/10879