Si el rendimiento de Ollama de la implementación de NAS es insuficiente: cómo juzgar la CPU, la memoria y la tarjeta gráfica

NAS puede implementar Ollama, pero “se puede instalar” y “lo suficientemente rápido para usar” son dos cosas diferentes.

Si el objetivo es realizar resúmenes ocasionales, preguntas y respuestas sobre archivos, automatización del hogar y llamadas API de baja frecuencia, el NAS x86 puede usar CPU para ejecutar modelos pequeños; Si desea tener conversaciones continuas como software de chat, ejecutar modelos de código 7B/8B o realizar múltiples llamadas de servicio, la clave es la memoria de video, la memoria y la disipación de calor, no cuántos TB tiene el disco duro.

Primero demos la conclusión:

**NAS sin GPU disponible es adecuado para modelos pequeños y tareas de baja frecuencia; Sólo las GPU NVIDIA reconocidas correctamente por Ollama son más adecuadas para utilizar los modelos 7B/8B como servicios diarios. **

Primero confirme a qué categoría pertenece su NAS

No se limite a mirar “chip AI”, “NPU” o “transcodificación 4K” en la página de promoción del producto. Que Ollama pueda acelerar depende de si el sistema, el controlador, los permisos del contenedor y el hardware se reconocen en el entorno de ejecución real.

La tabla es un punto de partida para juzgar la implementación, no una promesa de rendimiento. El modelo de CPU, los canales de memoria, el formato del modelo, la longitud del contexto, la cantidad de concurrencias, las limitaciones del sistema NAS y la disipación térmica variarán los resultados reales.

Primero veamos “almacenamiento” y “razonamiento” por separado.

El gran disco duro del NAS resuelve principalmente el problema del almacenamiento de archivos de modelos: puede guardar muchas bibliotecas de documentos y capas de modelos GGUF, Ollama. La velocidad de inferencia está determinada principalmente por los siguientes elementos:

• Rendimiento del núcleo de la CPU y ancho de banda de la memoria;
• Si la memoria del sistema es suficiente para instalar el modelo y el tiempo de ejecución;
• Si la GPU está disponible y si la memoria de video puede adaptarse al modelo y al contexto;
• Si los carriles, controladores y contenedores PCIe se transmiten correctamente de forma transparente;
• Longitud del contexto, cuantificación del modelo, concurrencia y longitud de salida.

Entonces, la respuesta a “¿Puede un NAS ejecutar un modelo de 32 B si tiene un disco duro de 40 TB?” Por lo general, los archivos se pueden colocar, pero es posible que no se puedan inferir a una velocidad aceptable.

NAS solo con CPU: ¿Cuándo vale la pena implementarlo?

Es posible ejecutar Ollama sin una GPU. La imagen oficial de Docker admite el arranque puro de CPU:

1
2
3
4
5

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

Sólo CPU apto para:

• Resumen nocturno de lotes, clasificación de documentos, extracción de etiquetas;
• tareas de texto de baja frecuencia en domótica;
• Validar llamadas API, canalizaciones RAG y lógica de permisos;
• Herramientas personales que son insensibles a la latencia inicial del token y la velocidad de generación.

No muy adecuado para:

• Servicio de chat para varias personas;
• Agente de código de largo tiempo;
• Los modelos grandes se generan continuamente;
• Asistente de voz en tiempo real o preguntas y respuestas web de alta frecuencia.

La estrategia correcta para solo CPU es utilizar primero un modelo pequeño, un contexto breve y limitar la concurrencia. No descargue primero el modelo más grande y luego espere obtener una experiencia similar a la de la nube “confiando en el NAS y calculando lentamente”.

¿Cuánta memoria se debe reservar al menos?

La memoria del sistema no sólo se utiliza para los pesos de los modelos, sino también para el propio NAS, el caché de archivos, Docker, tareas de descarga, índice de fotografías, contenedores y KV Cache.

Un principio práctico: **No dejes que Ollama se coma la memoria del NAS hasta que empiece a intercambiarse mucho. ** Una vez que el intercambio intervenga con frecuencia, el tiempo de respuesta se deteriorará significativamente y el intercambio de archivos y otros servicios también se verán afectados.

El tamaño del archivo del modelo es solo un límite inferior. La carga del modelo, el contexto y el tiempo de ejecución seguirán ocupando memoria, así que no confíe en “archivo de 8 GB, máquina de 8 GB” para juzgar si se puede ejecutar.

La mayor diferencia en experiencia se ve con las GPU NVIDIA

Si el NAS es x86 Linux y tiene una tarjeta gráfica NVIDIA compatible, Ollama puede usar la aceleración de GPU. Ollama enumera oficialmente el rango de soporte de la capacidad informática de NVIDIA 5.0+ y el controlador 531+, entre los cuales la serie RTX 30 también se incluye en la lista de soporte.

La solución Docker requiere que el host configure primero NVIDIA Container Toolkit y luego use los parámetros de GPU para iniciar el contenedor:

1
2
3
4
5
6

docker run -d \
  --gpus=all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

Una vez iniciado el contenedor, verifique la transmisión transparente de la GPU en lugar de descargar directamente el modelo grande:

1

docker run --gpus all ubuntu nvidia-smi

Cuando este comando no muestra la tarjeta gráfica correctamente, el contenedor Ollama no puede usar la GPU. En este momento, primero debe verificar si el controlador, el Container Toolkit, el tiempo de ejecución de Docker y el sistema NAS admiten la transmisión transparente de GPU PCIe.

¿Se pueden utilizar directamente los gráficos principales, la NPU y las capacidades de transcodificación del NAS?

Esto no se puede asumir por defecto.

Los gráficos centrales de muchos NAS se utilizan principalmente para decodificación, transcodificación o salida de gráficos de video; Es posible que la NPU anunciada por algunos dispositivos solo esté abierta a las aplicaciones del propio fabricante. Que Ollama pueda utilizarlos depende del backend, el sistema operativo, el controlador y los permisos del dispositivo admitidos por Ollama.

Se deben ver pruebas reales antes del despliegue:

• Si el host puede ver el dispositivo GPU;
• Si nvidia-smi o la herramienta de detección del fabricante correspondiente se pueden ejecutar en el contenedor;
• ¿Los registros de Ollama muestran claramente el uso de GPU?
• Bajo el mismo mensaje, ¿es razonable la diferencia de velocidad entre GPU y CPU?

Cuando no vea esta evidencia, planifique de acuerdo con las expectativas de la CPU únicamente. No compre un modelo basado en el rendimiento de gráficos discretos sólo porque el dispositivo tiene un “motor de transcodificación”.

Cómo elegir un modelo para no derribar el NAS

El núcleo de la implementación de NAS no es perseguir el modelo más grande, sino permitir que las tareas comunes se completen primero de manera estable.

Una vez que el modelo es demasiado grande, los síntomas comunes de NAS no son fallas inmediatas, sino cargas prolongadas, primera generación lenta de tokens, baja velocidad de generación y aumento continuo de la memoria del sistema, lo que en última instancia afecta la estabilidad de los servicios de archivos y contenedores.

Estructura de implementación recomendada

Para la mayoría de las familias o equipos pequeños, se recomienda utilizar NAS como “nodo de razonamiento ligero y de datos”:

1
2
3
4
5
6
7
8

NAS
├─ Ollama：小模型、Embedding、低频 API
├─ 文档与向量库：私有文件、备份、RAG 数据
├─ 反向代理：局域网访问控制
└─ 监控：CPU、内存、GPU、容器日志

高显存主机或云端
└─ 大模型、长上下文、复杂 Agent、高并发推理

Esta división del trabajo es más estable que forzar todas las inferencias en el NAS: los archivos confidenciales permanecen locales y las tareas pesadas se enrutan a dispositivos más apropiados.

Prueba de cinco minutos antes del despliegue

No descargues primero docenas de modelos de GB. Primer juez según este proceso:

1. Confirme la arquitectura del NAS, la compatibilidad con Docker y la memoria restante.
2. Inicie el contenedor Ollama y confirme que http://NAS地址:11434 sea accesible.
3. Saque un modelo pequeño y haga de 5 a 10 preguntas fijas seguidas.
4. Observe el uso de CPU, memoria, intercambio, E/S de disco y GPU.
5. Luego cambie a un modelo que se acerque a los requisitos reales y aumente gradualmente el contexto y la concurrencia.

Puede utilizar el siguiente comando para ver los recursos del contenedor:

1

docker stats ollama

Si tienes una GPU NVIDIA, observa al mismo tiempo:

1

nvidia-smi

Siempre que las tareas de intercambio de archivos, publicación de fotografías o copias de seguridad sean notablemente más lentas cuando se ejecuta un modelo, el modelo actual o la concurrencia no son adecuados para NAS, y el tamaño del modelo debe reducirse o la inferencia debe trasladarse a otras máquinas.

No ignores la red y la seguridad

El puerto de servicio local predeterminado de Ollama es 11434. Si desea que otros dispositivos en la LAN lo llamen, primero implemente el control de acceso en el firewall del NAS o en la capa de proxy inverso, y no exponga directamente el puerto de inferencia no autenticado a la red pública.

Especialmente cuando hay fotos familiares, copias de seguridad, documentos y archivos privados en el NAS, el servicio de modelo, el servicio de archivos y el backend de administración deben utilizar límites de permisos diferentes. Para llamadas que se pueden completar en la LAN, no es necesario abrir el puerto de la red pública.

Resumir

Si Ollama es suficiente para la implementación de NAS se puede juzgar de la siguiente manera:

1
2
3
4
5
6
7
8

只做摘要、分类、Embedding
-> CPU-only NAS 可以尝试

想要 7B/8B 模型的日常交互体验
-> 需要可用 GPU，优先看显存

想做长上下文、复杂 Agent 或多人并发
-> 更适合高显存主机或云端推理

Primero use un modelo pequeño para verificar los recursos y la estabilidad, y luego decida si agregar una tarjeta gráfica, expandir la memoria o dividir los nodos de inferencia. NAS es excelente para alojar datos privados y servicios de modelos livianos, pero no es un servidor de modelos grandes natural.

referirse a:

• Soporte de hardware de Ollama
• Implementación de Ollama Docker
• Solución de problemas de la GPU Ollama
• Tutorial de cambio de modelos múltiples de Ollama