🍥

记录并分享日常

Tags

8 páginas

GGUF

Actualización llama.cpp b9196: los binarios precompilados para Windows soportan CUDA 13.1, Vulkan, HIP y SYCL

Modelos LLM locales recomendados para una GPU RTX 3060

Ejecutar Qwen3.6 en local: requisitos de VRAM para modelos cuantizados 27B y 35B-A3B

Ejecutar Gemma 4 en local: requisitos de VRAM para modelos cuantizados E2B, E4B, 26B y 31B

Cómo usar llama-quantize para modelos GGUF

Cómo obtener modelos GGUF desde Hugging Face con llama.cpp

Elegir cuantización GGUF de Llama en Hugging Face: consejos prácticos de Q8 a Q2

Descargar modelos GGUF desde Hugging Face e importarlos en Ollama