🍥

记录并分享日常

Tags

5 páginas

Local Inference

Ajuste práctico de Gemma 4 MTP: acercarse a 120 tokens/s con un modelo borrador assistant

Qué es Gemma 4 assistant-MTP: cómo los modelos borrador de Multi-Token Prediction aceleran la inferencia

Ejecutar Gemma 4 12B con 8GB de VRAM: cómo ajustar la descarga híbrida en llama-cli

Despliegue local de DiffusionGemma: ejecutar el modelo de difusión de texto de Google con vLLM

DiffusionGemma: Google lleva los modelos de difusión a la generación de texto