IA abierta y local

llama.cpp v1.0 ofrece importantes mejoras de velocidad para la decodificación paralela y especulativa

El lanzamiento de llama.cpp v1.0 introduce cambios disruptivos en la API y mejoras significativas de rendimiento para cargas de trabajo de decodificación multi-solicitud y especulativa en GPUs NVIDIA RTX serie 30.

Ilustración de una GPU conectándose a múltiples tokens de datos
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

El 13 de noviembre de 2026, el proyecto llama.cpp alcanzó la versión 1.0, marcando un cambio hacia un versionado semántico estricto para su motor de inferencia C/C++. Las pruebas realizadas el 14 de noviembre utilizando una NVIDIA RTX 3090 revelan que, si bien el rendimiento para usuarios individuales permanece estable, el procesamiento paralelo y la decodificación especulativa experimentan aumentos sustanciales de velocidad de hasta el 55 por ciento.

Qué ocurrió

El lanzamiento de llama.cpp v1.0.0 (compilación 12359) introduce varios cambios disruptivos en la API pública C y en la interfaz de línea de comandos. El cambio operativo más inmediato para los usuarios es la eliminación del flag --defrag-thold, que debe retirarse de los scripts de inicio antes de actualizar. Además, se han endurecido los valores predeterminados de seguridad: llama-server ahora se niega a habilitar herramientas integradas o servidores del Protocolo de Contexto de Modelo (MCP) en direcciones de red que no sean de bucle invertido (loopback), a menos que se proporcione una clave de API mediante --api-key. También se bloquean por defecto las solicitudes que hagan referencia a URLs de medios privados o locales, salvo que se permitan explícitamente.

Las pruebas de rendimiento compararon esta nueva compilación contra una versión previa a la v1 (compilación 12199) de cinco días antes. Los tests se ejecutaron en Fedora 44 con Docker 29.9.2, utilizando una CPU AMD Ryzen 9 5900X y una GPU NVIDIA RTX 3090 con 24 GB de VRAM. Los modelos probados incluyeron Qwen3.5 9B y 27B con cuantización Q4_K_M. Los resultados indican que para sesiones de chat de usuario único sin funciones avanzadas, el rendimiento es prácticamente idéntico al de las compilaciones anteriores. Sin embargo, los escenarios que involucran múltiples solicitudes concurrentes o decodificación especulativa muestran mejoras notables.

Cómo funciona

La principal mejora de rendimiento en la v1.0 proviene de un nuevo kernel CUDA diseñado para GPUs NVIDIA RTX serie 30 (Ampere) y posteriores. Este kernel optimiza las operaciones donde el modelo procesa entre 2 y 24 tokens simultáneamente. En el modo estándar de solicitud única, el modelo procesa un token por paso, utilizando un kernel antiguo que permanece inalterado. No obstante, al manejar solicitudes paralelas o decodificación especulativa, la carga de trabajo cambia a pasos de múltiples tokens.

La decodificación especulativa utiliza un modelo borrador más pequeño para predecir los siguientes tokens, los cuales son verificados luego por el modelo principal más grande en un solo paso. Este proceso de verificación implica comprobar múltiples tokens a la vez, aprovechando directamente la capacidad del nuevo kernel para leer los pesos una sola vez y multiplicarlos a través de todos los tokens del paso. De manera similar, las solicitudes paralelas utilizan batching continuo para procesar juntos los tokens de diferentes usuarios. Dado que estos flujos de trabajo se alinean con el diseño del nuevo kernel, experimentan aumentos significativos en el throughput, mientras que el procesamiento secuencial de un solo token no lo hace.

Detalles clave

  • Throughput paralelo: Manejar cuatro solicitudes simultáneas resultó en un aumento de velocidad del 14% para el modelo de 9B y del 22% para el modelo de 27B en comparación con la compilación previa a la v1.
  • Decodificación especulativa: El uso de Predicción de Múltiples Tokens (MTP) con el modelo de 27B generó un aumento del 52% al 55% en tokens por segundo, pasando de aproximadamente 45 tok/s a 68.5 tok/s.
  • Rendimiento de usuario único: Para una sola solicitud sin decodificación especulativa, las diferencias de velocidad fueron insignificantes, manteniéndose dentro de un margen de error del 1.5% en ambas direcciones.
  • Cambios disruptivos: Se elimina el flag --defrag-thold. Los servidores en red requieren una clave de API para usar herramientas, y el acceso a URLs privadas requiere el flag --media-allow-private-urls.
  • Nuevas funciones: El lanzamiento incluye una opción FP8 para la caché de contexto, una caché de RAM del sistema para modelos de mezcla de expertos (mixture-of-experts) y un endpoint de texto a voz en /v1/audio/speech.
  • Política de versionado: Futuros incrementos de versión mayor solo ocurrirán ante cambios disruptivos en la API o ABI, proporcionando mayores expectativas de estabilidad para los desarrolladores que construyen sobre llama.cpp.

Por qué importa

Para desarrolladores y líderes técnicos que gestionan infraestructuras locales de LLM, este lanzamiento señala una maduración de la cadena de herramientas. La adopción del versionado semántico significa que integrar llama.cpp en aplicaciones de producción es menos riesgoso, ya que los cambios disruptivos ahora se señalan claramente mediante números de versión mayor. Sin embargo, el impacto inmediato es operativo: los equipos deben actualizar sus scripts de despliegue para eliminar flags obsoletos y configurar claves de API para cualquier instancia expuesta en la red. No hacerlo resultará en errores de inicio o funcionalidades deshabilitadas.

Las implicaciones de rendimiento son específicas según el tipo de carga de trabajo. Si ejecutas un chatbot personal para uso de un solo usuario, la actualización no ofrece ningún beneficio urgente de rendimiento. No obstante, para servicios que soportan múltiples usuarios concurrentes, agentes o asistentes de codificación que golpean el servidor simultáneamente, la ganancia de throughput del 14-22% es significativa. Aún más impactante es el impulso a la decodificación especulativa, que hace que ejecutar modelos más grandes y capaces como Qwen3.5 27B sea mucho más responsivo en hardware de consumo. Esto hace que la inferencia local de alta calidad sea más viable para aplicaciones interactivas donde la latencia importa.

Qué puedes hacer

  • Actualiza tus scripts de inicio: Elimina el flag --defrag-thold o -dt de tus comandos llama-server antes de actualizar a la v1.0.
  • Asegura instancias en red: Si tu servidor escucha en una dirección que no sea localhost, añade una --api-key para evitar que las herramientas y servidores MCP sean deshabilitados por defecto.
  • Habilita el acceso a medios privados: Si tu flujo de trabajo involucra imágenes o medios alojados en direcciones de red local, añade el flag --media-allow-private-urls para mantener la compatibilidad.
  • Prueba cargas paralelas: Si atiendes a múltiples clientes, realiza benchmarks de tu hardware específico con la nueva compilación para cuantificar la ganancia de throughput del 14-22% para el tamaño de tu modelo.
  • Experimenta con la decodificación especulativa: Intenta habilitar MTP o decodificación especulativa con modelos más grandes para aprovechar la aceleración superior al 50% en GPUs RTX serie 30 y posteriores.
  • Verifica la compatibilidad de dependencias: Si construyes software sobre la API C de llama.cpp, revisa las notas del lanzamiento para los cambios disruptivos antes de adoptar los headers de la v1.0.
  • #llama.cpp
  • #local llm
  • #nvidia gpu
  • #speculative decoding
  • #performance

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos