IA abierta y local

llama.cpp alcanza la v1.0.0 con limpieza de API y nuevo soporte de modelos

El proyecto llama.cpp ha lanzado la versión 1.0.0, eliminando APIs obsoletas, añadiendo soporte para los modelos Kimi-K3.1 y Ripple, y reforzando la seguridad del servidor.

Un cubo metálico con circuitos brillantes representando el motor llama.cpp en el escritorio de un desarrollador.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Los mantenedores de llama.cpp han anunciado el lanzamiento de la versión 1.0.0, marcando un hito significativo para este popular motor de inferencia local de grandes modelos de lenguaje. Publicado el 13 de noviembre de 2026, esta actualización mayor introduce cambios sustanciales que rompen la compatibilidad en la interfaz de programación de aplicaciones (API) pública, al tiempo que amplía el soporte para nuevas arquitecturas de modelos como Kimi-K3.1-Pro y Ripple. El lanzamiento también se centra intensamente en el endurecimiento de la seguridad del servidor integrado y en optimizaciones de rendimiento dentro de la biblioteca subyacente ggml.

Qué ha ocurrido

Esta versión representa un punto de madurez para el proyecto, caracterizado por la eliminación de deuda técnica y la estabilización de las interfaces principales. Los desarrolladores han retirado treinta y cinco funciones obsoletas del archivo de cabecera público llama.h, incluyendo llama_set_warmup y varios parámetros de umbral. Esta limpieza tiene como objetivo simplificar la base de código para los desarrolladores que integran la biblioteca en sus propias aplicaciones. Junto con estas eliminaciones, la API de decodificación especulativa NextN fue promovida desde el encabezado experimental llama-ext.h a la interfaz principal llama.h, señalando su preparación para uso en producción.

Se prestó gran atención a la multimodalidad y a las nuevas arquitecturas de modelos. La actualización añade soporte nativo para tres nuevas arquitecturas basadas en texto: Kimi-K3.1-Pro, que reemplaza las capas de atención completa con DSA; Ripple-65B-Preview, un modelo denso de 65 mil millones de parámetros; y xing4_0, que utiliza una mezcla de técnicas de atención híbrida y mixture-of-experts. Además, el sistema ahora soporta capacidades de texto a voz drama-3 y procesamiento de visión para los modelos MageVL-Cowork y Kimi-K3.1. Estas adiciones amplían el rango de tareas que pueden realizarse localmente sin depender de servicios en la nube externos.

La seguridad y la estabilidad del servidor fueron también puntos focales importantes. El componente llama-server recibió parches para abordar falsificación de solicitudes del lado del servidor (SSRF), problemas de recursos compartidos entre orígenes (CORS) y vulnerabilidades de reencaminamiento DNS. El equipo introdujo banderas opt-in para permitir herramientas no autenticadas y URLs de medios privados, dando a los administradores un control más fino sobre el acceso. Además, el lanzamiento incluye una interfaz de usuario web rediseñada con características como grupos de chat, un editor de markdown y mejor capacidad de respuesta móvil, haciendo que el front-end predeterminado sea más usable para interacciones diarias.

Cómo funciona

En el interior, la versión actualiza la biblioteca fundamental ggml a la versión 1.0.0, que poda operaciones heredadas e introduce soporte configurable para FP8. FP8, o punto flotante de 8 bits, permite un uso de memoria más eficiente durante la inferencia, particularmente para cachés clave-valor. El sistema ahora soporta cachés KV OCP FP8 con escalas estáticas opcionales por tensor, lo que habilita un procesamiento más rápido de contextos largos mientras reduce los requisitos de ancho de banda de memoria. Esto se complementa con una caché mixture-of-experts en memoria del host que permite a los usuarios configurar cuántos datos de expertos residen en la memoria de la CPU, reduciendo los tiempos de espera cuando se accede a expertos almacenados en caché.

La infraestructura multimodal fue consolidada en un módulo unificado mtmd, eliminando la dependencia antigua de clip.h. Este cambio permite que diferentes subcontextos, como procesadores de visión y audio, compartan búferes de cómputo, ahorrando recursos significativos de memoria. Para la generación de audio, el sistema ahora calcula espectrogramas log-mel directamente dentro del grafo de computación en lugar de generar hilos separados para cada solicitud. Este cambio arquitectónico reduce la sobrecarga y mejora la latencia para tareas de audio en tiempo real. El servidor también ganó un endpoint compatible con OpenAI para la generación de voz de audio, estandarizando cómo las aplicaciones interactúan con modelos locales de texto a voz.

Detalles clave

  • La API pública en llama.h eliminó 35 funciones obsoletas y promovió la API de decodificación especulativa NextN.
  • El nuevo soporte de modelos incluye Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0 y texto a voz drama-3.
  • La seguridad del servidor fue endurecida contra ataques SSRF, abuso de CORS y reencaminamiento DNS con nuevas banderas opt-in.
  • Ahora se soportan cachés clave-valor FP8, ofreciendo eficiencia de memoria para la inferencia de contexto largo.
  • La UI web fue rediseñada con grupos de chat, un editor de markdown con vista previa en vivo y mejor diseño móvil.
  • La biblioteca subyacente ggml alcanzó la v1.0.0, añadiendo soporte FP8 y optimizando el rendimiento del backend para CUDA, Metal y Vulkan.

Por qué importa

Para ingenieros de software que construyen productos sobre grandes modelos de lenguaje locales, esta versión señala un cambio hacia una mayor estabilidad y previsibilidad. La eliminación de APIs obsoletas significa que las integraciones construidas contra versiones antiguas requerirán actualizaciones, pero la base de código resultante será más limpia y fácil de mantener. La promoción de la API NextN sugiere que la decodificación especulativa es ahora considerada una función estándar, permitiendo a los desarrolladores implementar estrategias de inferencia más rápidas con confianza en la longevidad de la interfaz.

Las mejoras de seguridad en llama-server son críticas para equipos que despliegan estos modelos en entornos de red. Vulnerabilidades previas podrían haber permitido a actores maliciosos explotar el servidor para acceso no autorizado o exfiltración de datos. Al abordar estos problemas y proporcionar controles granulares sobre la autenticación de herramientas y el acceso a medios, la versión hace más seguro exponer modelos locales a redes internas o usuarios de confianza. Esto es particularmente importante para empresas que buscan adoptar IA local sin comprometer su postura de seguridad.

Optimizaciones de rendimiento como las cachés FP8 y los búferes de cómputo compartidos para tareas multimodales permiten flujos de trabajo más complejos en hardware de consumo. Los desarrolladores ahora pueden ejecutar modelos de visión y audio junto con la generación de texto con menor sobrecarga de memoria, haciendo factible construir aplicaciones multimodales más ricas en dispositivos con recursos limitados. Esto democratiza el acceso a capacidades avanzadas de IA, permitiendo a equipos más pequeños prototipar y desplegar sistemas sofisticados sin infraestructura en la nube costosa.

Qué puedes hacer

  • Revisa tu código de integración para reemplazar llamadas a las 35 funciones obsoletas eliminadas en llama.h.
  • Actualiza tus scripts de despliegue para incluir las nuevas banderas de seguridad para llama-server si lo expones a una red.
  • Prueba la nueva configuración de caché KV FP8 para evaluar el ahorro de memoria y las ganancias de rendimiento para tus modelos específicos.
  • Explora el nuevo endpoint /v1/audio/speech si tu aplicación requiere capacidades locales de texto a voz.
  • Actualiza las dependencias del backend ggml a v1.0.0 para beneficiarte de las últimas optimizaciones de rendimiento en plataformas GPU.
  • Experimenta con las nuevas características de la UI web como los grupos de chat para mejorar la experiencia de usuario en herramientas internas.
  • #llama.cpp
  • #local llm
  • #inference
  • #security
  • #ggml

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos