IA abierta y local

Aumente la velocidad de inferencia de llama.cpp con una sola variable de entorno en Linux

Configurar GLIBC_TUNABLES para habilitar las páginas enormes reduce los fallos de página en llama.cpp, lo que permite un rendimiento hasta un 21 % mayor en GPUs H100.

Ilustración comparando pequeñas páginas de memoria de 4KB con grandes páginas enormes de 2MB en una placa de circuito
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Un simple cambio de configuración relacionado con la gestión de memoria de Linux ha demostrado acelerar significativamente el servicio local de modelos de lenguaje grandes. Al establecer una única variable de entorno, los ingenieros que utilizan llama.cpp y Ollama pueden reducir la sobrecarga de CPU causada por la asignación de memoria, lo que resulta en tiempos de respuesta más rápidos y un mayor rendimiento de solicitudes sin modificar ningún código fuente.

Qué ocurrió

Ingenieros de Tensward, una empresa de herramientas de código abierto centrada en la optimización de la inferencia de LLM, descubrieron que su servidor llama.cpp pasaba mucho tiempo esperando a que el kernel de Linux asignara memoria. El cuello de botella no estaba en la GPU, sino en cómo el sistema operativo gestionaba las solicitudes de RAM para almacenar instantáneas de conversaciones. Al habilitar "páginas enormes" mediante un ajuste configurable de glibc, redujeron el número de fallos de página por solicitud de aproximadamente 145.000 a solo 1.850 en una GPU NVIDIA H100.

El equipo probó este ajuste en Qwen3.8-27B, un modelo ampliamente utilizado en despliegues locales de IA. El cambio no requirió recompilar el código ni privilegios de root, solo añadir GLIBC_TUNABLES=glibc.malloc.hugetlb=1 antes de iniciar el proceso del servidor. Este ajuste indica al asignador de memoria que solicite bloques contiguos más grandes, minimizando la intervención del kernel durante las operaciones de escritura.

Las ganancias de rendimiento variaron según el hardware y la carga de trabajo. En una H100 que manejaba prompts de llamadas a herramientas, el rendimiento aumentó un 21 %, y el tiempo mediano hasta el primer token disminuyó un 22 %. Incluso en hardware más lento como la NVIDIA L4, los escenarios de chat simple vieron llegar el primer token un 22 % antes, aunque las mejoras generales de rendimiento fueron más modestas, con un 3,5 %. Estos resultados sugieren que el beneficio es más pronunciado cuando la latencia de asignación de memoria de la CPU se convierte en una fracción significativa del tiempo total de la solicitud.

Cómo funciona

Linux normalmente asigna memoria en pequeños fragmentos de 4 KB llamados páginas. Cuando un programa como llama.cpp escribe en una nueva página por primera vez, el kernel debe intervenir para configurarla, un evento conocido como fallo de página. Para modelos grandes, guardar el estado de la conversación implica crear instantáneas que pueden ser de 150 MB o más, lo que provoca cientos de miles de estos fallos. Dado que el hilo que gestiona estas instantáneas también alimenta datos a la GPU, cada pausa por un fallo de página detiene todo el pipeline de inferencia.

Las páginas enormes permiten al sistema asignar memoria en bloques de 2 MB en lugar de 4 KB. Al establecer el ajuste configurable de glibc, la aplicación solicita explícitamente estos bloques más grandes. Esto reduce drásticamente el número de veces que el kernel debe detener la ejecución para gestionar metadatos de memoria. El resultado es un flujo de datos más fluido hacia la GPU, ya que la CPU pasa menos tiempo gestionando tareas administrativas de memoria y más tiempo preparando entradas para el procesamiento paralelo.

Detalles clave

  • La optimización requiere glibc versión 2.35 o superior, disponible en Ubuntu 22.04 y Debian 12 o posterior.
  • Los fallos de página cayeron de ~145.000 a ~1.850 por solicitud en hardware H100 durante las pruebas.
  • El rendimiento aumentó un 21 % para prompts de llamadas a herramientas en H100, pero solo un 6,5 % en L4 para la misma carga de trabajo.
  • Los usuarios de Ollama también observaron beneficios, con ganancias de rendimiento que oscilaban entre el 2 % y el 7 % dependiendo de la máquina.
  • La solución no beneficia significativamente a frameworks como vLLM o SGLang, que ya minimizan los fallos de página.
  • El uso de memoria aumentó aproximadamente 0,5 GB de media al ejecutar Ollama con esta configuración habilitada.

Por qué importa

Para los desarrolladores que construyen productos con LLMs locales, este hallazgo destaca que la potencia de la GPU no es el único determinante de la velocidad de inferencia. A medida que las GPUs se vuelven más rápidas, como la H100 en comparación con la L4, aumenta el costo relativo de las operaciones del lado de la CPU, como la asignación de memoria. Un retraso fijo de 0,1 segundos por solicitud representa un porcentaje mucho mayor del tiempo total en una tarjeta rápida que en una más lenta. Esto significa que optimizar las configuraciones a nivel de sistema se vuelve cada vez más crítico a medida que el hardware se acelera.

Este enfoque ofrece una oportunidad de ajuste de bajo riesgo y alta recompensa para equipos que usan llama.cpp u Ollama. Dado que no requiere cambios en el código y tiene un impacto mínimo en la estabilidad o la calidad de las respuestas, puede implementarse rápidamente para mejorar la experiencia del usuario. La reducción del tiempo hasta el primer token es particularmente valiosa para aplicaciones interactivas donde la latencia percibida impulsa la satisfacción del usuario.

Qué puede hacer

  • Verifique que su sistema tenga glibc 2.35 o superior ejecutando ldd --version en su terminal.
  • Compruebe si las páginas enormes transparentes están habilitadas inspeccionando /sys/kernel/mm/transparent_hugepage/enabled.
  • Inicie su servidor llama.cpp con GLIBC_TUNABLES=glibc.malloc.hugetlb=1 antepuesto al comando.
  • Para Ollama, aplique la misma variable de entorno al iniciar el proceso ollama serve.
  • Monitoree la eficacia verificando AnonHugePages en /proc/[pid]/smaps_rollup para asegurarse de que se estén utilizando páginas enormes.
  • Compare los recuentos de fallos de página antes y después del cambio usando ps -o min_flt= para cuantificar la reducción.
  • #llama.cpp
  • #linux
  • #performance
  • #ollama
  • #inference

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos