IA abierta y local

Ejecutar LLMs de 16B con 1 GB de RAM mediante parches personalizados de llama.cpp

El proyecto smolmaxxing demuestra cómo ejecutar modelos grandes de mezcla de expertos (MoE) en dispositivos con solo 1 GB de RAM utilizable, transmitiendo los pesos desde el almacenamiento flash.

Una pequeña televisión vintage mostrando nodos de IA conectados a microchips.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Un nuevo proyecto de código abierto llamado smolmaxxing demuestra que los modernos modelos de lenguaje de gran tamaño pueden ejecutarse en hardware considerado obsoleto. Al aplicar parches especializados al motor de inferencia llama.cpp, los desarrolladores han logrado ejecutar modelos de 16 mil millones de parámetros en una Xiaomi TV Box y un iPad Air de 2013. El proyecto, publicado en GitHub en noviembre de 2026, se basa en una gestión agresiva de la memoria y kernels personalizados para sortear las limitaciones estándar del hardware.

Qué ocurrió

El repositorio de smolmaxxing documenta experimentos con modelos grandes de mezcla de expertos (MoE) ejecutados en dispositivos con memoria de acceso aleatorio (RAM) severamente restringida. Los principales sujetos de prueba fueron una Xiaomi TV Box S (3.ª generación) con aproximadamente 1 GB de RAM utilizable y un Apple iPad Air (2013) con unos 700 MB de RAM utilizable. A pesar de estas estrictas restricciones, el proyecto logró velocidades de inferencia funcionales para modelos mucho más grandes que la memoria disponible.

En la TV Box basada en Android, el sistema ejecutó el modelo Ling-mini-2.0 de 16B a 5,1 tokens por segundo. La tableta iOS más antigua gestionó el mismo modelo a velocidades entre 2,6 y 4,5 tokens por segundo. Para tareas diarias más ligeras, la TV Box manejó Qwen3.5-2B a 7,7 tokens por segundo, mientras que el iPad ejecutó un modelo Bonsai-1.7B cuantizado a 1 bit a 24 o 26 tokens por segundo. Todas las métricas de rendimiento se midieron directamente en los dispositivos físicos, no simuladas.

El proyecto enfatiza que estos resultados no son anomalías aisladas, sino el producto de técnicas de ingeniería reproducibles. Los autores señalan que los métodos se aplican a cualquier dispositivo Linux o Android donde el tamaño del modelo supere la RAM disponible, siempre que el medio de almacenamiento sea lo suficientemente rápido para transmitir datos. Las futuras expansiones apuntan a incluir smartphones, ordenadores de placa única y routers.

Cómo funciona

La innovación central radica en un conjunto de parches aplicados a llama.cpp, una popular biblioteca C++ para ejecutar LLMs localmente. Los motores de inferencia estándar suelen requerir que todo el modelo, o al menos todos los parámetros activos, residan en la RAM. Smolmaxxing rompe este requisito tratando el almacenamiento flash como una extensión de la memoria. Dado que los modelos MoE solo activan un pequeño subconjunto de "expertos" para cada token, el sistema mantiene los expertos de uso frecuente en la RAM y transmite el resto desde el almacenamiento flash bajo demanda. También precarga los expertos de la siguiente capa para minimizar la latencia.

Para hacer viable esta transmisión en CPUs débiles, el proyecto introduce kernels personalizados adaptados a arquitecturas de chip específicas. Para el procesador Cortex-A55 de la TV Box, los ingenieros implementaron un kernel de tabla de búsqueda de 1 bit y reempaquetaron formatos de 2 bits y ternarios. El chip Apple A7 del iPad carece de instrucciones de producto escalar, por lo que el equipo desarrolló versiones alternativas de estos kernels que dependen únicamente de instrucciones NEON básicas. Estas optimizaciones reducen la carga computacional por operación, permitiendo que procesadores más lentos sigan el ritmo de la transmisión de datos desde el almacenamiento.

Se logran ahorros adicionales de memoria podando el vocabulario del modelo. Dado que la mayoría de las palabras en un vocabulario estándar rara vez se usan durante la inferencia, el proyecto elimina las filas de salida no utilizadas para liberar RAM. En la TV Box, un modo "headless" desactiva el launcher de Android y los servicios de Google en segundo plano durante la inferencia, asegurando que cada megabyte disponible de RAM se dedique al modelo. Esta combinación de carga selectiva, código personalizado de bajo nivel y eliminación de recursos a nivel de sistema permite que los modelos de 8B y 16B operen dentro de un presupuesto de memoria de 1 GB.

Detalles clave

  • Hardware probado: Xiaomi TV Box S (3.ª generación) con chip Amlogic S7D y iPad Air (2013) con chip Apple A7.
  • Restricciones de memoria: Ambos dispositivos operaron con aproximadamente 1 GB o menos de RAM utilizable.
  • Rendimiento máximo: El modelo Ling-mini-2.0 de 16B funcionó a 5,1 tok/s en la TV Box y hasta 4,5 tok/s en el iPad.
  • Técnica principal: Los modelos de mezcla de expertos se cargan por páginas desde el almacenamiento flash, manteniendo solo los expertos activos en la RAM.
  • Base de software: Todas las modificaciones son parches aplicados al motor de inferencia llama.cpp; la versión estándar de llama.cpp no puede cargar estos modelos.
  • Disponibilidad: Archivos de modelos listos para usar están alojados en Hugging Face, junto con guías de configuración para dispositivos Android ARMv8.2 y iOS 12 jailbroken.

Por qué importa

Para ingenieros de software y profesionales de IA, este proyecto desafía la suposición de que la inferencia local de LLMs requiere GPUs de gama alta o RAM sustancial. Demuestra que una programación de sistemas cuidadosa puede desbloquear capacidades significativas de electrónica de consumo inactiva. Las TV boxes, tabletas antiguas y routers a menudo permanecen sin uso, pero poseen CPUs y almacenamiento flash capaces de manejar cargas de trabajo de IA relevantes si la pila de software está correctamente optimizada. Esto abre vías para desplegar IA en el borde (edge AI) en entornos donde la potencia, el costo o el espacio prohíben los servidores tradicionales.

Las técnicas también resaltan la importancia de la optimización específica de arquitectura. La cuantización de propósito general suele ser insuficiente para casos extremos de borde. Al escribir kernels personalizados que aprovechan conjuntos de instrucciones específicos como NEON, los desarrolladores pueden exprimir un rendimiento que las bibliotecas genéricas pasan por alto. Este enfoque es particularmente relevante para los modelos de mezcla de expertos, que son inherentemente adecuados para estrategias de paginación debido a sus patrones de activación dispersa. A medida que los modelos crecen, la gestión eficiente de la memoria será tan crítica como la potencia bruta de cálculo.

Qué puedes hacer

  • Descarga los binarios parcheados de llama.cpp y los archivos de modelos listos para usar desde el repositorio de smolmaxxing en Hugging Face.
  • Prueba la configuración en un dispositivo Android ARMv8.2 utilizando la guía en docs/tv-box-setup.md.
  • Experimenta con un iPad jailbroken en iOS 12.5.7 usando los scripts proporcionados en el directorio ipad-air/.
  • Revisa docs/how-it-works.md para entender las ganancias específicas de cada kernel y técnica de optimización de memoria.
  • Reconstruye modelos para tu propio hardware utilizando las herramientas en el directorio tools/, siguiendo las instrucciones en docs/models.md.
  • Lee EXPERIMENT.md para analizar los 160 experimentos y fallos documentados por los autores, ayudándote a evitar errores comunes.
  • #llm
  • #edge ai
  • #llama.cpp
  • #optimization
  • #embedded systems

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos