Ejecutar DeepSeek-V4 de 284B en una CPU de 64GB con nuevos parches del kernel

Un nuevo conjunto de parches del kernel y herramientas de cuantización llamado llama-modchip permite a los desarrolladores ejecutar el modelo DeepSeek-V4-Flash de 284 mil millones de parámetros en una máquina estándar solo con CPU y 64GB. Publicado el 8 de noviembre de 2026, este proyecto demuestra que las arquitecturas masivas de Mezcla de Expertos (MoE) pueden funcionar eficientemente en la RAM del sistema sin requerir costosos clústeres de GPU ni provocar errores de desbordamiento de memoria.

Qué ocurrió

El principal desafío con los grandes modelos de lenguaje siempre ha sido la capacidad de memoria. Las compilaciones estándar de DeepSeek-V4-Flash suelen requerir más de 76 GiB de almacenamiento, lo cual supera la RAM utilizable en la mayoría de los sistemas Linux de 64GB. Esta discrepancia generalmente obliga al sistema operativo a usar un intercambio lento en disco o resulta en fallos por falta de memoria. El proyecto llama-modchip resuelve esto comprimiendo el checkpoint del modelo a 56.56 GiB, permitiendo que todo el modelo y su ventana de contexto quepan cómodamente dentro de los 62.5 GiB de RAM Linux utilizable.

Más allá de simplemente ajustar el modelo en la memoria, el proyecto introduce optimizaciones significativas de rendimiento para la inferencia en CPU. Al reemplazar los bucles estándar de matriz-vector con programaciones de mosaico multicolonna y aprovechar las instrucciones AVX-512BW, los parches aumentan la velocidad de prellenado (prefill) en un 77% y la velocidad de decodificación en un 53%. En un procesador Zen 5 de 16 núcleos, esto se traduce en 44.4 tokens por segundo durante el prellenado y entre 9.1 y 14.7 tokens por segundo durante la generación, haciendo factible el uso interactivo en hardware de consumo.

El proyecto también soporta modelos MoE más pequeños como Nemotron-3.5-30B-A3B, que pueden ejecutarse en portátiles con 16–32 GB de RAM. En estas configuraciones, el sistema alcanza velocidades entre 25.0 y 60.4 tokens por segundo. Para usuarios con configuraciones híbridas que combinan una CPU con una GPU de 16 GB, la herramienta puede descargar las capas de atención activas (hot attention layers) a la GPU mientras mantiene los expertos enrutados inactivos (cold routed experts) en la RAM de la CPU, impulsando el rendimiento a más de 80 tokens por segundo.

Cómo funciona

La innovación central radica en un método de cuantización personalizado llamado Fractal-64 y parches específicos del kernel para la biblioteca ggml. Fractal-64 utiliza un enfoque híbrido donde las capas sensibles, como las incrustaciones (embeddings) y los expertos compartidos, se mantienen en formatos de mayor precisión como Q4_K o F32, mientras que la mayor parte de los expertos MoE enrutados se comprimen a IQ1_S o Q2_0. Esto reduce el ancho de bits efectivo a tan bajo como 1.71 bits por peso para DeepSeek-V4-Flash sin degradar significativamente la calidad del modelo.

Para gestionar el movimiento de datos eficientemente, el sistema emplea un borrador Stockfish-PVS v2, un pequeño modelo n-gram de 1.64 MB que predice los siguientes tokens probables. Esto permite la decodificación auto-especulativa, donde la CPU verifica múltiples tokens a la vez. Además, los parches del kernel utilizan sugerencias de transmisión no temporal (non-temporal streaming hints) para asegurar que la carga de pesos de expertos fríos desde la RAM no expulse las líneas de caché clave-valor activas (hot key-value cache lines) de la caché L3, manteniendo altas tasas de acierto para el contexto activo.

Detalles clave

• DeepSeek-V4-Flash cabe en 56.56 GiB de espacio en disco y se ejecuta dentro de 57.61 GiB de VmRSS en un sistema Linux de 64GB.
• El proyecto logra 44.4 tokens por segundo de prellenado y 9.1–14.7 tokens por segundo de decodificación en una configuración pura de CPU de 64GB.
• Nemotron-3.5-30B-A3B se ejecuta en portátiles de 16–32 GB de RAM a velocidades que oscilan entre 25.0 y 60.4 tokens por segundo.
• Los tensores GGUF personalizados usan el ID de tipo 40 (GGML_TYPE_Q2_0), lo que significa que herramientas sin parchear como Ollama estándar o LM Studio rechazarán estos modelos.
• La restauración del contexto para prompts de Claude Code con 40 herramientas toma solo 13.1–32.6 milisegundos utilizando instantáneas de ranuras KV en /dev/shm.
• La configuración predeterminada evalúa todos los 6 expertos enrutados más un experto compartido por capa con cero descarte de expertos.

Por qué importa

Para ingenieros de software y fundadores técnicos, este desarrollo reduce la barrera de entrada para desplegar modelos de IA de última generación. Elimina la necesidad de infraestructura de GPU costosa para muchas tareas de inferencia, permitiendo a los equipos ejecutar modelos potentes en hardware de servidores existente o incluso en portátiles de desarrollo de gama alta. Este cambio puede reducir significativamente los costos operativos y simplificar las tuberías de despliegue para aplicaciones que requieren ventanas de contexto largas, como análisis de código o revisión de documentos.

La capacidad de ejecutar ventanas de contexto de 256K completamente en la RAM también cambia cómo los desarrolladores abordan los flujos de trabajo de agentes. Con tiempos de restauración de contexto instantáneos, los agentes pueden mantener estados complejos a través de múltiples llamadas a herramientas sin las penalizaciones de latencia asociadas con el almacenamiento basado en disco. Esto hace que los asistentes de IA locales y privados sean más viables para entornos empresariales donde la soberanía de datos y la velocidad son preocupaciones críticas.

Qué puedes hacer

• Verifica la preparación de tu CPU para soporte AVX-512 o NEON usando el script Python proporcionado antes de intentar la instalación.
• Usa el binario precompilado llama-server-modchip-linux-x86_64 para evitar problemas de compatibilidad con las compilaciones estándar de llama.cpp.
• Comienza con el modelo Nemotron-30B si tienes menos de 64 GB de RAM para probar el rendimiento en tu hardware específico.
• Habilita FlashAttention con la bandera -fa on al ejecutar DeepSeek-V4-Flash para maximizar el rendimiento de prellenado.
• Monitorea el uso de la caché L3 y las tasas de aceptación de tokens a través del HUD de telemetría web para ajustar finamente tu número de hilos.
• Evita usar herramientas de cuantización estándar; en su lugar, usa el comando ./modchip quantize para transcodificar los modelos al formato Fractal-64 requerido.