Exécution de DeepSeek-V4 (284B) sur un CPU de 64 Go grâce à de nouveaux correctifs du noyau

Un nouvel ensemble de correctifs du noyau et d'outils de quantification appelé llama-modchip permet aux développeurs d'exécuter le modèle DeepSeek-V4-Flash de 284 milliards de paramètres sur une machine standard dotée uniquement d'un CPU de 64 Go. Publié le 8 novembre 2026, ce projet démontre que les architectures massives Mixture-of-Experts (MoE) peuvent fonctionner efficacement dans la RAM système sans nécessiter de clusters GPU coûteux ni provoquer d'erreurs de débordement mémoire.

Ce qui s'est passé

Le principal défi posé par les grands modèles de langage a toujours été la capacité mémoire. Les versions standard de DeepSeek-V4-Flash nécessitent généralement plus de 76 GiB de stockage, ce qui dépasse la RAM utilisable sur la plupart des systèmes Linux de 64 Go. Cette incompatibilité force souvent le système d'exploitation à utiliser un échange lent sur disque ou entraîne des plantages dus à un manque de mémoire. Le projet llama-modchip résout ce problème en compressant le point de contrôle du modèle à 56,56 GiB, permettant ainsi au modèle entier et à sa fenêtre de contexte de tenir confortablement dans les 62,5 GiB de RAM Linux utilisables.

Au-delà du simple ajustement du modèle dans la mémoire, le projet introduit des optimisations de performance significatives pour l'inférence sur CPU. En remplaçant les boucles matrice-vecteur standard par des plans de tuilage multi-colonnes et en exploitant les instructions AVX-512BW, les correctifs augmentent la vitesse de préremplissage de 77 % et la vitesse de décodage de 53 %. Sur un processeur Zen 5 à 16 cœurs, cela se traduit par 44,4 jetons par seconde lors du préremplissage et entre 9,1 et 14,7 jetons par seconde lors de la génération, rendant l'utilisation interactive faisable sur du matériel grand public.

Le projet prend également en charge des modèles MoE plus petits comme Nemotron-3.5-30B-A3B, qui peuvent s'exécuter sur des ordinateurs portables disposant de 16 à 32 Go de RAM. Dans ces configurations, le système atteint des vitesses comprises entre 25,0 et 60,4 jetons par seconde. Pour les utilisateurs disposant de configurations hybrides combinant un CPU et un GPU de 16 Go, l'outil peut décharger les couches d'attention actives (« hot ») vers le GPU tout en gardant les experts routés inactifs (« cold ») dans la RAM du CPU, portant le débit à plus de 80 jetons par seconde.

Comment cela fonctionne

L'innovation centrale réside dans une méthode de quantification personnalisée appelée Fractal-64 et des correctifs spécifiques du noyau pour la bibliothèque ggml. Fractal-64 utilise une approche hybride où les couches sensibles telles que les embeddings et les experts partagés sont conservées dans des formats de précision supérieure comme Q4_K ou F32, tandis que la majorité des experts MoE routés sont compressés en IQ1_S ou Q2_0. Cela réduit la largeur de bit effective à aussi peu que 1,71 bit par poids pour DeepSeek-V4-Flash sans dégrader significativement la qualité du modèle.

Pour gérer efficacement les mouvements de données, le système emploie un brouilleur Stockfish-PVS v2, un minuscule modèle n-gramme de 1,64 Mo qui prédit les prochains jetons probables. Cela permet un décodage auto-spéculatif, où le CPU vérifie plusieurs jetons à la fois. De plus, les correctifs du noyau utilisent des indications de flux non temporelles pour garantir que le chargement des poids des experts inactifs depuis la RAM n'évince pas les lignes de cache clé-valeur actives du cache L3, maintenant ainsi des taux de réussite élevés pour le contexte actif.

Détails clés

• DeepSeek-V4-Flash tient dans 56,56 GiB d'espace disque et s'exécute dans 57,61 GiB de VmRSS sur un système Linux de 64 Go.
• Le projet atteint 44,4 jetons par seconde en préremplissage et 9,1–14,7 jetons par seconde en décodage sur une configuration purement CPU de 64 Go.
• Nemotron-3.5-30B-A3B s'exécute sur des ordinateurs portables avec 16–32 Go de RAM à des vitesses allant de 25,0 à 60,4 jetons par seconde.
• Les tenseurs GGUF personnalisés utilisent l'ID de type 40 (GGML_TYPE_Q2_0), ce qui signifie que les outils non patchés comme Ollama ou LM Studio standard rejetteront ces modèles.
• La restauration du contexte pour les invites Claude Code avec 40 outils ne prend que 13,1–32,6 millisecondes grâce aux instantanés de slot KV via /dev/shm.
• La configuration par défaut évalue tous les 6 experts routés plus un expert partagé par couche, sans aucun abandon d'expert.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, ce développement abaisse la barrière à l'entrée pour le déploiement de modèles d'IA à la pointe de la technologie. Il élimine le besoin d'une infrastructure GPU coûteuse pour de nombreuses tâches d'inférence, permettant aux équipes d'exécuter des modèles puissants sur du matériel serveur existant ou même sur des ordinateurs portables de développement haut de gamme. Ce changement peut réduire considérablement les coûts opérationnels et simplifier les pipelines de déploiement pour les applications nécessitant de longues fenêtres de contexte, telles que l'analyse de code ou la revue de documents.

La capacité d'exécuter des fenêtres de contexte de 256K entièrement dans la RAM change également la façon dont les développeurs abordent les workflows agentiques. Avec des temps de restauration de contexte instantanés, les agents peuvent maintenir des états complexes à travers plusieurs appels d'outils sans les pénalités de latence associées au stockage sur disque. Cela rend les assistants IA locaux et privés plus viables pour les environnements d'entreprise où la souveraineté des données et la vitesse sont des préoccupations critiques.

Ce que vous pouvez faire

• Vérifiez la compatibilité de votre CPU avec AVX-512 ou NEON à l'aide du script Python fourni avant de tenter l'installation.
• Utilisez le binaire précompilé llama-server-modchip-linux-x86_64 pour éviter les problèmes de compatibilité avec les builds standard de llama.cpp.
• Commencez avec le modèle Nemotron-30B si vous disposez de moins de 64 Go de RAM pour tester les performances sur votre matériel spécifique.
• Activez FlashAttention avec le flag -fa on lors de l'exécution de DeepSeek-V4-Flash pour maximiser le débit de préremplissage.
• Surveillez l'utilisation du cache L3 et les taux d'acceptation des jetons via le HUD de télémétrie web pour affiner votre nombre de threads.
• Évitez d'utiliser les outils de quantification standard ; utilisez plutôt la commande ./modchip quantize pour transcoder les modèles dans le format Fractal-64 requis.