L'architecture DeepSeek V3 implémentée en 190 lignes de JAX
Un développeur a recréé l'architecture DeepSeek V3 en pur JAX, entraînant un modèle de 36 millions de paramètres sur un MacBook Air pour démontrer des mécanismes clés comme MLA et MoE.
Traduit automatiquement depuis l'original anglais.
Vaibhaav Tiwari a publié une implémentation open-source de l'architecture DeepSeek V3 utilisant uniquement 190 lignes de code JAX pur. Le projet, publié sur GitHub en novembre 2026, démontre que les structures complexes des grands modèles de langage modernes peuvent être comprises et exécutées sur du matériel grand public sans frameworks lourds. En éliminant des bibliothèques telles que PyTorch, Flax ou Equinox, cette implémentation offre une vision transparente du fonctionnement fondamental de composants comme l'attention latente multi-têtes (Multi-head Latent Attention) et le mélange d'experts (Mixture of Experts).
Ce qui s'est passé
Le cœur de cette publication est un fichier Python unique, deepseek_v3.py, qui contient la définition complète du modèle. Tiwari a entraîné ce modèle à partir de zéro sur un MacBook Air équipé d'une puce M5 et de 24 Go de mémoire. Les données d'entraînement consistaient en 207 livres de fiction policière du domaine public, totalisant environ 21,7 millions de tokens. Ce choix de dataset garantit une clarté juridique tout en fournissant une structure linguistique cohérente pour l'apprentissage du modèle.
Le processus d'entraînement a duré 12 000 étapes, traitant environ 98 millions de tokens en approximativement 2,6 heures. Le modèle résultant contient 36,2 millions de paramètres, dont 13,6 millions sont actifs par token grâce au routage sparse des experts. Malgré son échelle réduite par rapport aux modèles industriels, l'implémentation reproduit avec succès les innovations architecturales décrites dans le rapport technique original de DeepSeek-V3. Le projet inclut non seulement le code, mais aussi le checkpoint entraîné, le tokenizer et les scripts permettant de reproduire les résultats ou de générer du nouveau texte.
Comment cela fonctionne
L'implémentation repose sur des fonctions JAX simples et des dictionnaires de tableaux, évitant toute abstraction de haut niveau. Cette approche permet aux ingénieurs de lire le code de haut en bas et de comprendre exactement comment les données circulent dans le réseau. Les caractéristiques architecturales clés incluent l'Attention Latente Multi-Têtes (MLA), qui compresse les caches clé-valeur pour économiser la mémoire, et DeepSeekMoE, qui utilise une combinaison d'experts partagés et routés pour gérer le calcul efficacement.
Un mécanisme notable est la stratégie d'équilibrage sans perte auxiliaire. Au lieu d'utiliser un terme de perte complexe pour forcer les experts à partager la charge de travail équitablement, le modèle applique un biais par expert qui oriente le routage vers les experts inactifs. Cela change quels experts sont sélectionnés pour un token donné sans altérer leurs poids. Le code implémente également la Prédiction Multi-Token (MTP), où un module supplémentaire prédit le token suivant celui-ci, aidant à stabiliser l'entraînement. Tous les calculs utilisent la précision bfloat16 sur des poids maîtres float32, assurant la stabilité numérique lors des étapes de mise à jour.
Détails clés
- Taille du code : La logique principale du modèle tient dans 190 lignes de JAX pur (hors lignes vides et commentaires).
- Exigences matérielles : L'entraînement a été effectué sur un MacBook Air M5 avec 24 Go de RAM, atteignant ~10,7k tokens/s.
- Échelle du modèle : 36,2 millions de paramètres totaux avec 13,6 millions actifs par token via le routage sparse.
- Données d'entraînement : 21,7 millions de tokens issus de 207 romans policiers et de fiction criminelle du domaine public.
- Performance : La perte de validation est passée de 5,02 à 3,51 sur 12 000 étapes.
- Efficacité de l'équilibrage : La charge des experts variait entre 5,7–6,9 % avec le biais, contre 0,09–18,6 % sans lui.
Pourquoi c'est important
Pour les développeurs logiciels et les ingénieurs ML, ce projet sert d'outil pédagogique haute fidélité. Les architectures LLM modernes sont souvent obscurcies par des bases de code massives et des infrastructures propriétaires, rendant difficile la compréhension du fonctionnement réel d'innovations spécifiques comme MLA ou les embeddings rotatifs découplés. En réduisant l'implémentation à ses opérations mathématiques essentielles, Tiwari fournit une référence qui démystifie ces concepts. Les ingénieurs peuvent inspecter le code pour voir exactement comment la mise en cache est gérée ou comment les biais de routage sont mis à jour, comblant le fossé entre les articles théoriques et l'implémentation pratique.
De plus, la capacité d'entraîner une architecture représentative sur un ordinateur portable remet en question l'hypothèse selon laquelle une expérimentation significative nécessite des ressources à l'échelle d'un cluster. Bien que le modèle résultant ne soit pas compétitif avec les systèmes de pointe, il prouve que l'intégrité structurelle des conceptions avancées peut être validée sur du matériel grand public. Cela abaisse la barrière à l'entrée pour les chercheurs et les étudiants souhaitant expérimenter des modifications architecturales, comme changer le nombre d'experts ou ajuster les mécanismes d'attention, sans avoir besoin d'accéder à des ressources cloud coûteuses.
Ce que vous pouvez faire
- Clonez le dépôt et installez les dépendances épinglées en utilisant
uvpour assurer la compatibilité avecjax-metal. - Exécutez les tests fournis pour vérifier que votre environnement prend en charge les opérations JAX nécessaires sur Apple Silicon.
- Lancez le script de préparation des données pour télécharger et tokeniser le corpus du domaine public, ou téléchargez les binaires pré-traités pour une reproductibilité exacte.
- Entraînez le modèle localement en utilisant la configuration par défaut ou la configuration plus petite pour les machines disposant de moins de mémoire.
- Générez des échantillons de texte en utilisant le checkpoint fourni pour observer la sortie du modèle sur des prompts de fiction policière.
- Étudiez le fichier
deepseek_v3.pyligne par ligne pour comprendre l'implémentation de MLA, du routage MoE et de la prédiction multi-token.



