Mit KI entwickeln

DeepSeek-V3-Architektur in 190 Zeilen JAX implementiert

Ein Entwickler hat die DeepSeek-V3-Architektur in reinem JAX nachgebaut und ein Modell mit 36 Millionen Parametern auf einem MacBook Air trainiert, um Schlüsselmechanismen wie MLA und MoE zu demonstrieren.

Ein Glaswürfel mit Schaltkreisen neben alten Büchern
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Vaibhaav Tiwari hat eine Open-Source-Implementierung der DeepSeek-V3-Architektur veröffentlicht, die nur aus 190 Zeilen reinem JAX-Code besteht. Das Projekt, das im November 2026 auf GitHub publiziert wurde, zeigt, dass komplexe Strukturen moderner großer Sprachmodelle verstanden und auf Consumer-Hardware ausgeführt werden können, ohne schwere Frameworks zu benötigen. Durch den Verzicht auf Bibliotheken wie PyTorch, Flax oder Equinox bietet die Implementierung einen transparenten Einblick darin, wie Komponenten wie Multi-head Latent Attention und Mixture of Experts auf fundamentaler Ebene funktionieren.

Was passiert ist

Der Kern dieser Veröffentlichung ist eine einzelne Python-Datei, deepseek_v3.py, die die gesamte Modelldefinition enthält. Tiwari trainierte dieses Modell von Grund auf auf einem MacBook Air mit M5-Chip und 24 GB Speicher. Die Trainingsdaten bestanden aus 207 gemeinfreien Detektivromanen, was insgesamt etwa 21,7 Millionen Tokens entspricht. Diese Wahl des Datensatzes stellt rechtliche Klarheit sicher und bietet gleichzeitig eine kohärente linguistische Struktur für das Lernmodell.

Der Trainingsprozess lief über 12.000 Schritte und verarbeitete etwa 98 Millionen Tokens in rund 2,6 Stunden. Das resultierende Modell umfasst 36,2 Millionen Parameter, wobei aufgrund des dünn besetzten Expert-Routings pro Token 13,6 Millionen aktiv sind. Trotz der kleinen Skalierung im Vergleich zu industriellen Modellen repliziert die Implementierung erfolgreich die architektonischen Innovationen, die im ursprünglichen technischen Bericht zu DeepSeek-V3 beschrieben wurden. Das Projekt enthält nicht nur den Code, sondern auch den trainierten Checkpoint, den Tokenizer sowie Skripte zur Reproduktion der Ergebnisse oder zur Generierung neuer Texte.

Wie es funktioniert

Die Implementierung basiert auf einfachen JAX-Funktionen und Dictionaries von Arrays und vermeidet jegliche High-Level-Abstraktionen. Dieser Ansatz ermöglicht es Ingenieuren, den Code von oben bis unten zu lesen und genau zu verstehen, wie Daten durch das Netzwerk fließen. Zu den wichtigsten architektonischen Merkmalen gehören Multi-head Latent Attention (MLA), das Key-Value-Caches komprimiert, um Speicherplatz zu sparen, und DeepSeekMoE, das eine Kombination aus geteilten und gerouteten Experten nutzt, um Berechnungen effizient zu handhaben.

Ein bemerkenswerter Mechanismus ist die balancierende Strategie ohne Hilfsverluste. Anstatt einen komplexen Verlustterm zu verwenden, um die Experten zu zwingen, die Arbeitslast gleichmäßig zu teilen, wendet das Modell einen expertenspezifischen Bias an, der das Routing in Richtung inaktiver Experten lenkt. Dies ändert, welche Experten für ein gegebenes Token ausgewählt werden, ohne ihre Gewichte zu verändern. Der Code implementiert zudem Multi-token Prediction (MTP), bei dem ein zusätzliches Modul das Token nach dem nächsten vorhersagt, was dazu beiträgt, das Training zu stabilisieren. Alle Berechnungen verwenden bfloat16-Präzision auf Basis von float32-Master-Gewichten, was numerische Stabilität während der Update-Schritte gewährleistet.

Wichtige Details

  • Umfang der Codebasis: Die Kernlogik des Modells passt in 190 Nicht-Leerzeilen und Nicht-Kommentarzeilen reinen JAX-Codes.
  • Hardwareanforderungen: Das Training wurde auf einem MacBook Air M5 mit 24 GB RAM durchgeführt und erreichte ~10,7k Tokens/s.
  • Modellgröße: 36,2 Millionen Gesamtparameter, davon 13,6 Millionen pro Token aktiv durch dünn besetztes Routing.
  • Trainingsdaten: 21,7 Millionen Tokens aus 207 gemeinfreien Krimi- und Detektivromanen.
  • Leistung: Der Validierungsverlust sank von 5,02 auf 3,51 über 12.000 Schritte.
  • Wirkung der Balancierung: Die Lastverteilung der Experten variierte zwischen 5,7–6,9 % mit Bias, im Vergleich zu 0,09–18,6 % ohne diesen.

Warum das wichtig ist

Für Softwareentwickler und ML-Ingenieure dient dieses Projekt als hochgetreues Lehrmittel. Moderne LLM-Architekturen sind oft durch massive Codebasen und proprietäre Infrastruktur verschleiert, was es schwierig macht, zu begreifen, wie spezifische Innovationen wie MLA oder entkoppelte rotatorische Einbettungen tatsächlich funktionieren. Indem Tiwari die Implementierung auf ihre wesentlichen mathematischen Operationen reduziert, liefert er eine Referenz, die diese Konzepte entmystifiziert. Ingenieure können den Code inspizieren, um genau zu sehen, wie Caching gehandhabt wird oder wie Routing-Bias aktualisiert werden, und so die Lücke zwischen theoretischen Papern und praktischer Implementierung schließen.

Darüber hinaus stellt die Fähigkeit, eine repräsentative Architektur auf einem Laptop zu trainieren, die Annahme infrage, dass sinnvolle Experimente Cluster-Ressourcen erfordern. Obwohl das resultierende Modell nicht mit State-of-the-Art-Systemen konkurrieren kann, beweist es, dass die strukturelle Integrität fortgeschrittener Designs auf Consumer-Hardware validiert werden kann. Dies senkt die Einstiegshürde für Forscher und Studierende, die mit architektonischen Modifikationen experimentieren möchten, wie etwa der Änderung der Anzahl der Experten oder der Anpassung der Aufmerksamkeitsmechanismen, ohne Zugang zu teurer Cloud-Rechenleistung zu benötigen.

Was Sie tun können

  • Klonen Sie das Repository und installieren Sie die festgelegten Abhängigkeiten mit uv, um Kompatibilität mit jax-metal sicherzustellen.
  • Führen Sie die bereitgestellten Tests aus, um zu überprüfen, ob Ihre Umgebung die erforderlichen JAX-Operationen auf Apple Silicon unterstützt.
  • Führen Sie das Skript zur Datenaufbereitung aus, um den gemeinfreien Korpus herunterzuladen und zu tokenisieren, oder laden Sie die vorverarbeiteten Binärdateien für exakte Reproduzierbarkeit herunter.
  • Trainieren Sie das Modell lokal mit der Standardkonfiguration oder der kleineren Konfiguration für Maschinen mit weniger Speicher.
  • Generieren Sie Textproben mit dem bereitgestellten Checkpoint, um die Ausgabe des Modells bei Prompts zu Detektivgeschichten zu beobachten.
  • Studieren Sie die Datei deepseek_v3.py Zeile für Zeile, um die Implementierung von MLA, MoE-Routing und Multi-Token-Prediction zu verstehen.
  • #jax
  • #deepseek
  • #machine learning
  • #open source
  • #llm architecture

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel