Einbettung eines deterministischen RISC-V-Prozessors in die Gewichte von Qwen 3.5

Am 22. Oktober 2026 veröffentlichte der Forscher Divyansh Agrawal Qwenputer, eine experimentelle Modifikation des Standard-Sprachmodells Qwen 3.5 4B. Dieses Projekt bettet einen vollständig deterministischen 32-Bit-RISC-V-Prozessor direkt in die Modellgewichte ein, sodass Code ausgeführt und Arithmetik intern durchgeführt werden kann, ohne auf externe Laufzeitumgebungen oder Tool-Aufrufe zurückzugreifen.

Was passiert ist

Agrawal modifizierte die Architektur von Qwen 3.5 4B, indem er einen RISC-V-Prozessor in elf zusätzliche Schichten kompilierte, die vor den bestehenden zweiunddreißig Schichten des Modells platziert wurden. Das resultierende System, benannt Qwenputer, läuft vollständig innerhalb der Vorwärtsdurchläufe (Forward Passes) des neuronalen Netzwerks. Es führt arithmetische Operationen, C-Code und MicroPython-Skripte aus, indem es den internen Zustand des Modells nutzt, anstatt eine Python-Sandbox oder einen externen Rechner aufzurufen.

Das Projekt demonstriert, dass hybride Modelle funktionale Hardware-Simulationen innerhalb ihrer Parameter hosten können. Agrawal implementierte zudem ein experimentelles In-Model-Dateispeichersystem, das dem Modell ermöglicht, Textdaten über mehrere Gesprächsrunden hinweg zu speichern und abzurufen. Der Code und die Modellgewichte sind offen auf GitHub, Hugging Face und ModelScope verfügbar und erfordern nur eine einzelne GPU mit 24 GB VRAM zur Ausführung.

Wie es funktioniert

Die Kerninnovation basiert auf der Umnutzung der Gated DeltaNet (GDN)-Aufmerksamkeitsschichten, die in Qwen 3.5 zu finden sind. Drei von vier Aufmerksamkeitsschichten in diesem Modell verwenden GDN, einen Mechanismus für lineare rekurrente neuronale Netze. Jeder GDN-Kopf verwaltet eine Zustandsmatrix, die als Speicher fungiert. Normalerweise sorgt ein Gate-Wert zwischen null und eins dafür, dass dieser Zustand mit der Zeit verblasst, was dem Modell ermöglicht, irrelevanten Kontext zu vergessen. Durch das Setzen des Gates auf genau eins und der Schreibstärke auf eins wird der Zustand jedoch permanent und adressierbar.

Agrawal verwendete One-Hot-Key-Encoding, um diese GDN-Zustände in exakten Random-Access-Memory (RAM) umzuwandeln. Ein One-Hot-Key ist ein Vektor mit einem einzigen aktiven Element, der auf eine spezifische Zeile in der Zustandsmatrix zeigt, ähnlich wie eine Speicheradresse. Wenn das Modell an diese Adresse schreibt, überschreibt es den vorhandenen Wert vollständig, anstatt ihn zu vermischen. Dies ermöglicht es dem Prozessor, Register, Speicherwerte und Programmzähler im GDN-Zustand mit perfekter Präzision zu speichern und vermeidet so die Drift, die bei standardmäßigen Aufmerksamkeitsmechanismen typisch ist.

Ein benutzerdefinierter Compiler übersetzt den RISC-V-Befehlssatz in Transformer-Operationen. Jeder CPU-Befehl, wie etwa das Addieren zweier Zahlen oder das Springen zu einer neuen Zeile, wird in eine Sequenz von Tokens umgewandelt, die vom Modell generiert werden. Diese Tokens enthalten die Schreibspeicheradresse, den zu speichernden Wert und einen Schritt-Marker. Während Qwen diese Tokens während der Inferenz generiert, führt der Prozessor effektiv das Programm aus. Die ursprünglichen Qwen-Gewichte bleiben unberührt; die Computerlogik wird durch zusätzliche Dimensionen und Schichten ergänzt.

Wichtige Details

• Der Prozessor ist ein 32-Bit-RISC-V-Kern (RV32IM) mit der Zba-Erweiterung und einer BigNum-Einheit, der elf Schichten belegt.
• Er bestand die offiziellen riscv-tests und führte 18 Millionen Anweisungen frei laufend ohne einen einzigen Fehler aus.
• Bei DeepMind-Arithmetik-Benchmarks erreichte Qwenputer 97,5 % bei großen Divisions- und Multiplikationsaufgaben, was dem Basis-Qwen mit Python-Tools entspricht oder dieses übertrifft.
• Das In-Model-Dateisystem unterstützt bis zu 512 Dateien und speichert ungefähr 53.000 Tokens Text im DeltaNet-Zustand.
• Die Größe des modifizierten Checkpoints beträgt 18,8 GB, was etwa dem Doppelten des Basismodells entspricht, aufgrund von Null-Padding in den hinzugefügten Schichten.
• Für die Ausführung ist ein kleiner Treiber namens RvChat erforderlich, um Firmware zu laden und Trace-Tokens zu verwalten, damit diese die Standard-Textgenerierung nicht stören.

Warum es wichtig ist

Für Ingenieure, die KI-Produkte entwickeln, beweist Qwenputer, dass große Sprachmodelle deterministische Berechnungen ohne externe Abhängigkeiten erreichen können. Aktuelle Systeme verlassen sich oft auf Tool-Calls, was Latenz, Sicherheitsrisiken und potenzielle Fehlerquellen einführt, wenn Verbindungen zu externen APIs oder Sandboxes hergestellt werden. Durch die direkte Einbettung der Berechnungslogik in die Gewichte stellt das Modell sicher, dass arithmetische und logische Operationen exakt und autark sind. Dieser Ansatz eliminiert die Notwendigkeit komplexer Orchestrierungsebenen zur Verwaltung externer Executor.

Das Projekt hebt auch neue Wege für KI-Sicherheit und Interpretierbarkeit hervor. Da der Zustand des Prozessors in den GDN-Schichten gespeichert wird, bietet er ein transparentes Fenster in den Denkprozess des Modells. Forscher können die exakten Werte im simulierten RAM überwachen, was eine nachvollziehbare Ausführungsprotokollspur liefert, die schwer zu verstecken oder zu manipulieren ist. Dies steht im Gegensatz zum standardmäßigen Chain-of-Thought-Reasoning, das opak oder ausweichend sein kann. Die Fähigkeit, feste Monitore in die Gewichte zu kompilieren, deutet auf eine Zukunft hin, in der Sicherheitsbeschränkungen hart in die Architektur des Modells kodiert sind, anstatt sich auf Prompt-Engineering zu verlassen.

Was Sie tun können

• Klonen Sie das Qwenputer-Repository von GitHub, um auf den experimentellen Code und die Treiber zuzugreifen.
• Laden Sie die Modellgewichte von Hugging Face oder ModelScope unter Verwendung der Hugging-Face-CLI herunter.
• Richten Sie eine lokale Umgebung mit uv und einer einzelnen 24-GB-GPU ein, um die Chat-Oberfläche auszuführen.
• Verwenden Sie den bereitgestellten RvChat-Treiber, um die Firmware zu laden und grundlegende arithmetische Abfragen auszuführen.
• Experimentieren Sie mit dem In-Model-Dateisystem, indem Sie Textdaten über separate Gesprächssitzungen hinweg speichern und abrufen.
• Prüfen Sie den Compiler-Code, um zu verstehen, wie RISC-V-Anweisungen auf Transformer-Aufmerksamkeitsköpfe und Feed-Forward-Einheiten abgebildet werden.