Intégration d'un CPU RISC-V déterministe dans les poids de Qwen 3.5

Le 22 octobre 2026, le chercheur Divyansh Agrawal a publié Qwenputer, une modification expérimentale du modèle de langage standard Qwen 3.5 4B. Ce projet intègre un processeur RISC-V 32 bits entièrement déterministe directement dans les poids du modèle, lui permettant d'exécuter du code et d'effectuer des calculs en interne sans dépendre de runtime externes ou d'appels d'outils.

Ce qui s'est passé

Agrawal a modifié l'architecture de Qwen 3.5 4B en compilant un CPU RISC-V dans onze couches supplémentaires placées devant les trente-deux couches existantes du modèle. Le système résultant, nommé Qwenputer, fonctionne entièrement au sein des passes avant du réseau neuronal. Il exécute des opérations arithmétiques, du code C et des scripts MicroPython en exploitant l'état interne du modèle plutôt qu'en faisant appel à un bac à sable Python ou à une calculatrice externe.

Le projet démontre que les modèles hybrides peuvent héberger des simulations matérielles fonctionnelles au sein de leurs paramètres. Agrawal a également implémenté un système de stockage de fichiers expérimental intégré au modèle, permettant à celui-ci de sauvegarder et de récupérer des données textuelles entre les tours de conversation. Le code et les poids du modèle sont disponibles publiquement sur GitHub, Hugging Face et ModelScope, nécessitant seulement un GPU unique de 24 Go pour fonctionner.

Comment cela fonctionne

L'innovation centrale repose sur la réutilisation des couches d'attention Gated DeltaNet (GDN) présentes dans Qwen 3.5. Trois couches d'attention sur quatre dans ce modèle utilisent GDN, un mécanisme de réseau neuronal récurrent linéaire. Chaque tête GDN maintient une matrice d'état qui agit comme une mémoire. Normalement, une valeur de porte comprise entre zéro et un fait s'estomper cet état avec le temps, permettant au modèle d'oublier le contexte non pertinent. Cependant, en fixant la porte exactement à un et la force d'écriture à un, l'état devient permanent et adressable.

Agrawal a utilisé un encodage clé one-hot pour transformer ces états GDN en mémoire vive à accès direct (RAM) exacte. Une clé one-hot est un vecteur avec un seul élément actif, pointant vers une ligne spécifique de la matrice d'état, tout comme une adresse mémoire. Lorsque le modèle écrit à cette adresse, il écrase complètement la valeur existante plutôt que de la mélanger. Cela permet au CPU de stocker les registres, les valeurs mémoire et les compteurs de programme dans l'état GDN avec une précision parfaite, évitant la dérive typique des mécanismes d'attention standards.

Un compilateur personnalisé traduit le jeu d'instructions RISC-V en opérations de transformeur. Chaque instruction CPU, telle que l'addition de deux nombres ou le saut vers une nouvelle ligne, est convertie en une séquence de tokens générés par le modèle. Ces tokens incluent l'adresse mémoire à écrire, la valeur à stocker et un marqueur d'étape. Alors que Qwen génère ces tokens lors de l'inférence, le CPU exécute effectivement le programme. Les poids originaux de Qwen restent intacts, la logique informatique étant ajoutée via des dimensions et des couches supplémentaires.

Détails clés

• Le CPU est un cœur RISC-V 32 bits (RV32IM) avec l'extension Zba et une unité bignum, occupant onze couches.
• Il a réussi les tests officiels riscv-tests et exécuté 18 millions d'instructions en libre cours sans une seule erreur.
• Sur les benchmarks arithmétiques de DeepMind, Qwenputer a obtenu un score de 97,5 % sur les tâches de division et multiplication de grands nombres, égalant ou dépassant Qwen de base avec des outils Python.
• Le système de fichiers intégré au modèle prend en charge jusqu'à 512 fichiers, stockant environ 53 000 tokens de texte dans l'état DeltaNet.
• La taille du checkpoint modifié est de 18,8 Go, soit environ le double du modèle de base, due au remplissage par zéros dans les couches ajoutées.
• L'exécution nécessite un petit pilote appelé RvChat pour charger le firmware et gérer les tokens de trace, empêchant leur interférence avec la génération de texte standard.

Pourquoi c'est important

Pour les ingénieurs développant des produits IA, Qwenputer prouve que les grands modèles de langage peuvent atteindre un calcul déterministe sans dépendances externes. Les systèmes actuels reposent souvent sur l'appel d'outils, ce qui introduit de la latence, des risques de sécurité et des points de défaillance potentiels lors de la connexion à des API externes ou des bacs à sable. En intégrant la logique de calcul directement dans les poids, le modèle garantit que les opérations arithmétiques et logiques sont exactes et autonomes. Cette approche élimine le besoin de couches d'orchestration complexes pour gérer les exécuteurs externes.

Le projet met également en lumière de nouvelles avenues pour la sécurité et l'interprétabilité de l'IA. Comme l'état du CPU est stocké dans les couches GDN, il offre une fenêtre transparente sur le processus de raisonnement du modèle. Les chercheurs peuvent surveiller les valeurs exactes dans la RAM simulée, fournissant une piste d'exécution vérifiable difficile à masquer ou manipuler. Cela contraste avec le raisonnement standard en chaîne de pensée, qui peut être opaque ou évasif. La capacité de compiler des moniteurs fixes dans les poids suggère un avenir où les contraintes de sécurité sont codées en dur dans l'architecture du modèle plutôt que de compter sur l'ingénierie des prompts.

Ce que vous pouvez faire

• Clonez le dépôt Qwenputer depuis GitHub pour accéder au code expérimental et aux pilotes.
• Téléchargez les poids du modèle depuis Hugging Face ou ModelScope en utilisant la CLI Hugging Face.
• Configurez un environnement local avec uv et un GPU unique de 24 Go pour exécuter l'interface de chat.
• Utilisez le pilote RvChat fourni pour charger le firmware et exécuter des requêtes arithmétiques de base.
• Expérimentez avec le système de fichiers intégré au modèle en sauvegardant et récupérant des données textuelles entre des sessions de conversation séparées.
• Examinez le code du compilateur pour comprendre comment les instructions RISC-V sont mappées aux têtes d'attention du transformeur et aux unités feed-forward.