Incrustar una CPU RISC-V determinista dentro de los pesos de Qwen 3.5

El 22 de octubre de 2026, el investigador Divyansh Agrawal lanzó Qwenputer, una modificación experimental del modelo de lenguaje estándar Qwen 3.5 4B. Este proyecto incrusta una CPU RISC-V de 32 bits totalmente determinista directamente en los pesos del modelo, permitiendo que ejecute código y realice cálculos internamente sin depender de entornos de ejecución externos o llamadas a herramientas.

Qué ocurrió

Agrawal modificó la arquitectura de Qwen 3.5 4B compilando una CPU RISC-V en once capas adicionales situadas delante de las treinta y dos capas existentes del modelo. El sistema resultante, llamado Qwenputer, funciona íntegramente dentro de los pases hacia adelante (forward passes) de la red neuronal. Ejecuta operaciones aritméticas, código C y scripts MicroPython aprovechando el estado interno del modelo, en lugar de llamar a un sandbox de Python o a una calculadora externa.

El proyecto demuestra que los modelos híbridos pueden alojar simulaciones funcionales de hardware dentro de sus parámetros. Agrawal también implementó un sistema experimental de almacenamiento de archivos dentro del modelo, que permite guardar y recuperar datos de texto entre turnos de conversación. El código y los pesos del modelo están disponibles abiertamente en GitHub, Hugging Face y ModelScope, requiriendo solo una GPU de 24 GB para su ejecución.

Cómo funciona

La innovación principal se basa en reutilizar las capas de atención Gated DeltaNet (GDN) presentes en Qwen 3.5. Tres de cada cuatro capas de atención en este modelo utilizan GDN, un mecanismo de red neuronal recurrente lineal. Cada cabeza GDN mantiene una matriz de estado que actúa como memoria. Normalmente, un valor de puerta (gate) entre cero y uno hace que este estado se desvanezca con el tiempo, permitiendo al modelo olvidar contexto irrelevante. Sin embargo, al fijar la puerta exactamente en uno y la fuerza de escritura en uno, el estado se vuelve permanente y direccionable.

Agrawal utilizó codificación de clave one-hot para convertir estos estados GDN en memoria de acceso aleatorio (RAM) exacta. Una clave one-hot es un vector con un único elemento activo, que apunta a una fila específica en la matriz de estado igual que una dirección de memoria. Cuando el modelo escribe en esta dirección, sobrescribe completamente el valor existente en lugar de mezclarlo. Esto permite a la CPU almacenar registros, valores de memoria y contadores de programa en el estado GDN con precisión perfecta, evitando la deriva típica de los mecanismos de atención estándar.

Un compilador personalizado traduce el conjunto de instrucciones RISC-V en operaciones de transformer. Cada instrucción de CPU, como sumar dos números o saltar a una nueva línea, se convierte en una secuencia de tokens generados por el modelo. Estos tokens incluyen la dirección de memoria a escribir, el valor a almacenar y un marcador de paso. A medida que Qwen genera estos tokens durante la inferencia, la CPU ejecuta efectivamente el programa. Los pesos originales de Qwen permanecen intactos, añadiéndose la lógica informática mediante dimensiones y capas extra.

Detalles clave

• La CPU es un núcleo RISC-V de 32 bits (RV32IM) con la extensión Zba y una unidad bignum, ocupando once capas.
• Pasó las pruebas oficiales riscv-tests y ejecutó 18 millones de instrucciones en modo libre sin un solo error.
• En los benchmarks aritméticos de DeepMind, Qwenputer obtuvo un 97,5% en tareas grandes de división y multiplicación, igualando o superando a Qwen base con herramientas de Python.
• El sistema de archivos dentro del modelo soporta hasta 512 archivos, almacenando aproximadamente 53.000 tokens de texto en el estado DeltaNet.
• El tamaño del checkpoint modificado es de 18,8 GB, aproximadamente el doble del modelo base, debido al relleno con ceros en las capas añadidas.
• La ejecución requiere un pequeño driver llamado RvChat para cargar el firmware y gestionar los tokens de traza, evitando que interfieran con la generación estándar de texto.

Por qué importa

Para los ingenieros que construyen productos de IA, Qwenputer demuestra que los grandes modelos de lenguaje pueden lograr computación determinista sin dependencias externas. Los sistemas actuales suelen depender de llamadas a herramientas, lo que introduce latencia, riesgos de seguridad y posibles puntos de fallo al conectar con APIs externas o sandboxes. Al incrustar la lógica de cálculo directamente en los pesos, el modelo garantiza que las operaciones aritméticas y lógicas sean exactas y autónomas. Este enfoque elimina la necesidad de complejas capas de orquestación para gestionar ejecutores externos.

El proyecto también destaca nuevas vías para la seguridad e interpretabilidad de la IA. Dado que el estado de la CPU se almacena en las capas GDN, ofrece una ventana transparente al proceso de razonamiento del modelo. Los investigadores pueden monitorear los valores exactos en la RAM simulada, proporcionando un rastro verificable de ejecución difícil de ocultar o manipular. Esto contrasta con el razonamiento estándar de cadena de pensamiento (chain-of-thought), que puede ser opaco o evasivo. La capacidad de compilar monitores fijos en los pesos sugiere un futuro donde las restricciones de seguridad estén codificadas en la arquitectura del modelo en lugar de depender de la ingeniería de prompts.

Qué puedes hacer

• Clona el repositorio de Qwenputer desde GitHub para acceder al código experimental y los drivers.
• Descarga los pesos del modelo desde Hugging Face o ModelScope usando la CLI de Hugging Face.
• Configura un entorno local con uv y una sola GPU de 24 GB para ejecutar la interfaz de chat.
• Usa el driver RvChat proporcionado para cargar el firmware y ejecutar consultas aritméticas básicas.
• Experimenta con el sistema de archivos dentro del modelo guardando y recuperando datos de texto entre sesiones de conversación separadas.
• Revisa el código del compilador para entender cómo se mapean las instrucciones RISC-V a las cabezas de atención y unidades feed-forward del transformer.