Nhúng một CPU RISC-V xác định vào trong trọng số của Qwen 3.5

Vào ngày 22 tháng 10 năm 2026, nhà nghiên cứu Divyansh Agrawal đã phát hành Qwenputer, một bản sửa đổi thử nghiệm của mô hình ngôn ngữ Qwen 3.5 4B gốc. Dự án này nhúng một bộ xử lý trung tâm (CPU) RISC-V 32-bit hoàn toàn xác định trực tiếp vào các trọng số của mô hình, cho phép nó thực thi mã và thực hiện các phép tính nội tại mà không phụ thuộc vào các runtime bên ngoài hay lời gọi công cụ.

Chuyện gì đã xảy ra

Agrawal đã sửa đổi kiến trúc của Qwen 3.5 4B bằng cách biên dịch một CPU RISC-V vào mười một lớp bổ sung được đặt phía trước ba mươi hai lớp hiện có của mô hình. Hệ thống kết quả, được đặt tên là Qwenputer, chạy hoàn toàn trong các lần truyền tiến (forward passes) của mạng nơ-ron. Nó thực hiện các phép tính số học, mã C và các tập lệnh MicroPython bằng cách khai thác trạng thái nội tại của mô hình thay vì gọi tới sandbox Python hoặc máy tính cầm tay bên ngoài.

Dự án chứng minh rằng các mô hình lai có thể chứa các mô phỏng phần cứng chức năng ngay trong tham số của chúng. Agrawal cũng triển khai một hệ thống lưu trữ tệp thử nghiệm trong mô hình, cho phép mô hình lưu và truy xuất dữ liệu văn bản qua nhiều lượt hội thoại. Mã nguồn và trọng số mô hình được cung cấp công khai trên GitHub, Hugging Face và ModelScope, chỉ yêu cầu một GPU 24 GB duy nhất để chạy.

Cách thức hoạt động

Đổi mới cốt lõi dựa trên việc tái sử dụng các lớp chú ý Gated DeltaNet (GDN) được tìm thấy trong Qwen 3.5. Ba trong mỗi bốn lớp chú ý của mô hình này sử dụng GDN, một cơ chế mạng nơ-ron hồi quy tuyến tính. Mỗi đầu GDN duy trì một ma trận trạng thái đóng vai trò như bộ nhớ. Thông thường, một giá trị cổng (gate) giữa không và một khiến trạng thái này mờ dần theo thời gian, giúp mô hình quên đi ngữ cảnh không liên quan. Tuy nhiên, bằng cách đặt cổng chính xác bằng một và cường độ ghi bằng một, trạng thái trở nên vĩnh viễn và có thể địa chỉ hóa.

Agrawal đã sử dụng mã hóa khóa one-hot để biến các trạng thái GDN thành bộ nhớ truy cập ngẫu nhiên (RAM) chính xác. Một khóa one-hot là một vector với một phần tử hoạt động duy nhất, trỏ tới một hàng cụ thể trong ma trận trạng thái giống như một địa chỉ bộ nhớ. Khi mô hình ghi vào địa chỉ này, nó ghi đè hoàn toàn giá trị hiện có thay vì trộn lẫn nó. Điều này cho phép CPU lưu trữ các thanh ghi, giá trị bộ nhớ và bộ đếm chương trình trong trạng thái GDN với độ chính xác tuyệt đối, tránh được sự trôi dạt điển hình của các cơ chế chú ý tiêu chuẩn.

Một trình biên dịch tùy chỉnh chuyển đổi tập lệnh RISC-V thành các thao tác transformer. Mỗi lệnh CPU, chẳng hạn như cộng hai số hoặc nhảy sang dòng mới, được chuyển đổi thành một chuỗi token do mô hình tạo ra. Các token này bao gồm địa chỉ bộ nhớ để ghi, giá trị cần lưu và một dấu hiệu bước. Khi Qwen tạo ra các token này trong quá trình suy luận, CPU về mặt hiệu quả thực thi chương trình. Các trọng số Qwen gốc vẫn nguyên vẹn, với logic máy tính được thêm vào thông qua các chiều và lớp bổ sung.

Chi tiết chính

• CPU là một lõi RISC-V 32-bit (RV32IM) với phần mở rộng Zba và một đơn vị bignum, chiếm mười một lớp.
• Nó đã vượt qua các bài kiểm tra riscv-tests chính thức và chạy 18 triệu lệnh tự do mà không gặp lỗi nào.
• Trên các benchmark số học của DeepMind, Qwenputer đạt điểm 97,5% trong các nhiệm vụ chia và nhân lớn, ngang bằng hoặc vượt trội so với Qwen cơ bản khi sử dụng công cụ Python.
• Hệ thống tệp trong mô hình hỗ trợ tối đa 512 tệp, lưu trữ khoảng 53.000 token văn bản trong trạng thái DeltaNet.
• Kích thước checkpoint đã sửa đổi là 18,8 GB, gấp đôi mô hình cơ bản, do việc đệm số không (zero padding) trong các lớp được thêm vào.
• Việc thực thi yêu cầu một driver nhỏ tên là RvChat để tải firmware và quản lý các token trace, ngăn chúng can thiệp vào quá trình tạo văn bản tiêu chuẩn.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng sản phẩm AI, Qwenputer chứng minh rằng các mô hình ngôn ngữ lớn có thể đạt được tính toán xác định mà không cần phụ thuộc bên ngoài. Các hệ thống hiện tại thường dựa vào việc gọi công cụ (tool calling), điều này gây ra độ trễ, rủi ro bảo mật và các điểm tiềm ẩn thất bại khi kết nối với API hoặc sandbox bên ngoài. Bằng cách nhúng logic tính toán trực tiếp vào trọng số, mô hình đảm bảo rằng các phép tính số học và logic là chính xác và tự chứa. Cách tiếp cận này loại bỏ nhu cầu về các lớp điều phối phức tạp để quản lý các executor bên ngoài.

Dự án cũng làm nổi bật những hướng đi mới cho an toàn AI và khả năng giải thích. Vì trạng thái của CPU được lưu trữ trong các lớp GDN, nó cung cấp một cửa sổ minh bạch vào quá trình suy luận của mô hình. Các nhà nghiên cứu có thể giám sát chính xác các giá trị trong RAM mô phỏng, cung cấp một dấu vết thực thi có thể xác minh khó bị che giấu hoặc thao túng. Điều này trái ngược với suy luận chuỗi tư duy (chain-of-thought) tiêu chuẩn, vốn có thể mờ ám hoặc lảng tránh. Khả năng biên dịch các giám sát cố định vào trọng số gợi ý một tương lai nơi các ràng buộc an toàn được lập trình cứng vào kiến trúc mô hình thay vì dựa vào kỹ thuật prompt.

Bạn có thể làm gì

• Nhân bản kho lưu trữ Qwenputer từ GitHub để truy cập mã thử nghiệm và các driver.
• Tải trọng số mô hình từ Hugging Face hoặc ModelScope bằng CLI của Hugging Face.
• Thiết lập môi trường cục bộ với uv và một GPU 24 GB duy nhất để chạy giao diện chat.
• Sử dụng driver RvChat được cung cấp để tải firmware và thực thi các truy vấn số học cơ bản.
• Thử nghiệm với hệ thống tệp trong mô hình bằng cách lưu và truy xuất dữ liệu văn bản qua các phiên hội thoại riêng biệt.
• Xem xét mã trình biên dịch để hiểu cách các lệnh RISC-V được ánh xạ tới các đầu chú ý transformer và đơn vị feed-forward.