Qwen 3.8 27B diễn giải trọng số mạng nơ-ron thô trên laptop

Một ghi chú nghiên cứu mới có tiêu đề "Sparks of Weight-Space Programming" (Tia lửa của Lập trình trong Không gian Trọng số) tuyên bố rằng các mô hình ngôn ngữ lớn (LLM) có thể diễn giải và chỉnh sửa trọng số mạng nơ-ron thô mà không cần thực thi mã. Simon Willison đã kiểm tra những tuyên bố này bằng cách sử dụng Qwen 3.8 27B trên phần cứng cục bộ của mình, xác nhận rằng mô hình mở trọng số này có thể thành công xác định hành vi của các tác nhân học tăng cường đơn giản chỉ bằng cách đọc ma trận trọng số của chúng.

Chuyện gì đã xảy ra

Các nhà nghiên cứu Rikiya Takehi, Jayden Teoh, Alex Zhang và Omar Khattab đã công bố một tài liệu mà họ mô tả là "bài đăng blog" nhưng lại giống với một bài báo kỹ thuật hơn. Họ giới thiệu khái niệm Lập trình trong Không gian Trọng số (Weight-Space Programming), lập luận rằng các mô hình tiên phong như GPT-6 Astra có thể phân tích các số dấu phẩy động thô đại diện cho một mạng nơ-ron để xác định chức năng của nó. Các tác giả còn tuyên bố thêm rằng những mô hình này có thể chỉnh sửa trọng số để cải thiện hiệu suất hoặc tạo ra các mạng mới từ đầu, vượt qua các phương pháp huấn luyện truyền thống trong một số tác vụ quy mô nhỏ cụ thể.

Thí nghiệm cốt lõi liên quan đến bốn mạng nơ-ron nhỏ được huấn luyện thông qua học tăng cường để chơi các phiên bản đơn giản hóa trên lưới 10x10 của Breakout, Pong, Pac-Man và Freeway. Các nhà nghiên cứu đã đưa trọng số thô của những mạng này vào một LLM với một prompt nghiêm ngặt: xác định trò chơi dựa hoàn toàn vào trọng số, không được truy cập vào việc thực thi mã, máy tính hay các công cụ bên ngoài. Mục tiêu là kiểm tra xem mô hình có thể hiểu trực tiếp các hàm ý cấu trúc của các giá trị trọng số hay không.

Willison đã tái hiện thí nghiệm này bằng cách sử dụng Qwen 3.8 27B, một mô hình anh chạy cục bộ trên laptop của mình. Anh sử dụng công cụ dòng lệnh llm với plugin lmstudio để đưa cùng các prompt từ kho lưu trữ GitHub của các nhà nghiên cứu vào mô hình. Bất chấp cường độ tính toán cao và yêu cầu về ngữ cảnh dài, Qwen 3.8 27B đã thành công xác định các trò chơi trong ba trên bốn bài kiểm tra, chứng minh rằng khả năng này không độc quyền dành cho các mô hình tiên phong nguồn đóng, sở hữu riêng.

Cách thức hoạt động

Lập trình trong Không gian Trọng số dựa vào khả năng của LLM xử lý các chuỗi dữ liệu số dài dưới dạng văn bản. Trọng số mạng nơ-ron về cơ bản là các mảng số dấu phẩy động xác định cách biến đổi đầu vào thành đầu ra. Bằng cách coi những con số này là một mô tả văn bản, LLM phân tích các mẫu, độ lớn và phân phối bên trong ma trận. Nó cố gắng suy ngược logic được nhúng trong những con số đó, ánh xạ các cấu hình trọng số cụ thể sang các hành vi tính toán hoặc cơ chế trò chơi đã biết.

Trong bài kiểm tra của Willison, mô hình nhận được một tệp văn bản chứa hàng nghìn giá trị dấu phẩy động. Nó phải tương quan các giá trị này với cấu trúc không gian của lưới 10x10. Ví dụ, nó tìm kiếm các mẫu chỉ ra vị trí của tác nhân, chướng ngại vật di chuyển hoặc mục tiêu phần thưởng. Mô hình đã tạo ra các vết suy luận chi tiết, cố gắng ánh xạ các hàng và cột cụ thể trong ma trận trọng số sang các yếu tố vật lý trong môi trường trò chơi, chẳng hạn như thanh đỡ (paddle), bóng hoặc tường.

Quá trình này không liên quan đến việc chạy mạng nơ-ron hay mô phỏng trò chơi. Thay vào đó, đây là một nhiệm vụ phân tích tĩnh được thực hiện hoàn toàn trong cửa sổ ngữ cảnh của mô hình ngôn ngữ. Mô hình sử dụng kiến thức nội tại về cách các mạng nơ-ron thường được cấu trúc và huấn luyện để suy ra mục đích của các trọng số được cung cấp. Nó xác định các cụm giá trị cao hoặc thấp và liên kết chúng với các thành phần chức năng như cảm biến đầu vào hoặc cơ cấu chấp hành đầu ra.

Chi tiết chính

• Qwen 3.8 27B đã xác định đúng Pac-Man sau 46 phút và 12 giây, xử lý 43.506 token suy luận.
• Mô hình xác định Pong trong 1 giờ, 4 phút và 54 giây, gán mức độ tin cậy 75% cho kết luận của mình.
• Breakout được xác định trong 52 phút và 25 giây với điểm tin cậy 88%, mô tả chính xác cơ chế thanh đỡ và gạch.
• Qwen thất bại trong việc xác định Freeway, đoán sai rằng đó là một trò chơi kiểu Pac-Man, có lẽ do sự ít phổ biến của tựa game Atari năm 1981 này.
• Thí nghiệm đòi hỏi một cửa sổ ngữ cảnh dài; giới hạn mặc định 8192 token gây ra lỗi, buộc phải cấu hình lớn hơn trong LM Studio.
• Bài báo gốc cũng tuyên bố rằng các mô hình có thể chỉnh sửa trọng số để khắc phục các vòng lặp suy luận, cải thiện điểm toán của Qwen3.5-0.8B từ 7,9% lên 48,1% trên bộ dữ liệu MATH-500.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và chuyên gia ML, minh chứng này gợi ý rằng các LLM đang phát triển sự hiểu biết sâu sắc hơn về cấu trúc của chính các mô hình học máy. Nếu một mô hình có thể đọc trọng số và suy ra hành vi, nó mở ra cánh cửa cho các công cụ gỡ lỗi và tối ưu hóa tự động mà không cần huấn luyện lại. Điều này có thể giảm đáng kể chi phí tính toán khi tinh chỉnh các mô hình nhỏ, cho phép các nhà phát triển điều chỉnh hiệu suất bằng cách chỉnh sửa trọng số trực tiếp thay vì chạy các vòng lặp huấn luyện dựa trên gradient tốn kém.

Tuy nhiên, kết quả cũng làm nổi bật những hạn chế thực tế đáng kể. Thời gian cần thiết để Qwen 3.8 27B phân tích một mạng lưới 10x10 nhỏ xíu là gần một giờ mỗi trò chơi. Độ trễ này khiến việc lập trình không gian trọng số theo thời gian thực trở nên bất khả thi đối với hầu hết các ứng dụng hiện nay. Hơn nữa, thất bại với prompt Freeway cho thấy thành công của mô hình phụ thuộc rất nhiều vào sự quen thuộc của dữ liệu huấn luyện với các cơ chế trò chơi cụ thể, thay vì một sự hiểu biết phổ quát về tất cả các chức năng mạng nơ-ron có thể.

Sự khác biệt giữa phân tích tĩnh và thực thi động vẫn còn rất quan trọng. Mặc dù mô hình có thể diễn giải trọng số, nó không "chạy" mô hình theo nghĩa truyền thống. Điều này có nghĩa là mặc dù nó có thể xác định các mẫu hành vi rộng, nó có thể bỏ sót các động thái runtime tinh tế hoặc các trường hợp biên (edge cases) chỉ xuất hiện trong quá trình suy luận thực tế. Các nhà phát triển nên xem đây là một công cụ phân tích bổ trợ chứ không phải là sự thay thế cho các pipeline kiểm thử và xác thực tiêu chuẩn.

Bạn có thể làm gì

• Cài đặt công cụ dòng lệnh llm và plugin llm-lmstudio để tái hiện các thí nghiệm này cục bộ.
• Tải xuống Qwen 3.8 27B hoặc một mô hình mở trọng số tương tự có khả năng xử lý các cửa sổ ngữ cảnh dài.
• Truy cập repository RikiyaT/lm_understand-logs trên GitHub để lấy các prompt gốc và tệp trọng số.
• Cấu hình engine suy luận cục bộ của bạn để hỗ trợ các cửa sổ ngữ cảnh lớn hơn 8192 token nhằm tránh lỗi cắt ngắn.
• Thử nghiệm với các mạng nơ-ron nhỏ, đã được huấn luyện trước khác để kiểm tra xem mô hình có thể xác định chức năng của chúng mà không cần thực thi mã hay không.
• Xem xét các vết suy luận được tạo bởi mô hình để hiểu cách nó ánh xạ các mẫu số sang các cấu trúc logic.