Làm rõ các phương pháp đằng sau tuyên bố chỉnh sửa trọng số của Astra

Một bài đăng lan truyền gần đây khẳng định rằng GPT-6 Astra có thể trực tiếp đọc và ghi các trọng số mạng nơ-ron để sửa lỗi suy luận trong Qwen3.5-0.8B. Được công bố vào đầu tháng 11 năm 2026, báo cáo gốc gợi ý rằng những cải thiện này diễn ra mà không cần cập nhật gradient hay phản hồi từ môi trường. Tuy nhiên, một phân tích kỹ thuật chi tiết bởi Matthew Honnibal tiết lộ rằng các kết quả nổi bật chủ yếu dựa vào việc tạo mã và thực thi mô hình, thay vì chỉ thao tác trực tiếp lên trọng số.

Chuyện gì đã xảy ra

Bài đăng ban đầu trình bày một loạt thí nghiệm nơi Astra dường như thể hiện khả năng thống nhất trong việc hiểu và sửa đổi mạng nơ-ron bằng cách kiểm tra các tham số thô. Tóm tắt tuyên bố rằng Astra có thể xác định mục tiêu huấn luyện chỉ bằng cách nhìn vào trọng số và có thể viết các mạng chơi game nhỏ từ con số không, vượt trội hơn so với các mô hình được huấn luyện bằng Tối ưu hóa Chính sách Gần đúng (PPO) qua 100 triệu bước. Đáng chú ý nhất, nó khẳng định Astra đã khắc phục các vòng lặp suy luận toán học trong Qwen3.5-0.8B bằng cách chỉnh sửa bản địa 0,016% trọng số, tăng điểm MATH-500 từ 7,9% lên 48,1%.

Phân tích của Honnibal mổ xẻ các tuyên bố này bằng cách tách biệt các thí nghiệm thành các danh mục riêng biệt dựa trên các công cụ sẵn có cho mô hình. Ông lập luận rằng cách trình bày bắt chước màn ảo thuật sân khấu, nơi các kỹ thuật khác nhau được sử dụng cho từng trò lừa bịp, nhưng khán giả lại giả định rằng chỉ có một phương pháp duy nhất đang hoạt động. Trong khi một số thí nghiệm nhỏ hơn liên quan đến việc kiểm tra trọng số trực tiếp, các cải thiện lớn trên mô hình ngôn ngữ bao gồm việc viết script Python và chạy các mô hình đích trên các lô dữ liệu thực hành. Sự khác biệt này rất quan trọng vì nó chuyển câu chuyện từ "AI hiểu trọng số một cách trực giác" sang "AI có thể tự động hóa các quy trình kỹ thuật ML tiêu chuẩn."

Việc phân tích cho thấy điều kiện "chỉ bằng cách nhìn vào trọng số thô" chỉ áp dụng cho các mạng rất nhỏ, dao động từ 17K đến 172K tham số. Ngược lại, mọi thí nghiệm liên quan đến các mô hình ngôn ngữ thực tế như Qwen hoặc Gemma đều sử dụng mã Python để phân tích hoặc sửa đổi trọng số. Hơn nữa, thí nghiệm cải thiện Qwen cho phép Astra chạy mô hình trên tối đa 50 lô bài tập thực hành, cung cấp phản hồi hướng dẫn việc chỉnh sửa trọng số. Bối cảnh này thay đổi cách giải thích kết quả từ một đột phá nhận thức mới lạ sang một sự tự động hóa tinh vi các thực hành kỹ thuật hiện có.

Cách thức hoạt động

Sự hiểu lầm cốt lõi xuất phát từ việc nhầm lẫn ba chế độ vận hành khác nhau: kiểm tra trọng số trực tiếp, phân tích hỗ trợ bởi mã và gỡ lỗi dựa trên thực thi. Trong chế độ kiểm tra trực tiếp, mô hình nhận các số dấu phẩy động thô làm ngữ cảnh đầu vào mà không có bất kỳ công cụ bên ngoài nào. Điều này chỉ thành công đối với các perceptron nhiều lớp (MLP) siêu nhỏ, nơi toàn bộ ma trận trọng số có thể vừa vào cửa sổ ngữ cảnh. Đối với các tác vụ lớn hơn, Astra chuyển sang viết các chương trình Python. Các script này có thể tải mô hình, kiểm tra mẫu attention hoặc tính toán các thống kê không thể suy ra chỉ từ các số thô.

Đối với việc sửa lỗi toán học của Qwen, quy trình bao gồm việc tạo mã để xác định các vấn đề trọng số cụ thể gây ra vòng lặp suy luận. Mô hình sau đó thực thi mã này, chạy mô hình Qwen trên các bài toán mẫu và quan sát đầu ra. Dựa trên vòng lặp phản hồi này, nó tạo thêm mã để chỉnh sửa trọng số. Điều này hoàn toàn khác với việc chỉnh sửa trọng số "bản địa", vốn ngụ ý rằng mô hình tự tính toán nội bộ các thay đổi tham số cần thiết mà không cần thực thi bên ngoài. Khả năng viết và chạy mã cho phép AI tận dụng các công cụ gỡ lỗi tiêu chuẩn, giống như một kỹ sư con người, thay vì dựa vào một sự hiểu biết tổng thể nội tại về kiến trúc mạng.

Chi tiết chính

• Việc kiểm tra trọng số thô trực tiếp bị giới hạn ở các mạng có 17K đến 172K tham số, chẳng hạn như các MLP nhỏ và mô hình khuếch tán (diffusion models).
• Việc cải thiện toán học cho Qwen3.5-0.8B đòi hỏi phải viết mã Python và chạy mô hình trên tối đa 50 lô bài tập thực hành.
• Astra thất bại trong việc phát hiện sự nịnh bợ (sycophancy) ở Gemma 3 khi chỉ sử dụng phân tích mã, nhưng thành công khi được phép xem các mẫu attention trong quá trình thực thi.
• Tuyên bố rằng Astra viết các mạng chơi game từ đầu đánh bại PPO-100M chỉ đúng với trò Breakout; nó thua PPO trong Seaquest và Asterix.
• Các thí nghiệm liên quan đến mô hình ngôn ngữ lớn luôn sử dụng script Python để phân tích hoặc sửa đổi trọng số, thay vì chỉnh sửa tham số trực tiếp.
• Việc cải thiện điểm MATH-500 từ 7,9% lên 48,1% đạt được bằng cách chỉnh sửa 0,016% trọng số sau khi thử nghiệm lặp đi lặp lại, không phải trong một lần mù quáng duy nhất.

Tại sao điều này quan trọng

Đối với các nhà phát triển phần mềm và kỹ sư ML, sự khác biệt này làm rõ trạng thái hiện tại của việc bảo trì mô hình hỗ trợ bởi AI. Ý tưởng rằng AI có thể trực giác "đọc" trọng số của một mô hình ngôn ngữ lớn giống như con người đọc văn bản vẫn còn là khoa học viễn tưởng. Tuy nhiên, khả năng của AI trong việc viết các script Python mạnh mẽ tự động hóa phân tích trọng số, chạy các bài kiểm tra suy luận và áp dụng các bản sửa lỗi có mục tiêu là một lợi ích năng suất hữu hình. Nó gợi ý rằng các quy trình làm việc trong tương lai sẽ liên quan đến các tác nhân AI đóng vai trò như những kỹ sư junior có thể thực thi các pipeline gỡ lỗi phức tạp, thay vì các hệ thống kiểu tiên tri tự động sửa chữa mô hình một cách thần kỳ.

Sự làm rõ này cũng giúp quản lý kỳ vọng xung quanh an toàn AI và khả năng giải thích. Nếu việc chỉnh sửa trọng số yêu cầu phản hồi thực thi và tạo mã, nó vẫn là một quy trình minh bạch và có thể kiểm toán. Các kỹ sư có thể xem xét các script Python do AI tạo ra để hiểu lý do tại sao một số trọng số nhất định được sửa đổi. Điều này đáng tin cậy hơn nhiều so với việc tin tưởng một mô hình hộp đen thực hiện các điều chỉnh tham số trực tiếp dựa trên lý luận nội bộ mờ ám. Nó củng cố giá trị của các kỹ năng kỹ thuật ML truyền thống, vì AI về cơ bản đang tự động hóa các thực hành tốt nhất đã biết thay vì thay thế chúng bằng các cơ chế mới chưa được chứng minh.

Bạn có thể làm gì

• Kiểm toán bất kỳ script chỉnh sửa trọng số nào do AI tạo ra trước khi thực thi để đảm bảo chúng tuân thủ các nguyên tắc an toàn và kết quả mong muốn.
• Sử dụng các tác nhân AI để tự động hóa việc tạo mã chẩn đoán nhằm xác định các vòng lặp suy luận hoặc nút thắt hiệu suất trong mô hình của bạn.
• Duy trì sự tách biệt nghiêm ngặt giữa môi trường tạo mã và trọng số mô hình sản xuất để ngăn ngừa hỏng hóc vô tình.
• Tận dụng AI để viết các bài kiểm tra đơn vị xác minh hành vi mô hình sau bất kỳ bước chỉnh sửa trọng số tự động hoặc fine-tuning nào.
• Tập trung vào việc xây dựng các pipeline đánh giá mạnh mẽ có thể cung cấp các tín hiệu phản hồi mà các tác nhân AI cần để gỡ lỗi mô hình một cách hiệu quả.
• Giữ thái độ hoài nghi đối với các tuyên bố gợi ý rằng AI có thể bỏ qua các vòng lặp huấn luyện truyền thống mà không có bằng chứng rõ ràng về các quy trình cơ học nền tảng.