Mạng nơ-ron có thể được giải mã mà không cần bộ mã hóa tự động thưa

Một góc nhìn mới về khả năng diễn giải cơ học (mechanistic interpretability) thách thức quan điểm phổ biến rằng mạng nơ-ron vốn che giấu logic nội tại thông qua cơ chế chồng chập. Tác giả lập luận rằng với các kiến trúc hiện đại và công cụ cải tiến, hầu hết các nơ-ron trong các mô hình ngôn ngữ và thị giác hiện nay đều thực hiện những nhiệm vụ đơn lẻ, dễ hiểu.

Chuyện gì đã xảy ra

Trong nhiều năm, lĩnh vực diễn giải cơ học hoạt động dựa trên giả định rằng mạng nơ-ron về cơ bản là rối rắm. Các nhà nghiên cứu tin rằng khi mô hình cạn kiệt dung lượng, chúng sử dụng chiến lược gọi là chồng chập, gộp các khái niệm không liên quan vào cùng một nơ-ron để tiết kiệm không gian. Điều này tạo ra các nơ-ron đa nghĩa, dường như xử lý nhiều tác vụ không liên quan, chẳng hạn như phát hiện cả khuôn mặt mèo và đầu xe hơi. Để nghiên cứu các mạng này, các nhà khoa học cảm thấy buộc phải làm sạch chúng trước bằng các mô hình phụ trợ như bộ mã hóa tự động thưa (sparse autoencoders).

Tác giả giờ đây cho rằng bằng chứng kinh điển này đã bị đọc sai. Sự hỗn loạn rõ rệt trong các mô hình sơ khai như InceptionV1 không phải do nguyên tắc học phức tạp, mà là do những hạn chế về kiến trúc và công cụ phân tích yếu kém. Khi áp dụng các cải tiến kiến trúc hiện đại vào các mô hình tương tự, gần như tất cả các nơ-ron trong các lớp cuối cùng đều trở nên dễ diễn giải. Mạng không trộn lẫn các khái niệm một cách tùy tiện; thay vào đó, nó sử dụng các khái niệm thô hơn khi không gian hạn chế và phân tách thành các đặc trưng cụ thể khi dung lượng tăng lên.

Sự thay đổi này gợi ý rằng lĩnh vực có thể quay lại việc nghiên cứu trực tiếp các mạng. Thay vì xây dựng các mô hình phân rã để xấp xỉ một phiên bản đã được làm sạch của mạng, các nhà nghiên cứu có thể kiểm tra các nơ-ron và mạch điện tử đúng như chúng tồn tại. Tác giả mô tả đây là sự quay trở lại với khoa học bình thường nhanh chóng, nơi người ta quan sát luồng dữ liệu và kiểm tra các lời giải thích ở quy mô lớn mà không cần bước trung gian là gỡ rối các nút thắt được nhận diện.

Cách thức hoạt động

Cơ chế cốt lõi được xác định là quá trình tổng quát hóa đệ quy, chứ không phải sự chồng chập. Theo quan điểm này, một nơ-ron không nhóm ngẫu nhiên các mục không liên quan. Thay vào đó, nó học một khái niệm rộng bao trùm tự nhiên các khái niệm con liên quan. Ví dụ, một nơ-ron có thể kích hoạt cho nhiều loại xe hơi khác nhau. Nếu mô hình có dung lượng hạn chế, nó giữ nguyên bộ phát hiện xe hơi chung này. Nếu dung lượng tăng lên, nơ-ron đơn lẻ đó có thể tách thành nhiều nơ-ron chuyên biệt cho các mẫu xe cụ thể. Đây là một tiến trình học tập tiêu chuẩn, không phải là sản phẩm phụ của nén dữ liệu.

Các diễn giải trước đây về tính đa nghĩa thường không tính đến các kích hoạt yếu và bối cảnh. Các công cụ chỉ xem xét các kích hoạt mạnh hoặc bỏ qua bối cảnh hướng tới tương lai đã bỏ lỡ các kết nối logic giữa những tín hiệu dường như không liên quan. Một nơ-ron dường như phát hiện cả tàu Titanic và động cơ hơi nước có lẽ đang nhận ra một chủ đề rộng hơn về các chuyến hải trình lịch sử hoặc công nghệ đặc trưng theo thời kỳ. Khi đưa các tín hiệu yếu và mối quan hệ bối cảnh vào, chức năng của nơ-ron trở nên mạch lạc và duy nhất.

Chi tiết chính

• Trong các phiên bản cập nhật của InceptionV1, 99-100% nơ-ron ở lớp cuối cùng dễ dàng diễn giải được, so với gần như không có nơ-ron nào trong nghiên cứu ban đầu.
• Các cuộc kiểm toán sơ bộ đối với Qwen3-32B ước tính rằng khoảng 90% cực nơ-ron (neuron poles) chỉ có một nhiệm vụ chính, với 7% khác xử lý hai tác vụ liên quan.
• Chỉ 2-4% nơ-ron trong các mô hình ngôn ngữ hiện đại vẫn chưa được giải thích, trái ngược hoàn toàn với các phát hiện trước đây về tính đa nghĩa lan rộng.
• Mạch điện nổi tiếng cho thấy đặc trưng xe hơi lan sang các nơ-ron chó đã được đánh giá lại là quá trình tổng quát hóa thông thường, không phải là cơ chế ẩn giấu.
• Các cải tiến kiến trúc được thiết kế cho việc học ở các lớp sâu vô tình làm cho các mô hình dễ đọc hơn mà không thay đổi kích thước hoặc dữ liệu huấn luyện.
• Các kích hoạt yếu thường tiết lộ các nhánh liên quan của một khái niệm chính, chẳng hạn như mũ MAGA kích hoạt cho một nơ-ron chủ yếu tập trung vào Trump.

Tại sao điều này quan trọng

Góc nhìn này hạ thấp đáng kể rào cản gia nhập lĩnh vực diễn giải cơ học. Nếu các mạng đã sạch sẽ, các kỹ sư không cần phải huấn luyện và duy trì các bộ mã hóa tự động thưa phức tạp để hiểu nội bộ mô hình. Điều này giảm chi phí tính toán và đơn giản hóa quy trình làm việc để gỡ lỗi và kiểm toán các hệ thống AI. Nó cho phép các đội ngũ tập trung vào quan sát và thử nghiệm trực tiếp thay vì phát triển các mục tiêu tái cấu trúc ngày càng tinh vi.

Đối với những người xây dựng sản phẩm, điều này có nghĩa là minh bạch và tin cậy cao hơn vào hành vi của mô hình. Việc hiểu rằng các nơ-ron đại diện cho các khái niệm mạch lạc thay vì hỗn hợp tùy tiện cho phép can thiệp và kiểm soát đáng tin cậy hơn. Nó gợi ý rằng các thất bại trong diễn giải thường do hạn chế của công cụ hoặc kiến trúc lỗi thời, chứ không phải do khuyết điểm cố hữu của học sâu. Điều này mở ra cánh cửa cho các kiểm tra an toàn vững chắc hơn và kỹ thuật tính năng dựa trên thao tác trực tiếp vào nơ-ron.

Bạn có thể làm gì

• Đánh giá lại các phát hiện diễn giải cũ với các công cụ hiện đại tính đến các kích hoạt yếu và bối cảnh hai chiều.
• Tập trung vào phân tích nơ-ron trực tiếp trong các mô hình hiện tại trước khi đầu tư vào các quy trình huấn luyện bộ mã hóa tự động thưa.
• Kiểm tra các kích hoạt nơ-ron qua các phân vị khác nhau để xác định các chủ đề khái niệm rộng thay vì chỉ các tín hiệu mạnh.
• Kiểm tra các lời giải thích bằng cách quan sát luồng dữ liệu qua các mạch điện ở quy mô tác nhân (agentic scale) để xác nhận vai trò chức năng.
• Cân nhắc nâng cấp kiến trúc như một phương pháp chính để cải thiện độ dễ đọc của mô hình song song với chất lượng dữ liệu huấn luyện.
• Tài liệu hóa chức năng của nơ-ron bằng cách truy vết các nhánh liên quan của chúng để xây dựng bản đồ toàn diện về các khái niệm của mô hình.