StateBench hé lộ lý do các mô hình AI hàng đầu thất bại trong các tác vụ bộ nhớ dài hạn

Hugging Face đã giới thiệu StateBench, một bộ chuẩn đánh giá mới được thiết kế để kiểm tra mức độ hiệu quả của các mô hình ngôn ngữ trong việc theo dõi những thay đổi của thông tin qua các chuỗi dài. Được công bố vào tháng 11 năm 2026, nghiên cứu này đánh giá cả các mô hình mã nguồn mở và các mô hình tiên phong (frontier models) về khả năng duy trì trạng thái chính xác khi các biến hoặc thực thể tiến hóa qua hàng nghìn token.

Chuyện gì đã xảy ra

Nhóm nghiên cứu đã phát triển StateBench để đo lường khả năng theo dõi trạng thái (state tracking), tức là năng lực ghi nhận tình trạng của một thực thể khi nó thay đổi xuyên suốt một tài liệu. Khả năng này rất quan trọng đối với các tác vụ như đọc mã code nơi các biến được gán lại giá trị, hoặc theo dõi một câu chuyện nơi các nhân vật di chuyển đồ vật giữa các địa điểm. Trong khi các bài kiểm tra hiện có thường chỉ tập trung vào những trường hợp khó nhất, StateBench phân tách vấn đề thành bốn cấp độ phức tạp riêng biệt để cung cấp cái nhìn rõ ràng hơn về nơi các kiến trúc mô hình khác nhau thành công hay thất bại.

Bộ chuẩn đánh giá các mô hình dựa trên các tác vụ trải dài từ những phép gán bất biến đơn giản đến các chuỗi tham chiếu phức tạp. Các nhà nghiên cứu đã thử nghiệm nhiều loại mô hình, bao gồm các tùy chọn tiền huấn luyện mã nguồn mở như Olmo 3 và Olmo Hybrid, cũng như các mô hình tiên phong như Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol cùng Luna. Kết quả làm nổi bật một khoảng cách đáng kể: trong khi tất cả các mô hình đều xử lý tốt các sự kiện tĩnh đơn giản, hiệu suất của các mô hình tiên phong giảm mạnh khi phải đối mặt với các trạng thái phức tạp, đang tiến hóa trong các ngữ cảnh dài.

Để xác định xem những thất bại này là do dữ liệu huấn luyện hay giới hạn kiến trúc, nhóm cũng đã huấn luyện các mô hình nhỏ từ đầu cụ thể cho các tác vụ StateBench. Họ phát hiện ra rằng các kiến trúc lai và hồi quy (recurrent), chẳng hạn như Gated DeltaNet, có thể khái quát hóa sang các độ dài chuỗi vượt xa dữ liệu huấn luyện của chúng. Ngược lại, các kiến trúc transformer tiêu chuẩn hoàn toàn không học được các tác vụ theo dõi trạng thái khó nhất, ngay cả khi được huấn luyện có mục tiêu.

Cách thức hoạt động

StateBench phân loại các vấn đề theo dõi trạng thái thành bốn cấp độ dựa trên lý thuyết đại số, cụ thể là lý thuyết Krohn–Rhodes. Các cấp độ này tương ứng với các loại phép gán biến khác nhau trong lập trình. Cấp độ đầu tiên, R-trivial, liên quan đến các giá trị bất biến không bao giờ thay đổi, giống như ngày sinh. Cấp độ thứ hai, aperiodic, cho phép gán lại theo giá trị, nơi chỉ bản cập nhật gần nhất là quan trọng, giống như cài đặt nhiệt độ phòng. Cấp độ thứ ba, soluble, yêu cầu các bản cập nhật tự tham chiếu, nơi mỗi thay đổi xây dựng dựa trên trạng thái trước đó, chẳng hạn như điểm số trò chơi tích lũy. Cấp độ cuối cùng và khó nhất, general finite, liên quan đến phép gán theo tham chiếu, nơi các biến hoán đổi giá trị hoặc phụ thuộc vào các biến khác, tương tự như việc theo dõi một quả bóng dưới các chiếc cốc bị xáo trộn.

Bộ chuẩn tạo ra các chuỗi những phép gán này và yêu cầu mô hình dự đoán trạng thái cuối cùng của từng biến. Bằng cách giữ nguyên số lượng biến và điểm gán qua các cấp độ, bài kiểm tra cô lập độ phức tạp của logic thay vì khối lượng dữ liệu. Cấu trúc này cho phép các nhà nghiên cứu thấy chính xác nơi chuỗi suy luận của mô hình bị đứt gãy, dù là do mất dấu giá trị mới nhất hay do không giải quyết được các phụ thuộc phức tạp giữa nhiều thực thể.

Chi tiết chính

• StateBench định nghĩa bốn cấp độ khó: R-trivial (bất biến), aperiodic (giá trị mới nhất thắng), soluble (cập nhật tích lũy) và general finite (tham chiếu chéo giữa các biến).
• Các mô hình tiên phong bao gồm Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol cùng Luna đạt độ chính xác cao ở các tác vụ đơn giản nhưng giảm xuống còn 13% hoặc thấp hơn ở các bài toán general finite dài nhất.
• Các mô hình mở như Olmo Hybrid, sử dụng các lớp Gated DeltaNet, cho thấy tiềm năng khái quát hóa tốt hơn khi được huấn luyện trực tiếp cho các tác vụ theo dõi trạng thái so với các transformer thuần túy.
• Các transformer thất bại trong việc học các bài toán theo dõi trạng thái general finite ngay cả khi được huấn luyện từ đầu trên các tập dữ liệu cụ thể, gợi ý một giới hạn về kiến trúc.
• Các biến thể Gated DeltaNet với cơ chế cập nhật bộ nhớ linh hoạt đã khái quát hóa gần như hoàn hảo sang các chuỗi dài gấp 250 lần dữ liệu huấn luyện của chúng đối với các tác vụ dễ và trung bình.
• Bộ chuẩn hiện tại giả định số lượng biến cố định, nghĩa là nó chưa kiểm tra các kịch bản nơi các thực thể mới được đưa vào giữa chuỗi.

Tại sao điều này quan trọng

Đối với các nhà phát triển xây dựng hệ thống sinh xuất tăng cường truy xuất (RAG) hoặc các công cụ phân tích tài liệu, nghiên cứu này làm nổi bật một điểm yếu ẩn trong các mô hình ngôn ngữ lớn hiện nay. Nhiều ứng dụng giả định rằng nếu một mô hình có thể đọc một tài liệu dài, nó có thể theo dõi chính xác trạng thái của các mục, người hoặc biến code xuyên suốt văn bản đó. StateBench cho thấy giả định này rủi ro đối với các chuỗi logic phức tạp. Nếu một mô hình bỏ sót một bản cập nhật trong một chuỗi thay đổi dài, kết quả đầu ra cuối cùng có thể hoàn toàn sai lệch, dẫn đến hành vi phần mềm không đáng tin cậy hoặc trích xuất dữ liệu không chính xác.

Các phát hiện cũng gợi ý rằng sự phụ thuộc nặng nề của ngành vào các kiến trúc transformer tiêu chuẩn có thể chạm trần đối với một số loại suy luận nhất định. Khi các mô hình được yêu cầu xử lý các ngữ cảnh dài hơn và logic đa bước phức tạp hơn, các kiến trúc lai kết hợp cơ chế bộ nhớ hồi quy dường như phù hợp hơn cho nhiệm vụ này. Hiểu biết này có thể hướng dẫn các nhà lãnh đạo kỹ thuật trong việc lựa chọn các mô hình nền tảng cho các ứng dụng yêu cầu tính nhất quán nghiêm ngặt về trạng thái, chẳng hạn như rà soát hợp đồng pháp lý hoặc các công cụ tái cấu trúc code.

Bạn có thể làm gì

• Đánh giá các pipeline RAG hiện tại của bạn bằng các bài kiểm tra kiểu StateBench để xác định xem mô hình của bạn có gặp khó khăn với các thay đổi trạng thái đa bước hay không.
• Cân nhắc các kiến trúc mô hình lai hoặc hồi quy cho các tác vụ yêu cầu theo dõi các thực thể đang tiến hóa qua các ngữ cảnh dài.
• Chia nhỏ các tài liệu phức tạp thành các đoạn nhỏ hơn với các tóm tắt trạng thái tường minh để giảm tải nhận thức cho mô hình.
• Giám sát hiệu suất mô hình cụ thể trên các tác vụ aperiodic và soluble, vì chúng phổ biến trong dữ liệu thực tế nhưng thường bị bỏ qua trong các bộ chuẩn đánh giá tiêu chuẩn.
• Cập nhật về các kiến trúc mới nổi như Gated DeltaNet, cho thấy khả năng khái quát hóa vượt trội cho các tác vụ theo dõi trạng thái trong các nghiên cứu ban đầu.
• Triển khai các bước xác minh trong logic ứng dụng của bạn để đối chiếu kết quả đầu ra của mô hình với các chuyển tiếp trạng thái đã biết khi có thể.