Cách các tác nhân AI sử dụng tính toán khi ngủ để tổ chức bộ nhớ dài hạn

Anthropic đã công bố một bài phân tích kỹ thuật chuyên sâu về kiến trúc bộ nhớ của tác nhân (agent), chi tiết hóa cách các mô hình Claude tận dụng thời gian xử lý nhàn rỗi để hợp nhất các trải nghiệm. Báo cáo phác thảo một cơ chế được gọi là "mơ", nơi các tác nhân xem xét lại nhật ký phiên làm việc ngoại tuyến để sửa lỗi, tinh chỉnh ghi chú và xây dựng các biểu diễn kiến thức có cấu trúc cho các nhiệm vụ trong tương lai.

Chuyện gì đã xảy ra

Bài viết thiết lập sự song song giữa quá trình hợp nhất bộ nhớ của con người khi ngủ và một quy trình tính toán được gọi là "tính toán khi ngủ" (sleep-time compute). Giống như hồi hải mã (hippocampus) ở người phát lại các trải nghiệm để tích hợp chúng vào vỏ não mới, các tác nhân AI có thể sử dụng khoảng thời gian giữa các lần tương tác để tái tổ chức ngữ cảnh của chúng. Các nhà nghiên cứu tại Letta và UC Berkeley trước đây đã đề xuất khái niệm này, nhưng Anthropic cung cấp các benchmark cụ thể cho thấy cách nó cải thiện hiệu suất của Claude trong các nhiệm vụ dài hạn.

Phát hiện cốt lõi là bộ nhớ hiệu quả không chỉ liên quan đến việc lưu trữ dữ liệu, mà còn là dự đoán những gì sẽ hữu ích sau này. Các tác nhân viết "ghi chú bộ nhớ" dựa trên các sự kiện nổi bật, gắn thẻ chúng để truy xuất sau này. Tuy nhiên, chất lượng của những ghi chú này phụ thuộc rất nhiều vào khả năng đánh giá tầm quan trọng của mô hình. Các mô hình cũ hơn hoặc kém mạnh mẽ hơn có xu hướng tích trữ thông tin bừa bãi, trong khi các mô hình mới hơn như Claude Opus 5 và Sonnet 5.5 học cách chắt lọc các quy tắc và sự thật đã được xác minh, tạo ra một cơ sở kiến thức hiệu quả hơn.

Cách hoạt động

Hệ thống dựa vào hai thành phần chính: viết bộ nhớ trong phiên làm việc và mơ ngoại tuyến. Trong các nhiệm vụ đang hoạt động, tác nhân xác định các sự kiện nổi bật và ghi chúng vào kho lưu trữ bộ nhớ bền vững, chẳng hạn như một thư mục chứa các tệp. Điều này đóng vai trò như một dự đoán rằng thông tin sẽ cần được sử dụng lại. Ví dụ, nếu một tác nhân thất bại trong một nhiệm vụ, nó có thể ghi lại sự thất bại đó và giả thuyết lý do tại sao nó xảy ra, từ đó tạo ra một quy tắc cho các lần thử trong tương lai.

Quá trình "mơ" xảy ra khi tác nhân không tương tác tích cực với người dùng. Nó xem xét bản ghi chép của các phiên trước so với các ghi chú bộ nhớ đã lưu trữ. Nếu một ghi chú mâu thuẫn với bản ghi chép, tác nhân sẽ sửa đổi nó. Quy trình này cũng cho phép tác nhân xây dựng các biểu diễn ở cấp độ cao hơn, chẳng hạn như "wiki", liên kết các khái niệm liên quan với nhau. Những cấu trúc này giúp tác nhân điều hướng cơ sở kiến thức ngày càng mở rộng của mình hiệu quả hơn so với việc tìm kiếm qua các nhật ký thô.

Chi tiết chính

• Tính toán khi ngủ: Các tác nhân sử dụng thời gian nhàn rỗi để phát lại nhật ký, sửa lỗi bộ nhớ và hợp nhất kiến thức, tương tự như chu kỳ giấc ngủ của con người.
• Đánh giá mức độ nổi bật: Các mô hình mới hơn như Claude Opus 5.5 chọn lọc lưu trữ các quy tắc chiến lược và sự thật đã được xác minh, trong khi các mô hình cũ hơn như Sonnet 3.7 lưu trữ dữ liệu trạng thái dư thừa, dẫn đến giảm hiệu suất.
• Kết quả benchmark: Trong Continual Learning Bench (CL-Bench) 1.0, Opus 5 đã khép kín vòng lặp học tập bằng cách ghi lại các quy tắc đã được xác thực, vượt trội đáng kể so với các baseline không có trạng thái (stateless).
• Thử nghiệm Pokémon Red: Fable 5 giành được bốn huy hiệu bằng cách duy trì một thư mục bộ nhớ nhỏ gọn và mang tính chiến lược, trong khi Sonnet 3.7 chỉ giành được một huy hiệu do các tệp bộ nhớ lộn xộn và lỗi thời.
• Sửa lỗi khi mơ: Trong một nhiệm vụ điều hướng, quá trình mơ cho phép Claude sửa một ký ức sai lệch về vị trí trên bản đồ, ngăn chặn việc bị mắc kẹt trong một vòng lặp.
• Xây dựng Wiki: Các tác nhân có thể xây dựng các trang wiki liên kết từ các kho tài liệu lớn trong quá trình mơ, cải thiện độ chính xác khi truy xuất cho các truy vấn phức tạp.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng các tác nhân tự hành, điều này nhấn mạnh rằng quản lý bộ nhớ không chỉ là vấn đề lưu trữ mà còn là vấn đề tuyển chọn (curation). Lưu trữ mọi tương tác dẫn đến nhiễu và thời gian truy xuất chậm hơn, như thấy trong benchmark Pokémon nơi việc tạo tệp quá mức đã làm gián đoạn tiến độ. Các tác nhân hiệu quả phải phân biệt giữa dữ liệu trạng thái tạm thời (có thể đọc từ môi trường) và kiến thức chiến lược (phải được giữ lại).

Khái niệm "mơ" cung cấp một giải pháp thực tế để duy trì tính toàn vẹn của bộ nhớ. Nếu không có xác minh ngoại tuyến, các tác nhân có thể củng cố các giả định sai lầm, dẫn đến những thất bại lặp đi lặp lại. Bằng cách triển khai một quy trình nền xác minh bộ nhớ dựa trên nhật ký chuẩn (ground-truth logs), các nhà phát triển có thể đảm bảo rằng tác nhân của họ học hỏi từ sai lầm thay vì tích lũy thêm chúng. Điều này chuyển trọng tâm thiết kế từ các cửa sổ ngữ cảnh đơn giản sang các cơ sở kiến thức động, tự sửa lỗi.

Bạn có thể làm gì

• Triển khai một job nền xem xét nhật ký của tác nhân trong các khoảng thời gian nhàn rỗi để xác định và sửa các mục bộ nhớ không nhất quán.
• Thiết kế các schema bộ nhớ tách biệt trạng thái tạm thời (ví dụ: vị trí hiện tại) khỏi chiến lược bền vững (ví dụ: các chiến thuật đã được chứng minh).
• Cho phép các mô hình nâng cao tự động đánh giá mức độ nổi bật thay vì áp đặt các quy tắc cứng nhắc về những gì cần lưu trữ, vì các quy tắc cố định có thể cản trở hiệu suất.
• Sử dụng các biểu diễn có cấu trúc như wiki hoặc ghi chú liên kết để giúp các tác nhân điều hướng các cơ sở kiến thức lớn một cách hiệu quả.
• Kiểm tra khả năng giữ lại bộ nhớ của tác nhân bằng cách sử dụng các benchmark dài hạn như CL-Bench để đo lường khả năng khép kín vòng lặp học tập.
• Giám sát kích thước và tốc độ tăng trưởng của thư mục bộ nhớ để phát hiện hành vi tích trữ, điều có thể chỉ ra khả năng đánh giá mức độ nổi bật kém.