Khung 'giấc ngủ' của Google giúp LLM học liên tục mà không bị quên

Google Research đã giới thiệu một phương pháp mới mang tên khung 'giấc ngủ' (sleep framework), được thiết kế để giúp các mô hình ngôn ngữ lớn (LLM) tiếp thu kiến thức mới một cách liên tục trong khi vẫn duy trì các khả năng đã học trước đó. Được công bố vào ngày 27 tháng 10 năm 2026, phương pháp này giải quyết những hạn chế quan trọng về điểm cắt kiến thức tĩnh và hiện tượng quên thảm khốc trong các hệ thống AI đang triển khai bằng cách mô phỏng quá trình hợp nhất bộ nhớ sinh học.

Điều gì đã xảy ra

Các LLM hiện đại thường hoạt động theo hai chế độ riêng biệt: tiền huấn luyện (pre-training), nơi chúng hấp thụ lượng dữ liệu khổng lồ, và suy luận (inference), nơi chúng áp dụng kiến thức đó trong một cửa sổ ngữ cảnh giới hạn. Sau khi triển khai, các mô hình này phần lớn vẫn giữ nguyên trạng thái, không thể tích hợp các thông tin mới hoặc thích ứng với thông tin thay đổi nếu không qua quá trình huấn luyện lại tốn kém. Mặc dù việc học trong ngữ cảnh (in-context learning) cho phép thích ứng tạm thời, mọi kiến thức thu được trong một phiên sẽ bị mất khi cửa sổ ngữ cảnh đóng lại, ngăn cản sự phát triển khả năng thực sự về lâu dài.

Trở ngại chính đối với việc cập nhật các mô hình đã triển khai là hiện tượng quên thảm khốc, một tình huống mà việc học các nhiệm vụ mới làm giảm nghiêm trọng hiệu suất trên các nhiệm vụ cũ. Các phương pháp học liên tục truyền thống gặp khó khăn trong việc cân bằng giữa việc tiếp nhận thông tin mới và bảo toàn các trọng số hiện có. Nhóm nghiên cứu của Google đề xuất một giải pháp lấy cảm hứng từ khoa học thần kinh con người: luân phiên giữa pha thức (wake phase) chủ động để tương tác và pha ngủ (sleep phase) ngoại tuyến để hợp nhất bộ nhớ và tự cải thiện.

Khung này cho phép LLM tạm dừng xử lý đầu vào định kỳ để chuyển hướng tính toán nội bộ nhằm ổn định hóa các ký ức ngắn hạn mong manh thành các tham số bộ nhớ dài hạn vững chắc. Bằng cách đó, mô hình có thể liên tục tích hợp các thông tin mới, xử lý cửa sổ ngữ cảnh lên đến 10 triệu token và nâng cao kỹ năng lập luận phức tạp mà không làm xáo trộn kiến trúc cốt lõi hay yêu cầu can thiệp thủ công.

Cách thức hoạt động

Khung 'giấc ngủ' chia vòng đời của mô hình thành hai trạng thái. Trong pha hoạt động hoặc pha thức, LLM xử lý đầu vào và lưu trữ thông tin tạm thời vào các thành phần bộ nhớ ngắn hạn nhanh chóng. Trong pha ngủ tiếp theo, mô hình ngừng chấp nhận đầu vào mới và tập trung vào hợp nhất bộ nhớ và 'mơ'. Quá trình này diễn ra trong một kiến trúc cố định sử dụng các khối Mixture-of-Experts (MoE), nơi các chuyên gia hạng thấp (low-rank experts) mới được mở khóa sẽ được tích hợp vào các cấu trúc bộ nhớ ổn định.

Quá trình hợp nhất bộ nhớ phản ánh giấc ngủ không REM (non-rapid eye movement sleep) ở con người. Hệ thống sử dụng Chưng cất Kiến thức Tổng quát (Generalized Knowledge Distillation) và học bắt chước dựa trên học tăng cường để chuyển kiến thức từ các lớp ngắn hạn tần suất cao sang các tham số dài hạn mở rộng. Việc chưng cất on-policy đảm bảo mô hình học viên học từ chính các chuỗi do nó tạo ra, trong khi việc học bắt chước thưởng cho sự tương đồng ngữ nghĩa. Khi quá trình hợp nhất hoàn tất, việc tỉa synap (synaptic pruning) sẽ đặt lại các tham số tạm thời, giải phóng dung lượng cho các phiên tương lai.

Giai đoạn 'mơ' mô phỏng giấc ngủ REM bằng cách tham gia vào quá trình tự cải thiện độc lập. Mô hình tạo ra các mẫu huấn luyện tổng hợp, hay còn gọi là 'giấc mơ', bằng cách kích hoạt ngẫu nhiên các chuyên gia phi chuẩn để trộn lẫn các miền kiến thức khác nhau. Các mẫu này được lọc bằng phương pháp chọn lọc dựa trên gradient để ưu tiên các tín hiệu học tập giá trị cao, sau đó được tinh chỉnh giám sát (supervised fine-tuning) và tinh chỉnh bằng học tăng cường. Quá trình này đa dạng hóa các hướng gradient được khám phá, dẫn đến một bối cảnh tối ưu hóa cân bằng hơn và cải thiện khả năng lập luận.

Chi tiết chính

• Khung này luân phiên giữa tương tác chủ động và hợp nhất bộ nhớ ngoại tuyến để giảm thiểu hiện tượng quên thảm khốc.
• Nó hỗ trợ hiểu biết ngữ cảnh dài lên đến 10 triệu token bằng cách nén ngữ cảnh vào bộ nhớ tham số.
• Hợp nhất bộ nhớ sử dụng kiến trúc Mixture-of-Experts với các chuyên gia hạng thấp và chưng cất kiến thức tổng quát.
• Giai đoạn 'mơ' bao gồm việc kích hoạt chuyên gia ngẫu nhiên và lọc dữ liệu tổng hợp dựa trên gradient để tự cải thiện.
• Trong các đánh giá, phương pháp này duy trì mức giảm hiệu suất gần bằng không ở các ngôn ngữ chưa từng thấy như tiếng Mãn Châu và tiếng Kalamang.
• Mô hình đạt độ chính xác 79,2% trên các benchmark lập luận toán học AIME 24/25, vượt trội so với các baseline tiêu chuẩn.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và kiến trúc sư AI, việc LLM không thể lưu trữ vĩnh viễn thông tin mới là một nút thắt cổ chai đáng kể. Các giải pháp hiện tại phụ thuộc vào cửa sổ ngữ cảnh khổng lồ hoặc việc huấn luyện lại thường xuyên, cả hai đều tốn kém tài nguyên tính toán và kém hiệu quả. Khung 'giấc ngủ' mở ra con đường hướng tới các tác nhân tự động có thể cập nhật cơ sở tri thức liên tục mà không mất đi chuyên môn trước đó, giảm bớt chi phí vận hành để duy trì các mô hình cập nhật.

Phương pháp này cũng nâng cao độ tin cậy của các hệ thống AI trong môi trường động. Bằng cách hợp nhất các tương tác ngắn hạn vào các tham số dài hạn, các mô hình có thể duy trì hiệu suất nhất quán trên nhiều nhiệm vụ và ngôn ngữ khác nhau. Khả năng được chứng minh trong việc mở rộng xử lý ngữ cảnh lên 10 triệu token đồng thời cải thiện độ chính xác lập luận cho thấy rằng các sản phẩm AI trong tương lai có thể cung cấp nhận thức ngữ cảnh sâu sắc và bền bỉ hơn mà không phải chịu các hình phạt về độ trễ liên quan đến cửa sổ đầu vào cực lớn.

Bạn có thể làm gì

• Theo dõi các triển khai mã nguồn mới nổi của kiến trúc Mixture-ofExperts hỗ trợ mở rộng tham số động.
• Đánh giá các pipeline tạo sinh tăng cường truy xuất (retrieval-augmented generation) hiện tại để tìm cơ hội tích hợp các bước hợp nhất ngoại tuyến định kỳ.
• Thử nghiệm các kỹ thuật tạo dữ liệu tổng hợp mô phỏng giai đoạn 'mơ' để cải thiện độ bền vững của mô hình.
• Xem xét các chiến lược học tăng cường tập trung vào tương đồng ngữ nghĩa và học bắt chước cho việc chưng cất kiến thức.
• Cân nhắc thiết kế các lớp ứng dụng tách biệt tương tác người dùng tức thì khỏi chu kỳ cập nhật mô hình nền tảng.
• Cập nhật các benchmark cho học liên tục, đặc biệt là những benchmark kiểm tra hiện tượng quên thảm khốc trong các kịch bản đa nhiệm.