Bộ nhớ học được giúp tăng độ tin cậy của agent mà không cần fine-tuning

Một phương pháp mới mang tên ALTK-Evolve đã chứng minh rằng các agent phần mềm có thể đạt hiệu suất hàng đầu trên các benchmark dịch vụ khách hàng phức tạp mà không cần cập nhật trọng số mô hình. Bằng cách tự động sinh ra và bổ sung các nguyên tắc hành vi vào system prompt, phương pháp này cho phép các mô hình cũ hơn như GPT-4.1 vượt qua các hệ thống chuyên biệt đã được fine-tuning trên bảng xếp hạng bán lẻ của τ²-bench tính đến tháng 10 năm 2026.

Chuyện gì đã xảy ra

Các nhà nghiên cứu đã thử nghiệm một kỹ thuật trong đó agent phân tích những thành công và thất bại trước đây của chính nó để tạo ra một bộ quy tắc ngắn gọn, có thể áp dụng ngay. Những quy tắc này sau đó được thêm vào system prompt của agent cho các tương tác trong tương lai. Khi áp dụng phương pháp này với GPT-4.1, một agent ReAct cơ bản đã đạt điểm Pass^4 là 67,5% trong lĩnh vực bán lẻ của τ²-bench. Chỉ số này cho thấy agent đã giải quyết đúng nhiệm vụ trong cả bốn lần thử độc lập đối với 67,5% các trường hợp. Kết quả này đưa nó lên vị trí cao hơn tất cả các mục nhập khác trong bảng xếp hạng bán lẻ tại thời điểm chụp nhanh ngày 12 tháng 10 năm 2026, bao gồm cả RAFT-30B-A3B, một mô hình được fine-tuning đặc biệt trên dữ liệu tổng hợp cho benchmark này.

Việc đánh giá sử dụng framework τ²-bench, mô phỏng các kịch bản dịch vụ khách hàng thực tế. Trong các bài kiểm tra này, một agent tương tác với một khách hàng được mô phỏng bởi LLM, người có các mục tiêu và ràng buộc cụ thể. Agent phải sử dụng các công cụ trong miền (domain), chẳng hạn như tra cứu đơn hàng hoặc hoàn tiền, đồng thời tuân thủ nghiêm ngặt các tài liệu chính sách bằng văn bản. Thành công được xác định dựa trên việc trạng thái cơ sở dữ liệu cuối cùng có khớp với kết quả mong đợi hay không, một phần thưởng nhị phân khắt khe không cho phép điểm một phần. Các nhà nghiên cứu đã áp dụng phương pháp này cho cả lĩnh vực bán lẻ và hàng không, sử dụng GPT-4.1 và GPT-5.5 làm mô hình agent nền tảng.

Quy trình này không yêu cầu chú thích từ con người hay cập nhật trọng số. Chính mô hình cung cấp năng lượng cho agent cũng trích xuất các nguyên tắc từ các trajectory huấn luyện. Ví dụ, nếu agent thường xuyên thất bại trong việc xác thực người dùng trước khi hành động, nó sẽ tạo ra một quy tắc yêu cầu xác thực trước tiên. Các nguyên tắc này được chắt lọc thành một danh sách markdown đơn giản và được bổ sung vào system prompt. Nghiên cứu phát hiện ra rằng cách tiếp cận này cải thiện cả độ chính xác trung bình lẫn độ tin cậy trên các kích thước mô hình và lĩnh vực khác nhau, chứng minh rằng bộ nhớ ở cấp độ prompt có thể cạnh tranh hoặc vượt qua lợi ích của việc fine-tuning.

Cách thức hoạt động

ALTK-Evolve hoạt động bằng cách chạy agent trên một tập hợp các nhiệm vụ huấn luyện và phân tích các trajectory thu được. Nó xác định các mẫu trong những nỗ lực thành công và thất bại, chắt lọc chúng thành các quy tắc hành vi súc tích. Ví dụ, một quy tắc có thể nêu rõ: "Luôn xác nhận tất cả các thay đổi dự kiến bằng một bản tóm tắt rõ ràng trước khi thực hiện bất kỳ hành động nào cập nhật cơ sở dữ liệu." Các nguyên tắc này được gán một số lượng hỗ trợ (support count), phản ánh số lượng nhiệm vụ huấn luyện riêng biệt đã đóng góp vào việc tạo ra chúng. Số lượng hỗ trợ cao hơn cho thấy quy tắc có khả năng khái quát hóa tốt hơn.

Trong quá trình suy luận (inference), các nguyên tắc này được tiêm vào system prompt cùng với chính sách của miền. Các nhà nghiên cứu đã thử nghiệm ba cấu hình: baseline không có nguyên tắc, cấu hình "sup3" chỉ giữ lại các quy tắc có độ tin cậy cao với số lượng hỗ trợ từ ba trở lên, và cấu hình "lossless" bao gồm tất cả các nguyên tắc được giữ lại. Sau đó, agent tuân theo các hướng dẫn này trong vòng lặp THINK → ACT. Vì các nguyên tắc là một phần của prompt, chúng ảnh hưởng đến lý luận của mô hình mà không làm thay đổi trọng số nội tại của nó. Điều này cho phép cùng một mô hình cơ sở thích ứng với các miền khác nhau chỉ bằng cách hoán đổi bộ nguyên tắc.

Chi tiết quan trọng

• Mức tăng hiệu suất: GPT-4.1 với các nguyên tắc lossless đạt 67,5% Pass^4 trong các nhiệm vụ bán lẻ, tăng 10 điểm so với baseline.
• Tác động chi phí: Chi phí token đầu vào tăng tới 65% cho các nhiệm vụ bán lẻ do prompt dài hơn, nhưng số lượt hội thoại giảm nhẹ, giúp giảm độ trễ.
• Đặc thù miền: Các nhiệm vụ bán lẻ hưởng lợi nhiều nhất từ bộ đầy đủ 292 nguyên tắc lossless, trong khi các nhiệm vụ hàng không thấy độ tin cậy cao hơn với một lõi gọn gồm 14 quy tắc có số lượng hỗ trợ cao.
• Tăng cường cho mô hình frontier: Áp dụng cùng kỹ thuật này cho GPT-5.5 đã nâng điểm Pass^4 hàng không của nó từ 55,0% lên 70,0%, cho thấy phương pháp này mở rộng theo năng lực mô hình.
• Không fine-tuning: Cách tiếp cận này hoàn toàn dựa vào kỹ thuật prompt engineering và tự phản tư (self-reflection), tránh được chi phí tính toán và sự mong manh của việc cập nhật trọng số.
• Chỉ số khắt khe: Pass^4 đo lường độ tin cậy bằng cách yêu cầu thành công trong cả bốn lần thử cho mỗi nhiệm vụ, đảm bảo agent nhất quán chứ không chỉ đúng thỉnh thoảng.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng agent trong môi trường production, công trình này làm nổi bật một lựa chọn thay thế khả thi cho fine-tuning. Fine-tuning thường đắt đỏ, đòi hỏi tập dữ liệu lớn và có thể dẫn đến tình trạng quên thảm họa (catastrophic forgetting) hoặc chuyển giao kém sang các miền mới. ALTK-Evolve chứng minh rằng bạn có thể đạt được kết quả tương đương hoặc tốt hơn bằng cách khai thác kinh nghiệm của chính mô hình thông qua việc bổ sung prompt. Điều này đặc biệt có giá trị đối với các miền có chính sách nghiêm ngặt, chẳng hạn như dịch vụ khách hàng hoặc chăm sóc sức khỏe, nơi việc tuân thủ quy tắc là then chốt và sai sót gây tốn kém.

Sự đánh đổi giữa chi phí và hiệu suất cũng thuận lợi. Mặc dù prompt lớn hơn làm tăng mức sử dụng token đầu vào, việc giảm số lượt hội thoại đồng nghĩa với độ trễ end-to-end thấp hơn. Trong bối cảnh thực tế, caching prompt có thể giảm thiểu chi phí đầu vào vì khối nguyên tắc vẫn tĩnh qua các lần gọi. Điều này cho phép các nhóm triển khai các agent đáng tin cậy hơn bằng cách sử dụng các mô hình cũ hơn, rẻ hơn như GPT-4.1, thay vì liên tục chạy theo các mô hình frontier mới nhất để đạt được những cải thiện nhỏ.

Bạn có thể làm gì

• Triển khai một vòng phản hồi (feedback loop) trong đó agent ghi log các trajectory thành công và thất bại để phân tích.
• Sử dụng một LLM để chắt lọc các log này thành những nguyên tắc súc tích, có thể áp dụng, được định dạng dưới dạng danh sách markdown.
• Bổ sung các nguyên tắc này vào system prompt của bạn, thử nghiệm việc lọc theo số lượng hỗ trợ để cân bằng giữa độ ngắn gọn và phạm vi bao phủ.
• Đo lường độ tin cậy bằng các chỉ số khắt khe như Pass^N, không chỉ độ chính xác trung bình, để đảm bảo hiệu suất nhất quán.
• Giám sát chi phí token và độ dài hội thoại để xác minh rằng độ chính xác được cải thiện không phải trả giá bằng độ trễ quá mức.
• Kiểm tra cách tiếp cận này trên các miền khác nhau để xác định mật độ nguyên tắc tối ưu cho từng trường hợp sử dụng cụ thể.