Sử dụng trạng thái cơ sở dữ liệu làm tín hiệu phần thưởng để huấn luyện agent

Microsoft và Hugging Face vừa phát hành ThinkingBox-Training, một framework mã nguồn mở sử dụng trạng thái cuối cùng của cơ sở dữ liệu để chấm điểm và huấn luyện các AI agent. Được công bố vào tháng 10 năm 2026, dự án này minh họa cách các bài kiểm tra có thể thực thi đóng vai trò là tín hiệu phần thưởng chính xác cho học tăng cường (reinforcement learning), qua đó nâng cao đáng kể độ tin cậy của agent mà không cần dữ liệu được gán nhãn bởi con người.

Chuyện gì đã xảy ra

Các nhóm nghiên cứu đã xây dựng ThinkingBox nhằm giải quyết một chế độ lỗi phổ biến ở các agent tự động: các mô hình tuyên bố đã hoàn thành tác vụ nhưng lại để cơ sở dữ liệu nền tảng ở trạng thái sai lệch. Trong benchmark ban đầu, ThinkingBox-Bench, họ đã đánh giá mười tám mô hình trên 507 tác vụ liên quan đến các backend thực tế. Họ nhận thấy rằng tỷ lệ thành công trung bình cao thường che giấu sự thiếu nhất quán. Ví dụ, Kimi-K3 giải quyết được 93,89% tác vụ ít nhất một lần nhưng chỉ đạt độ nhất quán hoàn hảo trên 13,41% số tác vụ đó. Khoảng cách này nhấn mạnh rằng các chỉ số độ chính xác nổi bật như pass@1 không dự đoán đáng tin cậy mức độ sẵn sàng cho môi trường sản xuất, nơi tính đúng đắn lặp đi lặp lại là yếu tố then chốt.

Để cải thiện điều này, các nhà nghiên cứu đã sử dụng chính cơ chế chấm điểm có thể thực thi từ benchmark làm hàm phần thưởng cho giai đoạn hậu huấn luyện (post-training). Họ chọn một tập hợp các tác vụ nằm ngoài dataset của benchmark và tinh chỉnh mô hình Qwen3.8-27B bằng thuật toán Tối ưu hóa Chính sách Tương đối Nhóm (Group Relative Policy Optimization - GRPO) trong 50 bước. Quá trình huấn luyện tập trung vào "độ khó tương đối theo chính sách offline", nghĩa là họ đã chọn trước các tác vụ không quá dễ cũng không bất khả thi đối với mô hình gốc, nhằm đảm bảo tín hiệu học chứa đủ độ tương phản. Kết quả là sự gia tăng mạnh mẽ về tỷ lệ thành công có thể lặp lại, với số lượng tác vụ được giải quyết đúng trong cả hai mươi lần thử tăng từ 38 lên 107.

Cách thức hoạt động

ThinkingBox đánh giá các agent bằng cách cung cấp một backend thực tế và một bộ công cụ Model Context Protocol (MCP) cho từng tác vụ. Thay vì kiểm tra xem agent có gọi các hàm cụ thể hay không, hệ thống sẽ thanh tra trạng thái cuối cùng của cơ sở dữ liệu sau khi agent hoàn tất. Nếu các bản ghi khớp với kết quả mong đợi, agent sẽ nhận được phần thưởng là 1; ngược lại, nó nhận được 0. Phương pháp này khuyến khích mô hình tìm ra bất kỳ đường dẫn giải quyết hợp lệ nào thay vì bắt chước một chuỗi lệnh gọi công cụ cụ thể do con người định nghĩa.

Đối với việc huấn luyện, nhóm đã áp dụng kỹ thuật gọi là lựa chọn độ khó tương đối theo chính sách offline. Trước khi bắt đầu huấn luyện, họ chạy các tác vụ ứng viên trên mô hình Qwen3.8-27B gốc để ước tính xác suất thành công. Họ chỉ giữ lại những tác vụ tạo ra kết quả hỗn hợp—một số thành công và một số thất bại—vì GRPO yêu cầu phương sai trong một nhóm các lượt rollout để học hỏi. Nếu mọi nỗ lực trong một nhóm đều thất bại hoặc đều thành công, tín hiệu phần thưởng tương đối sẽ bằng không, không cung cấp gradient cho việc cải thiện. Tập hợp cố định gồm 187 tác vụ này sau đó được sử dụng cho 50 bước tinh chỉnh RL toàn bộ tham số trên 24 GPU H100.

Chi tiết chính

• Cải thiện mô hình: Điểm pass@1 của Qwen3.8-27B tăng từ 51,70% lên 60,78% sau 50 bước GRPO.
• Tăng trưởng độ nhất quán: Số lượng tác vụ vượt qua trong cả 20 lần thử tăng từ 38 (7,50%) lên 107 (21,10%), gần như tăng gấp ba lần độ tin cậy.
• Hiệu quả chi phí: Chi phí ước tính cho mỗi tác vụ đáng tin cậy giảm 67,2%, từ $24,36 xuống còn $8,00, nhờ tỷ lệ thành công cao hơn làm giảm số lần thử lại lãng phí.
• Cô lập Benchmark: 507 tác vụ trong ThinkingBox-Bench được dành riêng nghiêm ngặt cho việc đánh giá và không được đưa vào pool huấn luyện.
• Đánh đổi: Mặc dù khả năng lặp lại được cải thiện, chỉ số pass@20 (tác vụ được giải quyết ít nhất một lần) giảm nhẹ từ 89,35% xuống 87,97%, cho thấy mô hình trở nên thận trọng hơn.
• Cơ sở hạ tầng: Huấn luyện sử dụng GRPO trung bình token với 18 nhóm gồm 8 lượt rollout mỗi lần cập nhật, xử lý các lỗi hệ thống bằng cách bổ sung lại các nhóm thay vì phạt agent.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng quy trình làm việc dựa trên agent, công trình này nhấn mạnh rằng độ chính xác trung bình là một chỉ số gây hiểu lầm cho các hệ thống sản xuất. Một mô hình trả lời đúng 90% thời gian nhưng thất bại thảm hại ở các trường hợp biên giới quan trọng thường ít hữu ích hơn một mô hình kém chính xác hơn một chút nhưng luôn đáng tin cậy. Bằng cách chuyển trọng tâm sang tỷ lệ thành công "quan sát 20/20", các nhà phát triển có thể đánh giá tốt hơn liệu một agent đã sẵn sàng xử lý các thao tác nhạy cảm như giao dịch tài chính hoặc cập nhật kho hàng hay chưa mà không cần giám sát liên tục từ con người.

Phương pháp tiếp cận này cũng cung cấp một lộ trình thực tế để cải thiện các mô hình open-weight mà không cần chú thích tốn kém từ con người. Việc sử dụng mã có thể thực thi và trạng thái cơ sở dữ liệu làm ground truth cho phép mô hình hóa phần thưởng tự động và có khả năng mở rộng. Điều này có nghĩa là các đội ngũ có thể tinh chỉnh những mô hình nhỏ hơn, hiệu quả về chi phí như Qwen3.8-27B để đạt hiệu suất tương đương với các mô hình độc quyền lớn hơn trên những tác vụ cụ thể, được xác định rõ ràng, tiềm năng giảm chi phí suy luận trong khi vẫn duy trì tiêu chuẩn độ tin cậy cao.

Bạn có thể làm gì

• Đánh giá các agent hiện tại của bạn bằng các kiểm tra dựa trên trạng thái thay vì chỉ khớp văn bản đầu ra để phát hiện các lỗi im lặng.
• Cân nhắc tinh chỉnh các mô hình open-weight với GRPO nếu bạn có một cách xác định để kiểm chứng việc hoàn thành tác vụ, chẳng hạn như truy vấn cơ sở dữ liệu hoặc kiểm tra trạng thái API.
• Lọc các tác vụ huấn luyện theo độ khó tương đối so với mô hình gốc của bạn để đảm bảo tín hiệu học tăng cường chứa đủ phương sai cho việc học.
• Theo dõi cả chỉ số pass@1 và các chỉ số nhất quán (như pass@20 hoặc quan sát 20/20) để có cái nhìn toàn diện về độ tin cậy của agent.
• Sử dụng các backend cô lập cho việc kiểm thử để ngăn chặn các agent ảnh hưởng đến dữ liệu sản xuất trong các giai đoạn đánh giá và huấn luyện.
• Khám phá repository ThinkingBox-Training trên GitHub để triển khai các vòng lặp phần thưởng có thể thực thi tương tự cho các tác vụ thuộc lĩnh vực cụ thể của bạn.