Sử dụng mô hình quyết định để đánh giá agent có khả năng mở rộng trong AWS Bedrock

Amazon Web Services đã mở rộng khả năng của Amazon Bedrock AgentCore Evaluations để hỗ trợ các công cụ đánh giá tùy chỉnh được vận hành bởi các mô hình quyết định. Được phát hành vào tháng 11 năm 2026, bản cập nhật này cho phép các nhà phát triển tích hợp trực tiếp các mô hình chuyên biệt như Jev của TypeSafe và Strands Decider 2B mã nguồn mở vào quy trình đánh giá agent của họ. Cách tiếp cận này cung cấp một giải pháp thay thế có cấu trúc so với việc sử dụng các bộ đánh giá bằng mô hình ngôn ngữ lớn (LLM) đa mục đích cho các tác vụ xác thực cụ thể và lặp đi lặp lại.

Điều gì đã xảy ra

AgentCore Evaluations được thiết kế để chấm điểm các AI agent trong suốt vòng đời của chúng, từ giai đoạn phát triển đến lưu lượng truy cập sản xuất. Mặc dù dịch vụ này đã bao gồm 15 công cụ đánh giá tích hợp sẵn sử dụng các mô hình ngôn ngữ lớn (LLM) để đánh giá phản hồi theo các tiêu chí rubric, nhưng nó hiện cũng hỗ trợ các công cụ đánh giá tùy chỉnh được định nghĩa dưới dạng LLM-as-a-judge hoặc logic dựa trên mã nguồn. Trọng tâm mới là các công cụ đánh giá dựa trên mã nguồn, có thể gọi các hệ thống bên ngoài, bao gồm cả các mô hình quyết định, thông qua các hàm AWS Lambda.

Các mô hình quyết định khác biệt so với LLM tiêu chuẩn ở chỗ chúng trả về xác suất được hiệu chuẩn trên một tập hợp câu trả lời cố định, thay vì tạo ra văn bản tự do. Điều này làm cho chúng lý tưởng cho những câu hỏi hẹp mà một người có kiến thức có thể đưa ra phán đoán nhanh chóng, chẳng hạn như xác minh xem phản hồi có giữ đúng chủ đề hay không, hoặc liệu một lệnh gọi công cụ (tool call) có an toàn hay không. Bằng cách tích hợp các mô hình này, các nhà phát triển có thể tạo ra một lớp sàng lọc giúp gắn cờ các vấn đề một cách hiệu quả trước khi chuyển các trường hợp phức tạp hơn sang các công cụ đánh giá LLM tốn kém và mang tính giải thích cao hơn.

Thông báo nhấn mạnh hai backend cụ thể cho việc tích hợp này: Jev, một dịch vụ được lưu trữ bởi TypeSafe, và Strands Decider 2B, một mô hình mã nguồn mở từ đội ngũ Strands Agents. Cả hai đều hỗ trợ ba loại câu hỏi: nhị phân có/không (noul), nhiều lựa chọn (choice) và các mức độ xếp hạng (score). Cấu trúc này cho phép đặt ra các ngưỡng chính xác, có thể lập trình được, điều khó đạt được với đầu ra biến đổi của các mô hình tạo sinh.

Cách hoạt động

Việc tích hợp dựa vào các hàm AWS Lambda đóng vai trò là cầu nối giữa AgentCore Evaluations và mô hình quyết định. Khi một quá trình đánh giá được kích hoạt, hàm Lambda sẽ nhận các span OpenTelemetry chứa dữ liệu tương tác của agent. Một module chuẩn hóa định dạng dữ liệu này thành một yêu cầu phù hợp cho mô hình quyết định, chỉ gửi lịch sử lượt hội thoại liên quan cho các kiểm tra ở cấp độ trace (vết) hoặc toàn bộ phiên cho các đánh giá rộng hơn.

Sau khi mô hình quyết định xử lý đầu vào, nó trả về một phân phối xác suất. Bộ chuyển đổi Lambda chuyển đổi phân phối này sang định dạng mà AgentCore mong đợi. Đối với các câu hỏi nhị phân, xác suất "true" trở thành giá trị. Đối với các câu hỏi được chấm điểm, hệ thống tính toán mức kỳ vọng được trọng số theo xác suất, được thang hóa giữa 0 và 1. Kết quả này sau đó được đăng ký như một công cụ đánh giá dựa trên mã nguồn trong bảng điều khiển (control plane) của AgentCore, cho phép nó chạy song song với các chỉ số tích hợp sẵn như tính chính xác và sự hữu ích.

Các nhà phát triển có thể triển khai thiết lập này bằng cách sử dụng các script Python được cung cấp, xử lý việc tạo role, đóng gói Lambda và đăng ký công cụ đánh giá. Hệ thống hỗ trợ cả đánh giá batch theo yêu cầu đối với các phiên đã lưu và đánh giá online liên tục đối với lưu lượng truy cập trực tiếp. Các cờ (flags) trong script triển khai cho phép người dùng chọn backend Jev hoặc Strands Decider, kèm theo các tùy chọn để tự động cung cấp các instance EC2 cần thiết cho các mô hình tự lưu trữ (self-hosted).

Chi tiết chính

• Các mô hình quyết định trả về xác suất được hiệu chuẩn trên các lựa chọn cố định, khác với LLM vốn tạo ra văn bản tự do và lý do giải thích.
• Hai backend được hỗ trợ là Jev (do TypeSafe lưu trữ) và Strands Decider 2B (mã nguồn mở, tự lưu trữ).
• Ba loại câu hỏi được hỗ trợ: noul (có/không), choice (tối đa 255 lựa chọn) và score (2-10 mức độ xếp hạng).
• Các công cụ đánh giá dựa trên mã nguồn chạy trong AWS Lambda, nhận các span OpenTelemetry và trả về kết quả có cấu trúc cho AgentCore.
• "Mẫu cascade" khuyến nghị sử dụng các mô hình quyết định để sàng lọc nhanh và rẻ tiền, chỉ leo thang các lượt hội thoại có độ tin cậy thấp sang các công cụ đánh giá LLM.
• Việc xác thực yêu cầu so sánh đầu ra của mô hình quyết định với các mẫu được gán nhãn bởi con người để kiểm tra tỷ lệ đồng thuận và độ hiệu chuẩn.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng AI agent cho môi trường sản xuất, chi phí và tính nhất quán là những mối lo ngại lớn. Các công cụ đánh giá LLM đa mục đích cung cấp giải thích phong phú nhưng đắt đỏ và có thể gặp phải sự trôi dạt độ tin cậy (confidence drift). Các mô hình quyết định cung cấp một cách để áp dụng các tiêu chí rubric cụ thể một cách nhất quán mà không gặp phải sự biến đổi của văn bản tạo sinh. Bằng cách sử dụng chúng như một bước đầu tiên, các nhóm có thể giảm khối lượng tương tác được gửi đến các mô hình lớn hơn, hạ thấp chi phí vận hành trong khi vẫn duy trì độ phủ cao.

Cách tiếp cận này cũng cải thiện độ tin cậy của việc kiểm thử tự động. Vì các mô hình quyết định xuất ra xác suất dạng số, các nhà phát triển có thể đặt ngưỡng chính xác cho việc đạt hoặc trượt các tiêu chí cụ thể. Điều này rất quan trọng đối với các lĩnh vực tuân thủ nghiêm ngặt như Nhân sự (HR) hoặc Tài chính, nơi các chính sách phải được áp dụng đồng nhất. Khả năng đặt ngưỡng và tổng hợp các điểm số này một cách có lập trình cho phép xây dựng các hệ thống giám sát và cảnh báo mạnh mẽ hơn.

Hơn nữa, việc tách biệt các tác vụ "đọc" và "suy luận" làm rõ chiến lược đánh giá. Các kiểm tra hẹp về cơ sở dữ liệu (groundedness) hoặc hoàn thành mục tiêu có thể được xử lý bởi các mô hình quyết định, trong khi các tác vụ suy luận phức tạp vẫn thuộc về các bộ đánh giá LLM. Kiến trúc lai này tận dụng sức mạnh của cả hai công nghệ, đảm bảo rằng năng lực điều tra sâu sắc được dành riêng cho những trường hợp mà các kiểm tra nhị phân đơn giản là không đủ.

Những gì bạn có thể làm

• Xác định các câu hỏi đánh giá hẹp, có thể lặp lại trong quy trình làm việc của agent, chẳng hạn như tuân thủ chính sách hoặc cơ sở dữ liệu thực tế.
• Xây dựng một mẫu dữ liệu được gán nhãn từ lưu lượng truy cập của agent với các tham chiếu do con người gán nhãn để xác thực bất kỳ công cụ đánh giá mô hình quyết định mới nào.
• Triển khai các script Python được cung cấp để thiết lập các công cụ đánh giá dựa trên Lambda cho Jev hoặc Strands Decider trong tài khoản AWS của bạn.
• Thực hiện mẫu cascade bằng cách đặt các ngưỡng độ tin cậy chỉ kích hoạt đánh giá LLM sâu hơn khi cần thiết.
• Giám sát độ hiệu chuẩn bằng cách nhóm các lượt hội thoại theo xác suất được báo cáo và so sánh chúng với tỷ lệ đồng thuận của con người.
• Chạy lại các kiểm tra xác thực bất cứ khi nào bạn cập nhật phiên bản mô hình quyết định hoặc sửa đổi cách diễn đạt các câu hỏi đánh giá.