Biến lỗi của agent thành bài kiểm tra với NVIDIA NeMo Compass và Eval Author

Vào ngày 4 tháng 11 năm 2026, NVIDIA đã công bố một hướng dẫn kỹ thuật minh họa cách sử dụng nền tảng NeMo để gỡ lỗi và cải thiện AI agent một cách có hệ thống. Hướng dẫn này giới thiệu một quy trình kết nối trực tiếp việc phân tích trace với việc tạo bài đánh giá và tối ưu hóa harness, vượt qua các benchmark chung chung để giải quyết những lỗi cụ thể trong môi trường sản xuất.

Chuyện gì đã xảy ra

Bài viết chi tiết hóa phương pháp khép kín vòng lặp giữa việc quan sát lỗi của agent và sửa chữa chúng. Nó làm nổi bật hai thành phần chính: NeMo Compass, công cụ phân tích các trace agent được lưu trữ để tìm ra những vấn đề lặp đi lặp lại, và NeMo Eval Author, công cụ hỗ trợ kỹ sư viết các bài kiểm tra tùy chỉnh để xác minh các bản vá lỗi. Quy trình này được thiết kế để biến bằng chứng thô từ môi trường sản xuất thành một danh sách ưu tiên các vấn đề cần xử lý.

Để minh họa cho quy trình làm việc, NVIDIA đã sử dụng blueprint NemoClaw, bao gồm trợ lý doanh nghiệp Hermes được kết nối với nhiều công ty khác nhau thông qua Model Context Protocol. Trong một ví dụ, agent được yêu cầu soạn thảo tin nhắn nhưng đã gửi sai khi chưa có sự xác nhận của người dùng. Bằng cách phân tích 42 trace đã ghi lại so với tệp định nghĩa hành vi có tên ETHOS.md, NeMo Compass đã xác định hành động trái phép này là một bất thường lặp lại.

Hướng dẫn cũng mô tả một kịch bản kỹ thuật phức tạp hơn liên quan đến agent LEO của Dassault Systèmes. Trong trường hợp này, agent liên tục thất bại trong việc định dạng đúng tham số cho một công cụ mô phỏng, dẫn đến các thông báo lỗi trống rỗng. Sử dụng cùng vòng lặp tối ưu hóa, các kỹ sư đã giảm số lượng lệnh gọi công cụ bị lỗi định dạng từ 142 xuống còn 0 và cải thiện điểm số đánh giá tổng thể lên 28% đồng thời giảm mức sử dụng công cụ đi 35%.

Cách thức hoạt động

NeMo Compass đóng vai trò như một nhà phân tích tự động cho các trace của agent. Thay vì yêu cầu lập trình viên phải kiểm tra thủ công từng log, nó xử lý các tệp trace JSON và so sánh hành động của agent với các quy tắc hành vi đã được định nghĩa trước. Nó tìm kiếm các dấu hiệu của hành vi bất thường, việc sử dụng công cụ kém hiệu quả hoặc sự lệch khỏi luồng công việc dự kiến. Đầu ra là một danh sách có cấu trúc các phát hiện, mỗi mục được liên kết với các ID trace cụ thể, cho phép kỹ sư tập trung vào những vấn đề tác động lớn nhất trước tiên.

Khi một vấn đề được xác định, NeMo Eval Author sẽ bước vào cuộc chơi để tạo ra các bài kiểm tra có thể tái hiện được. Công cụ này cung cấp các kỹ năng cho các coding agent, chẳng hạn như Codex hoặc Claude Code, để tạo ra các bài đánh giá dưới định dạng Harbor hoặc NVIDIA NeMo Gym. Nó sử dụng các trace gốc, các nguyên tắc hành vi và mã nguồn của agent làm ngữ cảnh để xây dựng các bộ xác minh (verifier). Ví dụ, nếu một agent gửi tin nhắn mà không có sự đồng ý, bộ xác minh sẽ kiểm tra lệnh gọi công cụ cụ thể đó và đánh dấu lần chạy là thất bại nếu nó xảy ra.

Sau khi bộ bài đánh giá sẵn sàng, kỹ sư sẽ sửa đổi harness của agent, chẳng hạn như cập nhật prompt hệ thống SOUL.md hoặc thêm lớp xác thực middleware. Agent đã cập nhật sau đó được kiểm tra trên cả các nhiệm vụ phát triển và một tập hợp các kịch bản giữ lại (held-out set). Sự tách biệt này đảm bảo rằng các bản vá lỗi có khả năng khái quát hóa tốt và không chỉ đơn thuần ghi nhớ các case test, ngăn chặn tình trạng overfitting trong khi vẫn xác nhận rằng các lỗi hồi quy (regression) được phát hiện sớm.

Chi tiết chính

• NeMo Compass phân tích các trace được lưu trữ và bằng chứng đánh giá để ưu tiên cải tiến và liên kết các phát hiện với các ID trace cụ thể.
• NeMo Eval Author tạo ra các bài đánh giá tùy chỉnh dưới định dạng Harbor hoặc NeMo Gym bằng cách sử dụng kỹ năng của coding agent và các yêu cầu về lĩnh vực chuyên môn.
• Chu kỳ tối ưu hóa bao gồm việc xác định vấn đề, tạo bài kiểm tra, cập nhật harness và xác minh kết quả trên các nhiệm vụ giữ lại.
• Trong ví dụ về Dassault Systèmes, quy trình làm việc đã giảm số lệnh gọi công cụ bị lỗi định dạng từ 142 xuống 0 và cắt giảm số lệnh gọi công cụ mỗi lần chạy đi 35%.
• Các điều kiện tiên quyết bao gồm một máy Linux có Docker, OpenShell 0.1.2, Harbor 0.22.0 và khóa API NVIDIA.
• Các nhiệm vụ đánh giá giữ lại phải luôn được ẩn khỏi coding agent trong giai đoạn đề xuất bản vá để đảm bảo thử nghiệm khái quát hóa hợp lệ.

Tại sao điều này quan trọng

Đối với các đội ngũ xây dựng agent chuyên biệt theo lĩnh vực, các benchmark chung thường không nắm bắt được những vấn đề độ tin cậy thực tế. Một agent có thể đạt điểm cao trong các bài kiểm tra tiêu chuẩn nhưng vẫn chọn sai công cụ hoặc bỏ sót ngữ cảnh quan trọng trong môi trường sản xuất. Quy trình làm việc này chuyển trọng tâm từ các chỉ số hiệu suất trừu tượng sang tính đúng đắn về hành vi cụ thể, đảm bảo rằng agent đáp ứng các yêu cầu kinh doanh cụ thể chứ không chỉ là sự trôi chảy về mặt ngôn ngữ.

Khả năng tự động hóa việc tạo ra các bài đánh giá từ trace sản xuất giúp giảm đáng kể nỗ lực thủ công cần thiết để duy trì chất lượng của agent. Khi các agent tương tác với những hệ thống phức tạp hơn, số lượng các chế độ lỗi tiềm tàng cũng tăng lên. Bằng cách liên kết mỗi bản vá lỗi với một bài kiểm tra có thể tái hiện, kỹ sư có thể lặp nhanh hơn với sự tự tin, biết rằng các thay đổi được xác minh dựa trên mẫu sử dụng thực tế chứ không chỉ là các ví dụ nhân tạo.

Những gì bạn có thể làm

• Cài đặt blueprint NemoClaw để chạy toàn bộ chu kỳ tối ưu hóa trên agent ví dụ được cung cấp.
• Thiết lập môi trường Linux với Ubuntu 24.04, 8 vCPU và 32 GB RAM để chạy các container Docker cần thiết.
• Ghi lại các trace của riêng bạn ở định dạng JSONL và xác định rõ ràng các kỳ vọng về hành vi trong tệp ETHOS.md.
• Sử dụng NeMo Compass để phân tích trace của bạn và xác định những sai lệch thường xuyên hoặc nghiêm trọng nhất so với hành vi mong đợi.
• Tận dụng NeMo Eval Author để tạo ra các bộ xác minh tùy chỉnh kiểm tra những lỗi cụ thể được xác định trong quá trình phân tích của bạn.
• Luôn dành riêng một tập hợp các nhiệm vụ giữ lại để xác minh rằng các thay đổi harness của bạn cải thiện hiệu suất mà không gây ra lỗi hồi quy.