NVIDIA NeMo CompassとEval Authorでエージェントの失敗をテストに変換

2026年11月4日、NVIDIAはAIエージェントを体系的にデバッグし改善するためにNeMoプラットフォームを使用する方法を示す技術チュートリアルを公開しました。このガイドでは、トレース分析から評価作成、そしてハーネス最適化へと直接つながるワークフローを紹介しています。汎用的なベンチマークを超え、本番環境での具体的な失敗に対処することを目指しています。

何が起きたか

この記事では、エージェントのエラーを観察して修正するというループを閉じるための手法について詳しく説明しています。特に2つの主要なコンポーネントに焦点を当てています。保存されたエージェントのトレースを分析して反復的な問題を発見する「NeMo Compass」と、エンジニアが修正を検証するためのカスタムテストを作成するのを支援する「NeMo Eval Author」です。このプロセスは、生の本番環境の証拠を、優先順位付けされた問題のバックログに変換するように設計されています。

ワークフローの説明として、NVIDIAはModel Context Protocolを通じてさまざまな企業ツールに接続されたHermesエンタープライズアシスタントを特徴とするNemoClawブループリントを使用しました。ある例では、エージェントにメッセージの下書きを依頼しましたが、ユーザーの確認なしに誤って送信してしまいました。ETHOS.mdという行動定義ファイルに対して記録された42件のトレースを分析することで、NeMo Compassはこの無断アクションを反復的な異常として特定しました。

チュートリアルでは、Dassault Systèmes社のLEOエージェントを含むより複雑なエンジニアリングシナリオについても説明しています。このケースでは、エージェントがシミュレーションツールの引数を正しくフォーマットできず、空のエラーメッセージが発生していました。同じ最適化ループを使用することで、エンジニアは不正なツール呼び出しを142件からゼロに減らし、全体的な評価スコアを28パーセント向上させると同時に、ツール使用量を35パーセント削減しました。

仕組み

NeMo Compassは、エージェントのトレースに対する自動アナリストとして機能します。開発者がすべてのログを手動で確認する代わりに、JSONトレースファイルを処理し、エージェントのアクションを定義された行動ルールと比較します。異常な挙動、非効率なツール使用、または意図したワークフローからの逸脱の兆候を探します。出力は構造化された指摘事項のリストであり、各項目は特定のトレースIDにリンクされているため、エンジニアは最も影響度の高い問題に集中できます。

問題が特定されると、NeMo Eval Authorが出番となり、再現可能なテストを作成します。このツールは、CodexやClaude Codeなどのコーディングエージェント向けスキルを提供し、HarborまたはNVIDIA NeMo Gym形式での評価生成を可能にします。元のトレース、行動ガイドライン、およびエージェントのコードベースをコンテキストとして使用し、検証器（verifier）を構築します。例えば、エージェントが同意なしにメッセージを送信した場合、検証器はその特定のツール呼び出しを確認し、発生した場合は実行を失敗としてマークします。

評価スイートの準備ができたら、エンジニアはSOUL.mdシステムプロンプトの更新やミドルウェアバリデーションの追加など、エージェントのハーネスを変更します。その後、更新されたエージェントを開発タスクと保持用（held-out）シナリオセットの両方でテストします。この分離により、修正がうまく一般化され、単にテストケースを暗記してしまうことを防ぎます。これにより、過学習を防ぐと同時に、リグレッション（機能後退）を早期に検出できることが確認されます。

主要な詳細

• NeMo Compassは保存されたトレースと評価エビデンスを分析し、改善の優先順位付けを行い、指摘事項を特定のトレースIDにリンクします。
• NeMo Eval Authorは、コーディングエージェントのスキルとドメイン要件を使用して、HarborまたはNeMo Gym形式のカスタム評価を生成します。
• 最適化サイクルには、問題の特定、テストの作成、ハーネスの更新、そして保持用タスクでの結果検証が含まれます。
• Dassault Systèmesの例では、このワークフローにより不正なツール呼び出しが142件からゼロに減少し、実行あたりのツール呼び出し数が35パーセント削減されました。
• 前提条件として、Docker、OpenShell 0.1.2、Harbor 0.22.0、およびNVIDIA APIキーを備えたLinuxマシンが必要です。
• 有効な一般化テストを確保するため、修正提案段階では保持用評価タスクをコーディングエージェントから隠しておく必要があります。

なぜ重要なのか

ドメイン特化型エージェントを構築しているチームにとって、汎用的なベンチマークは実際の信頼性上の問題を捉えきれないことが多いです。エージェントは標準テストで高得点を獲得しても、本番環境では間違ったツールを選択したり、重要なコンテキストを見逃したりすることがあります。このワークフローは、抽象的なパフォーマンス指標から具体的な行動的正確性へと焦点を移し、エージェントが単なる言語的流暢さだけでなく、特定のビジネス要件を満たすことを保証します。

本番環境のトレースから評価の作成を自動化できる能力は、エージェントの品質維持に必要な手作業の負担を大幅に軽減します。エージェントがより複雑なシステムと連携するにつれ、潜在的な失敗モードの数が増加します。すべての修正を再現可能なテストにリンクすることで、エンジニアは変更が合成データではなく実際の使用パターンに対して検証されていることを確信しながら、より迅速かつ自信を持ってイテレーションを行うことができます。

できること

• NemoClawブループリントをインストールし、提供されたサンプルエージェントで完全な最適化サイクルを実行してください。
• 必要なDockerコンテナを実行するために、Ubuntu 24.04、8 vCPU、32 GB RAMを備えたLinux環境を設定してください。
• 自分のエージェントのトレースをJSONL形式で記録し、ETHOS.mdファイルに明確な行動期待値を定義してください。
• NeMo Compassを使用してトレースを分析し、期待される動作からの最も頻繁または深刻な逸脱を特定してください。
• NeMo Eval Authorを活用し、分析で特定された具体的な失敗をチェックするカスタム検証器を生成してください。
• ハーネスの変更がリグレッションを引き起こすことなくパフォーマンスを向上させることを検証するために、常に保持用タスクのセットを予約しておいてください。