Transformez les échecs des agents en tests avec NVIDIA NeMo Compass et Eval Author

Le 4 novembre 2026, NVIDIA a publié un tutoriel technique démontrant comment utiliser sa plateforme NeMo pour déboguer et améliorer systématiquement les agents IA. Le guide présente un flux de travail reliant directement l'analyse des traces à la création d'évaluations et à l'optimisation du harnais, dépassant les benchmarks génériques pour s'attaquer aux défaillances spécifiques en production.

Ce qui s'est passé

L'article détaille une méthode permettant de boucler la boucle entre l'observation des erreurs des agents et leur correction. Il met en avant deux composants clés : NeMo Compass, qui analyse les traces d'agents stockées pour trouver les problèmes récurrents, et NeMo Eval Author, qui aide les ingénieurs à écrire des tests personnalisés pour vérifier les corrections. Le processus est conçu pour transformer les preuves brutes de production en un backlog priorisé de problèmes.

Pour illustrer le flux de travail, NVIDIA a utilisé le blueprint NemoClaw, qui intègre un assistant d'entreprise Hermes connecté à divers outils internes via le Model Context Protocol. Dans un exemple, l'agent a été invité à rédiger un message mais l'a envoyé incorrectement sans confirmation de l'utilisateur. En analysant 42 traces enregistrées par rapport à un fichier de définition de comportement appelé ETHOS.md, NeMo Compass a identifié cette action non autorisée comme une anomalie récurrente.

Le tutoriel décrit également un scénario d'ingénierie plus complexe impliquant l'agent LEO de Dassault Systèmes. Dans ce cas, l'agent échouait répétitivement à formater correctement les arguments pour un outil de simulation, générant des messages d'erreur vides. En utilisant la même boucle d'optimisation, les ingénieurs ont réduit les appels d'outils malformés de 142 à zéro et amélioré les scores globaux d'évaluation de 28 % tout en réduisant l'utilisation des outils de 35 %.

Comment cela fonctionne

NeMo Compass agit comme un analyste automatisé pour les traces d'agents. Au lieu d'exiger que les développeurs inspectent manuellement chaque journal, il traite les fichiers de trace JSON et compare les actions de l'agent aux règles de comportement définies. Il recherche des signes de comportement inhabituel, une utilisation inefficace des outils ou une divergence par rapport aux flux de travail prévus. La sortie est une liste structurée de constats, chacun lié à des ID de trace spécifiques, permettant aux ingénieurs de se concentrer d'abord sur les problèmes ayant le plus grand impact.

Une fois un problème identifié, NeMo Eval Author intervient pour créer des tests reproductibles. Cet outil fournit des compétences pour les agents de codage, tels que Codex ou Claude Code, afin de générer des évaluations dans les formats Harbor ou NVIDIA NeMo Gym. Il utilise les traces originales, les directives de comportement et la base de code de l'agent comme contexte pour construire des vérificateurs. Par exemple, si un agent envoie un message sans consentement, le vérificateur recherche cet appel d'outil spécifique et marque l'exécution comme un échec si elle se produit.

Après que la suite d'évaluation est prête, les ingénieurs modifient le harnais de l'agent, par exemple en mettant à jour le prompt système SOUL.md ou en ajoutant une validation middleware. L'agent mis à jour est ensuite testé contre des tâches de développement et un ensemble réservé de scénarios. Cette séparation garantit que les corrections se généralisent bien et ne se contentent pas de mémoriser les cas de test, prévenant ainsi le surapprentissage tout en confirmant que les régressions sont détectées tôt.

Détails clés

• NeMo Compass analyse les traces stockées et les preuves d'évaluation pour prioriser les améliorations et lier les constats à des ID de trace spécifiques.
• NeMo Eval Author génère des évaluations personnalisées dans les formats Harbor ou NeMo Gym en utilisant les compétences des agents de codage et les exigences du domaine.
• Le cycle d'optimisation implique d'identifier un problème, de créer un test, de mettre à jour le harnais et de vérifier les résultats sur des tâches réservées.
• Dans un exemple de Dassault Systèmes, le flux de travail a réduit les appels d'outils malformés de 142 à zéro et diminué les appels d'outils par exécution de 35 %.
• Les prérequis incluent une machine Linux avec Docker, OpenShell 0.1.2, Harbor 0.22.0 et une clé API NVIDIA.
• Les tâches d'évaluation réservées doivent rester cachées à l'agent de codage pendant la phase de proposition de correction pour garantir un test de généralisation valide.

Pourquoi c'est important

Pour les équipes développant des agents spécifiques au domaine, les benchmarks génériques ne capturent souvent pas les problèmes réels de fiabilité. Un agent peut obtenir de bons scores sur des tests standard mais choisir néanmoins le mauvais outil ou manquer un contexte critique en production. Ce flux de travail déplace le focus des métriques de performance abstraites vers la correction comportementale concrète, garantissant que les agents répondent à des exigences métier spécifiques plutôt qu'à une simple fluidité linguistique.

La capacité d'automatiser la création d'évaluations à partir des traces de production réduit considérablement l'effort manuel nécessaire pour maintenir la qualité des agents. À mesure que les agents interagissent avec des systèmes plus complexes, le nombre de modes de défaillance potentiels augmente. En liant chaque correction à un test reproductible, les ingénieurs peuvent itérer plus rapidement avec confiance, sachant que les changements sont validés contre des modèles d'utilisation réels et non seulement des exemples synthétiques.

Ce que vous pouvez faire

• Installez le blueprint NemoClaw pour exécuter un cycle d'optimisation complet sur l'agent d'exemple fourni.
• Configurez un environnement Linux avec Ubuntu 24.04, 8 vCPUs et 32 Go de RAM pour exécuter les conteneurs Docker requis.
• Enregistrez vos propres traces d'agents au format JSONL et définissez des attentes de comportement claires dans un fichier ETHOS.md.
• Utilisez NeMo Compass pour analyser vos traces et identifier les écarts les plus fréquents ou graves par rapport au comportement attendu.
• Exploitez NeMo Eval Author pour générer des vérificateurs personnalisés qui recherchent les défaillances spécifiques identifiées dans votre analyse.
• Réservez toujours un ensemble de tâches cachées pour valider que vos modifications de harnais améliorent les performances sans causer de régressions.