Agentenfehler in Tests umwandeln mit NVIDIA NeMo Compass und Eval Author

Am 4. November 2026 veröffentlichte NVIDIA ein technisches Tutorial, das zeigt, wie die NeMo-Plattform genutzt werden kann, um KI-Agenten systematisch zu debuggen und zu verbessern. Der Leitfaden stellt einen Workflow vor, der die Trace-Analyse direkt mit der Erstellung von Evaluierungen und der Optimierung des Harness verbindet. Dabei geht es über generische Benchmarks hinaus, um spezifische Fehler in der Produktion zu adressieren.

Was passiert ist

Der Artikel beschreibt eine Methode, den Kreislauf zwischen der Beobachtung von Agentenfehlern und deren Behebung zu schließen. Er hebt zwei zentrale Komponenten hervor: NeMo Compass, das gespeicherte Agenten-Traces analysiert, um wiederkehrende Probleme zu finden, und NeMo Eval Author, das Ingenieuren hilft, benutzerdefinierte Tests zur Verifizierung von Fixes zu schreiben. Der Prozess zielt darauf ab, rohe Produktionsdaten in eine priorisierte Liste von Problemen umzuwandeln.

Zur Illustration des Workflows nutzte NVIDIA das NemoClaw-Blueprint, das einen Hermes-Enterprise-Assistenten zeigt, der über das Model Context Protocol mit verschiedenen Unternehmenswerkzeugen verbunden ist. In einem Beispiel wurde der Agent gebeten, eine Nachricht zu entwerfen, sendete diese jedoch fälschlicherweise ohne Bestätigung durch den Nutzer. Durch die Analyse von 42 aufgezeichneten Traces gegen eine Verhaltensdefinitionsdatei namens ETHOS.md identifizierte NeMo Compass diese nicht autorisierte Aktion als wiederkehrende Anomalie.

Das Tutorial beschreibt auch ein komplexeres Engineering-Szenario unter Verwendung des LEO-Agents von Dassault Systèmes. In diesem Fall scheiterte der Agent wiederholt daran, Argumente für ein Simulationswerkzeug korrekt zu formatieren, was zu leeren Fehlermeldungen führte. Mit derselben Optimierungsschleife reduzierten die Ingenieure fehlerhafte Tool-Aufrufe von 142 auf null und verbesserten die allgemeinen Bewertungsergebnisse um 28 Prozent, während sie die Tool-Nutzung um 35 Prozent senkten.

Wie es funktioniert

NeMo Compass fungiert als automatisierter Analyst für Agenten-Traces. Anstatt dass Entwickler jedes Log manuell inspizieren müssen, verarbeitet das Tool JSON-Trace-Dateien und vergleicht die Aktionen des Agents mit definierten Verhaltensregeln. Es sucht nach Anzeichen für ungewöhnliches Verhalten, ineffiziente Tool-Nutzung oder Abweichungen vom vorgesehenen Workflow. Die Ausgabe ist eine strukturierte Liste von Erkenntnissen, die jeweils mit spezifischen Trace-IDs verknüpft sind, sodass sich Ingenieure zunächst auf die wichtigsten Probleme konzentrieren können.

Sobald ein Problem identifiziert ist, tritt NeMo Eval Author in Aktion, um reproduzierbare Tests zu erstellen. Dieses Tool bietet Skills für Coding-Agents wie Codex oder Claude Code, um Evaluierungen im Harbor- oder NVIDIA NeMo Gym-Format zu generieren. Es nutzt die ursprünglichen Traces, die Verhaltensrichtlinien und die Codebasis des Agents als Kontext, um Verifier zu erstellen. Wenn ein Agent beispielsweise eine Nachricht ohne Einwilligung sendet, prüft der Verifier auf diesen spezifischen Tool-Aufruf und markiert den Lauf als Fehlschlag, wenn dieser auftritt.

Nachdem die Evaluierungssuite bereit ist, modifizieren die Ingenieure den Agent-Harness, etwa durch Aktualisierung des System-Prompts SOUL.md oder Hinzufügen einer Middleware-Validierung. Der aktualisierte Agent wird dann sowohl gegen Entwicklungsaufgaben als auch gegen einen zurückgehaltenen Satz von Szenarien getestet. Diese Trennung stellt sicher, dass Fixes gut generalisieren und Testfälle nicht einfach auswendig lernen, wodurch Overfitting verhindert wird, während gleichzeitig sichergestellt wird, dass Regressionen frühzeitig erkannt werden.

Wichtige Details

• NeMo Compass analysiert gespeicherte Traces und Evaluierungsbelege, um Verbesserungen zu priorisieren und Erkenntnisse mit spezifischen Trace-IDs zu verknüpfen.
• NeMo Eval Author generiert benutzerdefinierte Evaluierungen im Harbor- oder NeMo Gym-Format unter Nutzung von Coding-Agent-Skills und Domänenanforderungen.
• Der Optimierungszyklus umfasst die Identifizierung eines Problems, die Erstellung eines Tests, die Aktualisierung des Harness und die Verifizierung der Ergebnisse an zurückgehaltenen Aufgaben.
• In einem Beispiel von Dassault Systèmes reduzierte der Workflow fehlerhafte Tool-Aufrufe von 142 auf null und senkte die Anzahl der Tool-Aufrufe pro Lauf um 35 Prozent.
• Voraussetzungen sind ein Linux-Rechner mit Docker, OpenShell 0.1.2, Harbor 0.22.0 sowie ein NVIDIA-API-Key.
• Zurückgehaltene Evaluierungsaufgaben müssen dem Coding-Agent während der Phase des Fix-Vorschlags verborgen bleiben, um gültige Generalisierungstests zu gewährleisten.

Warum das wichtig ist

Für Teams, die domänenspezifische Agents entwickeln, erfassen generische Benchmarks oft keine realen Zuverlässigkeitsprobleme. Ein Agent könnte bei Standardtests gut abschneiden, aber dennoch das falsche Werkzeug wählen oder kritischen Kontext in der Produktion übersehen. Dieser Workflow verschiebt den Fokus von abstrakten Leistungsmetriken hin zu konkreter Verhaltenskorrektheit und stellt sicher, dass Agents spezifische Geschäftsanforderungen erfüllen und nicht nur sprachliche Flüssigkeit zeigen.

Die Fähigkeit, die Erstellung von Evaluierungen aus Produktions-Traces zu automatisieren, reduziert den manuellen Aufwand für die Aufrechterhaltung der Agent-Qualität erheblich. Da Agents mit immer komplexeren Systemen interagieren, wächst die Zahl potenzieller Fehlermodi. Indem jeder Fix mit einem reproduzierbaren Test verknüpft wird, können Ingenieure schneller iterieren und haben die Sicherheit, dass Änderungen gegen reale Nutzungs patterns validiert werden und nicht nur gegen synthetische Beispiele.

Was Sie tun können

• Installieren Sie das NemoClaw-Blueprint, um einen vollständigen Optimierungszyklus am bereitgestellten Beispiel-Agenten durchzuführen.
• Richten Sie eine Linux-Umgebung mit Ubuntu 24.04, 8 vCPUs und 32 GB RAM ein, um die erforderlichen Docker-Container auszuführen.
• Erfassen Sie Ihre eigenen Agenten-Traces im JSONL-Format und definieren Sie klare Verhaltenserwartungen in einer ETHOS.md-Datei.
• Nutzen Sie NeMo Compass, um Ihre Traces zu analysieren und die häufigsten oder schwerwiegendsten Abweichungen vom erwarteten Verhalten zu identifizieren.
• Setzen Sie NeMo Eval Author ein, um benutzerdefinierte Verifier zu generieren, die auf die spezifischen Fehler prüfen, die in Ihrer Analyse identifiziert wurden.
• Reservieren Sie stets einen Satz zurückgehaltener Aufgaben, um zu validieren, dass Ihre Harness-Änderungen die Leistung verbessern, ohne Regressionen zu verursachen.