Convierte los fallos de agentes en pruebas con NVIDIA NeMo Compass y Eval Author

El 4 de noviembre de 2026, NVIDIA publicó un tutorial técnico que demuestra cómo utilizar su plataforma NeMo para depurar y mejorar sistemáticamente los agentes de IA. La guía introduce un flujo de trabajo que conecta el análisis de trazas directamente con la creación de evaluaciones y la optimización del entorno de ejecución (harness), superando las métricas genéricas para abordar fallos específicos de producción.

Qué ocurrió

El artículo detalla un método para cerrar el ciclo entre la observación de errores de agentes y su corrección. Destaca dos componentes clave: NeMo Compass, que analiza las trazas almacenadas de los agentes para encontrar problemas recurrentes, y NeMo Eval Author, que ayuda a los ingenieros a escribir pruebas personalizadas para verificar las correcciones. El proceso está diseñado para convertir evidencia bruta de producción en una lista priorizada de incidencias.

Para ilustrar el flujo de trabajo, NVIDIA utilizó el blueprint NemoClaw, que presenta un asistente empresarial Hermes conectado a diversas herramientas corporativas mediante el Model Context Protocol. En un ejemplo, se pidió al agente que redactara un mensaje, pero este lo envió incorrectamente sin confirmación del usuario. Al analizar 42 trazas grabadas contra un archivo de definición de comportamiento llamado ETHOS.md, NeMo Compass identificó esta acción no autorizada como una anomalía recurrente.

El tutorial también describe un escenario de ingeniería más complejo que involucra al agente LEO de Dassault Systèmes. En este caso, el agente fallaba repetidamente al formatear correctamente los argumentos para una herramienta de simulación, resultando en mensajes de error vacíos. Utilizando el mismo bucle de optimización, los ingenieros redujeron las llamadas a herramientas malformadas de 142 a cero y mejoraron las puntuaciones generales de evaluación en un 28 por ciento, mientras reducían el uso de herramientas en un 35 por ciento.

Cómo funciona

NeMo Compass actúa como un analista automatizado para las trazas de agentes. En lugar de requerir que los desarrolladores inspeccionen manualmente cada registro, procesa archivos de traza JSON y compara las acciones del agente con reglas de comportamiento definidas. Busca señales de comportamiento inusual, uso ineficiente de herramientas o desviaciones de los flujos de trabajo previstos. La salida es una lista estructurada de hallazgos, cada uno vinculado a IDs de traza específicos, permitiendo a los ingenieros centrarse primero en los problemas de mayor impacto.

Una vez identificado un problema, NeMo Eval Author interviene para crear pruebas reproducibles. Esta herramienta proporciona habilidades para agentes de codificación, como Codex o Claude Code, para generar evaluaciones en formatos Harbor o NVIDIA NeMo Gym. Utiliza las trazas originales, las pautas de comportamiento y la base de código del agente como contexto para construir verificadores. Por ejemplo, si un agente envía un mensaje sin consentimiento, el verificador busca esa llamada a herramienta específica y marca la ejecución como fallo si ocurre.

Después de que la suite de evaluación esté lista, los ingenieros modifican el entorno de ejecución del agente, como actualizar el prompt del sistema SOUL.md o añadir validación de middleware. Luego, se prueba el agente actualizado tanto en tareas de desarrollo como en un conjunto reservado de escenarios. Esta separación asegura que las correcciones generalicen bien y no simplemente memoricen los casos de prueba, previniendo el sobreajuste mientras confirma que las regresiones se detectan tempranamente.

Detalles clave

• NeMo Compass analiza trazas almacenadas y evidencia de evaluación para priorizar mejoras y vincular hallazgos a IDs de traza específicos.
• NeMo Eval Author genera evaluaciones personalizadas en formatos Harbor o NeMo Gym utilizando habilidades de agentes de codificación y requisitos de dominio.
• El ciclo de optimización implica identificar un problema, crear una prueba, actualizar el entorno de ejecución y verificar resultados en tareas reservadas.
• En un ejemplo de Dassault Systèmes, el flujo de trabajo redujo las llamadas a herramientas malformadas de 142 a cero y recortó las llamadas a herramientas por ejecución en un 35 por ciento.
• Los requisitos previos incluyen una máquina Linux con Docker, OpenShell 0.1.2, Harbor 0.22.0 y una clave API de NVIDIA.
• Las tareas de evaluación reservadas deben permanecer ocultas para el agente de codificación durante la fase de propuesta de corrección para asegurar pruebas de generalización válidas.

Por qué importa

Para equipos que construyen agentes específicos de dominio, las métricas genéricas a menudo fallan al capturar problemas reales de fiabilidad. Un agente podría obtener buenas puntuaciones en pruebas estándar pero aún así elegir la herramienta incorrecta o perder contexto crítico en producción. Este flujo de trabajo desplaza el enfoque de métricas abstractas de rendimiento hacia la corrección conductual concreta, asegurando que los agentes cumplan requisitos empresariales específicos y no solo fluidez lingüística.

La capacidad de automatizar la creación de evaluaciones desde trazas de producción reduce significativamente el esfuerzo manual necesario para mantener la calidad de los agentes. A medida que los agentes interactúan con sistemas más complejos, el número de posibles modos de fallo crece. Al vincular cada corrección a una prueba reproducible, los ingenieros pueden iterar más rápido con confianza, sabiendo que los cambios se validan contra patrones de uso reales y no solo ejemplos sintéticos.

Qué puedes hacer

• Instala el blueprint NemoClaw para ejecutar un ciclo completo de optimización en el agente de ejemplo proporcionado.
• Configura un entorno Linux con Ubuntu 24.04, 8 vCPUs y 32 GB de RAM para ejecutar los contenedores Docker requeridos.
• Registra tus propias trazas de agente en formato JSONL y define expectativas claras de comportamiento en un archivo ETHOS.md.
• Usa NeMo Compass para analizar tus trazas e identificar las desviaciones más frecuentes o graves del comportamiento esperado.
• Aprovecha NeMo Eval Author para generar verificadores personalizados que comprueben los fallos específicos identificados en tu análisis.
• Reserva siempre un conjunto de tareas fuera del entrenamiento (held-out) para validar que tus cambios en el entorno de ejecución mejoran el rendimiento sin causar regresiones.