Simulación de agentes de atención al cliente a gran escala antes del despliegue en producción

Investigadores de Nubank y colaboradores académicos han publicado un informe detallado sobre cómo prueban los agentes de IA para la experiencia del cliente antes de lanzarlos al público. El artículo, publicado el 6 de noviembre de 2026, describe un sistema de simulación llamado Snowglobe que permite a los ingenieros evaluar el rendimiento de los agentes frente a clientes sintéticos en lugar de usuarios reales. Este enfoque aborda los altos riesgos asociados con el despliegue de modelos de lenguaje grandes (LLM) en entornos financieros regulados.

Qué ocurrió

Los agentes de experiencia del cliente en la banca deben navegar por políticas operativas complejas, detectar con precisión la intención del usuario y utilizar herramientas de software internas de manera fiable. Los métodos de prueba tradicionales suelen ser insuficientes porque las pruebas manuales de extremo a extremo no pueden cubrir todos los posibles caminos de conversación, mientras que los experimentos en vivo exponen a los clientes reales a fallos potenciales. Estos fallos pueden dañar la confianza y violar estándares regulatorios. Para resolver esto, el equipo desarrolló un flujo de trabajo de simulación basado en hipótesis diseñado para filtrar los agentes candidatos antes de que lleguen a producción.

Los investigadores aplicaron este método a dos agentes específicos de Nubank: el agente de Entrega de Tarjetas y su sucesor, Gestión de Tarjetas. Gestión de Tarjetas es el agente de soporte por chat con mayor volumen en Brasil para el banco. El equipo utilizó el simulador Snowglobe para ejecutar miles de conversaciones donde clientes sintéticos interactuaban con la IA. Estos usuarios sintéticos reaccionaban a las respuestas del agente, y el sistema simulaba las salidas de las herramientas para que los agentes pudieran completar flujos de trabajo de múltiples pasos sin tocar sistemas backend en vivo.

Los resultados mostraron una fuerte correlación entre las puntuaciones simuladas y el rendimiento real en producción. En cuatro versiones desplegadas del agente, las puntuaciones del evaluador binario obtenidas de la simulación coincidieron con los resultados observados en entornos en vivo. En una prueba A/B en vivo, las mejoras guiadas por la simulación aumentaron la puntuación neta de promotores transaccional en 36,69 puntos. En otra prueba que involucró más de 16.000 conversaciones simuladas para filtrar configuraciones de modelos de pesos abiertos, el modelo seleccionado aumentó la tasa de autoservicio en 8,82 puntos porcentuales hasta alcanzar un máximo histórico, sin impacto negativo en la satisfacción del cliente.

Cómo funciona

El núcleo de este enfoque es el simulador Snowglobe, que crea un entorno seguro (sandbox) para agentes de IA. En lugar de conectarse a bases de datos reales o pasarelas de pago, el agente interactúa con herramientas simuladas que imitan el comportamiento de los backends de producción. Esto permite al agente ejecutar tareas complejas de múltiples pasos, como verificar el estado de una tarjeta o actualizar detalles de entrega, sin ningún riesgo para los datos reales de los clientes o los registros financieros.

Los clientes sintéticos impulsan la interacción. No son simples lectores de scripts, sino entidades dinámicas que reaccionan a las respuestas del agente. Si un agente proporciona una respuesta confusa, el cliente sintético podría pedir aclaraciones o expresar frustración, igual que lo haría un humano. Este bucle de retroalimentación permite evaluar la capacidad del agente para manejar la ambigüedad y recuperarse de errores. Al ejecutar estas interacciones a gran escala, los ingenieros pueden probar rápidamente una amplia variedad de prompts, ajustes de razonamiento y configuraciones de modelos.

Detalles clave

• El flujo de trabajo de simulación se probó en los agentes de Entrega de Tarjetas y Gestión de Tarjetas de Nubank.
• El simulador Snowglobe habilita flujos de trabajo agénticos de múltiples pasos sin invocar backends de producción.
• Las puntuaciones del evaluador binario simulado mostraron una alta correlación con las puntuaciones a nivel de versión en producción en cuatro despliegues.
• La iteración guiada por simulación condujo a un aumento de 36,69 puntos en la puntuación neta de promotores transaccional en una prueba A/B en vivo.
• Se utilizaron más de 16.000 conversaciones simuladas para filtrar configuraciones de pesos abiertos.
• El modelo seleccionado mediante el filtrado por simulación aumentó la tasa de autoservicio en 8,82 puntos porcentuales en producción.

Por qué importa

Para los equipos de ingeniería que construyen productos de IA, especialmente en industrias reguladas, el costo del fracaso es alto. Las pruebas A/B en vivo suelen ser la única forma de saber si un nuevo modelo funciona mejor, pero conllevan riesgos reputacionales y de cumplimiento normativo. Este artículo demuestra que la simulación de alta fidelidad puede reemplazar gran parte de ese riesgo. Permite a los equipos iterar rápidamente sobre prompts y elecciones de modelos sin exponer a los usuarios a respuestas rotas o alucinadas.

La capacidad de filtrar modelos de pesos abiertos es particularmente significativa. Muchas organizaciones dudan en probar modelos nuevos, más pequeños o de código abierto porque temen caídas en el rendimiento. Al usar la simulación para validar estos modelos contra miles de escenarios, los equipos pueden adoptar con confianza arquitecturas más eficientes o rentables. La correlación entre las métricas de simulación y de producción sugiere que este método no es solo un ejercicio teórico, sino un predictor fiable del éxito en el mundo real.

Qué puedes hacer

• Implementa una capa de simulación que simule tus herramientas backend para permitir pruebas seguras de agentes.
• Desarrolla personas de usuario sintéticas que representen diversas intenciones de clientes y niveles de frustración.
• Establece métricas base en la simulación y verifica su correlación con datos históricos de producción.
• Usa la simulación para filtrar múltiples configuraciones de modelos y variantes de prompts antes del despliegue en vivo.
• Monitorea indicadores clave como la tasa de autoservicio y las puntuaciones de satisfacción del cliente para validar la precisión de la simulación.
• Itera sobre la lógica del agente en el entorno sandbox para resolver casos límite antes de que lleguen a los usuarios.