Kundenservice-Agenten im großen Maßstab simulieren, bevor sie in die Produktion gehen

Forschende von Nubank und akademische Partner haben eine detaillierte Darstellung veröffentlicht, wie sie KI-Agenten für das Kundenerlebnis testen, bevor diese öffentlich verfügbar gemacht werden. Das am 6. November 2026 veröffentlichte Papier beschreibt ein Simulationssystem namens Snowglobe, mit dem Ingenieure die Leistung von Agenten anhand synthetischer Kunden anstelle realer Nutzer bewerten können. Dieser Ansatz adressiert die hohen Risiken, die mit dem Einsatz großer Sprachmodelle in regulierten Finanzumgebungen verbunden sind.

Was passiert ist

Agenten für das Kundenerlebnis im Bankensektor müssen komplexe operative Richtlinien navigieren, die Absicht des Nutzers genau erkennen und interne Softwaretools zuverlässig nutzen. Herkömmliche Testmethoden stoßen oft an ihre Grenzen, da manuelle End-to-End-Tests nicht jeden möglichen Gesprächspfad abdecken können, während Live-Experimente reale Kunden potenziellen Ausfällen aussetzen. Solche Fehler können das Vertrauen schädigen und gegen Regulierungsstandards verstoßen. Um dies zu lösen, entwickelte das Team einen hypothesengesteuerten Simulations-Workflow, der dazu dient, Kandidaten-Agenten zu prüfen, bevor sie in die Produktion gehen.

Die Forschenden wandten diese Methode auf zwei spezifische Agenten bei Nubank an: den Card-Delivery-Agenten und dessen Nachfolger, Card Management. Card Management ist der Chat-Support-Agent mit dem höchsten Volumen der Bank in Brasilien. Das Team nutzte den Snowglobe-Simulator, um Tausende von Gesprächen durchzuführen, in denen synthetische Kunden mit der KI interagierten. Diese synthetischen Nutzer reagierten auf die Antworten des Agenten, und das System simulierte Tool-Ausgaben, sodass die Agenten mehrstufige Workflows abschließen konnten, ohne auf Live-Backend-Systeme zuzugreifen.

Die Ergebnisse zeigten eine starke Korrelation zwischen simulierten Scores und der tatsächlichen Produktionsleistung. Über vier eingesetzte Versionen des Agenten hinweg stimmten die binären Evaluator-Scores aus der Simulation mit den Ergebnissen überein, die in Live-Umgebungen beobachtet wurden. In einem Live-A/B-Test erhöhten simulationsgesteuerte Verbesserungen den transaktionalen Net Promoter Score um 36,69 Punkte. In einem weiteren Test, der über 16.000 simulierte Gespräche zur Prüfung von Open-Weight-Modellkonfigurationen umfasste, steigerte das ausgewählte Modell die Self-Service-Rate um 8,82 Prozentpunkte auf einen Rekordwert, ohne negative Auswirkungen auf die Kundenzufriedenheit.

Wie es funktioniert

Der Kern dieses Ansatzes ist der Snowglobe-Simulator, der eine sichere Sandbox für KI-Agenten schafft. Anstatt sich mit echten Datenbanken oder Zahlungs-Gateways zu verbinden, interagiert der Agent mit simulierten Tools, die das Verhalten der Produktions-Backends nachahmen. Dies ermöglicht es dem Agenten, komplexe, mehrstufige Aufgaben wie die Überprüfung eines Kartenstatus oder die Aktualisierung von Lieferdetails auszuführen, ohne jegliches Risiko für echte Kundendaten oder Finanzbuchhaltungsunterlagen.

Synthetische Kunden treiben die Interaktion voran. Dies sind keine einfachen Skript-Leser, sondern dynamische Entitäten, die auf die Antworten des Agenten reagieren. Wenn ein Agent eine verwirrende Antwort liefert, könnte der synthetische Kunde nach einer Klärung fragen oder Frustration ausdrücken, genau wie ein Mensch. Dieser Feedback-Loop ermöglicht die Bewertung der Fähigkeit des Agenten, Mehrdeutigkeiten zu handhaben und sich von Fehlern zu erholen. Durch die Ausführung dieser Interaktionen im großen Maßstab können Ingenieure schnell eine Vielzahl von Prompts, Reasoning-Einstellungen und Modellkonfigurationen testen.

Wichtige Details

• Der Simulations-Workflow wurde an den Card-Delivery- und Card-Management-Agenten von Nubank getestet.
• Der Snowglobe-Simulator ermöglicht mehrstufige agentische Workflows, ohne Produktions-Backends aufzurufen.
• Die simulierten binären Evaluator-Scores zeigten eine hohe Korrelation mit den versionsbezogenen Produktions-Scores über vier Deployments hinweg.
• Die simulationsgesteuerte Iteration führte in einem Live-A/B-Test zu einer Steigerung des transaktionalen Net Promoter Scores um 36,69 Punkte.
• Über 16.000 simulierte Gespräche wurden verwendet, um Open-Weight-Konfigurationen zu prüfen.
• Das aus der Simulationsscreening ausgewählte Modell erhöhte die Self-Service-Rate in der Produktion um 8,82 Prozentpunkte.

Warum es wichtig ist

Für Engineering-Teams, die KI-Produkte entwickeln, insbesondere in regulierten Branchen, sind die Kosten eines Scheiterns hoch. Live-A/B-Testing ist oft der einzige Weg, um festzustellen, ob ein neues Modell besser funktioniert, birgt jedoch Reputations- und Compliance-Risiken. Dieses Papier zeigt, dass High-Fidelity-Simulation einen Großteil dieses Risikos ersetzen kann. Es ermöglicht Teams, schnell an Prompts und Modellentscheidungen zu iterieren, ohne Nutzer gebrochenen oder halluzinierten Antworten auszusetzen.

Die Fähigkeit, Open-Weight-Modelle zu prüfen, ist besonders signifikant. Viele Organisationen zögern, neue, kleinere oder Open-Source-Modelle auszuprobieren, weil sie Leistungsabfälle befürchten. Durch die Nutzung der Simulation, um diese Modelle gegen Tausende von Szenarien zu validieren, können Teams effizientere oder kostengünstigere Architekturen selbstbewusst übernehmen. Die Korrelation zwischen Simulations- und Produktionsmetriken deutet darauf hin, dass diese Methode nicht nur eine theoretische Übung ist, sondern ein zuverlässiger Prädiktor für den Erfolg in der realen Welt.

Was Sie tun können

• Implementieren Sie eine Simulationsschicht, die Ihre Backend-Tools mockt, um sichere Agententests zu ermöglichen.
• Entwickeln Sie synthetische Nutzer-Personas, die vielfältige Kundenabsichten und Frustrationslevel repräsentieren.
• Establish Baseline-Metriken in der Simulation und überprüfen Sie deren Korrelation mit historischen Produktionsdaten.
• Nutzen Sie die Simulation, um mehrere Modellkonfigurationen und Prompt-Varianten vor dem Live-Deployment zu prüfen.
• Überwachen Sie Schlüsselindikatoren wie Self-Service-Rate und Kundenzufriedenheits-Scores, um die Genauigkeit der Simulation zu validieren.
• Iterieren Sie an der Agentenlogik in der Sandbox-Umgebung, um Edge Cases zu lösen, bevor sie Nutzer erreichen.