本番デプロイ前にカスタマーサービスエージェントを大規模でシミュレーション

Nubank と学術協力機関の研究チームは、一般公開前にカスタマーエクスペリエンス AI エージェントをどのようにテストするかについて、詳細な報告書を発表しました。2026年11月6日にリリースされたこの論文では、「Snowglobe」と呼ばれるシミュレーションシステムが説明されており、エンジニアは実際のユーザーではなく合成顧客に対してエージェントのパフォーマンスを評価できます。このアプローチは、規制された金融環境で大規模言語モデル（LLM）を展開することに伴う高いリスクに対処します。

何が起きたか

銀行のカスタマーエクスペリエンスエージェントは、複雑な運用ポリシーを遵守し、ユーザーの意図を正確に検出し、内部ソフトウェアツールを確実に使用する必要があります。従来のテスト手法には限界がありました。手動によるエンドツーエンドテストではすべての会話パスをカバーできず、ライブ実験では実際の顧客が潜在的な失敗にさらされるためです。これらの失敗は信頼を損ない、規制基準に違反する可能性があります。これを解決するため、チームは候補エージェントが生産環境（プロダクション）に到達する前に選別するための、仮説駆動型のシミュレーションワークフローを開発しました。

研究者らは、この方法を Nubank の2つの特定のエージェント、すなわち「Card Delivery」エージェントとその後継である「Card Management」に応用しました。「Card Management」は、同行にとってブラジル国内で最も利用頻度の高いチャットサポートエージェントです。チームは Snowglobe シミュレーターを使用して、合成顧客が AI と対話する数千件の会話を実行しました。これらの合成ユーザーはエージェントの応答に対して反応し、システムはツール出力をシミュレーションすることで、エージェントが実際のバックエンドシステムに触れることなく多段階のワークフローを完了できるようにしました。

結果は、シミュレーションスコアと実際の本番パフォーマンスとの間に強い相関関係があることを示しました。展開された4バージョンのエージェントにおいて、シミュレーションからのバイナリ評価者スコアは、ライブ環境で見られた結果と一致しました。あるライブ A/B テストでは、シミュレーションに基づく改善により、トランザクショナル・ネット・プロモーター・スコア（tNPS）が36.69ポイント向上しました。また、オープンウェイトモデルの設定を選別するために16,000件以上のシミュレーション会話を伴う別のテストでは、選択されたモデルによりセルフサービス率が8.82パーセントポイント増加して過去最高を記録し、顧客満足度への悪影響はありませんでした。

仕組み

このアプローチの中核は、AI エージェントのための安全なサンドボックスを作成する Snowglobe シミュレーターです。エージェントは実際のデータベースや決済ゲートウェイに接続する代わりに、本番バックエンドの挙動を模倣したシミュレーションツールと対話します。これにより、エージェントはカードステータスの確認や配送情報の更新など、複雑な多段階タスクを実行できますが、実際の顧客データや財務記録に対するリスクは一切ありません。

対話は合成顧客によって駆動されます。これらは単純なスクリプトリーダーではなく、エージェントの応答に対して動的に反応するエンティティです。エージェントが混乱を招く回答を提供した場合、合成顧客は人間と同様に明確化を求めたり、不満を表明したりすることがあります。このフィードバックループにより、曖昧さを処理し、エラーから回復するエージェントの能力を評価できます。これらの対話を大規模に実行することで、エンジニアはさまざまなプロンプト、推論設定、モデル構成を迅速にテストできます。

主要な詳細

• シミュレーションワークフローは、Nubank の Card Delivery および Card Management エージェントでテストされました。
• Snowglobe シミュレーターは、本番バックエンドを呼び出さずに多段階のエージェント型ワークフローを可能にします。
• シミュレーションにおけるバイナリ評価者スコアは、4回の展開にわたる本番バージョンレベルのスコアと高い相関を示しました。
• シミュレーションに基づく反復作業により、ライブ A/B テストでトランザクショナル・ネット・プロモーター・スコアが36.69ポイント向上しました。
• オープンウェイト構成を選別するために、16,000件以上のシミュレーション会話が使用されました。
• シミュレーション選別から選択されたモデルにより、本番環境でのセルフサービス率が8.82パーセントポイント向上しました。

なぜ重要なのか

特に規制産業において AI プロダクトを構築するエンジニアリングチームにとって、失敗のコストは高くなります。新しいモデルがよりうまく機能するかどうかを知る唯一の方法としてライブ A/B テストが行われることが多くありますが、そこには評判上のリスクとコンプライアンス上のリスクが伴います。この論文は、高忠実度のシミュレーションがそのリスクの大部分を置き換えることができることを実証しています。これにより、チームはユーザーに破綻した応答やハルシネーション（幻覚）を晒すことなく、プロンプトやモデル選択を迅速に反復検討できます。

オープンウェイトモデルを選別できる能力は特に重要です。多くの組織は、パフォーマンス低下を懸念して、新しい小規模モデルやオープンソースモデルを試すことに躊躇します。シミュレーションを使用してこれらのモデルを数千のシナリオに対して検証することで、チームはより効率的またはコスト効果の高いアーキテクチャを自信を持って採用できます。シミュレーションと本番メトリクス間の相関は、この手法が単なる理論的な演習ではなく、現実世界の成功に対する信頼できる予測因子であることを示唆しています。

実施可能なこと

• バックエンドツールをモックアップするシミュレーション層を実装し、安全なエージェントテストを可能にします。
• 多様な顧客意図や不満レベルを表す合成ユーザーペルソナを開発します。
• シミュレーションでベースラインメトリクスを確立し、それらが過去の生産データと相関していることを検証します。
• ライブデプロイの前に、複数のモデル構成とプロンプトバリアントを選別するためにシミュレーションを使用します。
• セルフサービス率や顧客満足度スコアなどの主要指標を監視し、シミュレーションの精度を検証します。
• エッジケースがユーザーに到達する前に、サンドボックス環境内でエージェントロジックを反復検討して解決します。