Mô phỏng nhân viên dịch vụ khách hàng ở quy mô lớn trước khi triển khai vào môi trường sản xuất

Các nhà nghiên cứu từ Nubank và các cộng sự học thuật đã công bố một báo cáo chi tiết về cách họ kiểm tra các tác nhân AI trải nghiệm khách hàng trước khi phát hành ra công chúng. Bài báo, được công bố vào ngày 6 tháng 11 năm 2026, mô tả một hệ thống mô phỏng có tên là Snowglobe, cho phép các kỹ sư đánh giá hiệu suất của tác nhân dựa trên những khách hàng tổng hợp thay vì người dùng thực. Cách tiếp cận này giải quyết những rủi ro cao liên quan đến việc triển khai các mô hình ngôn ngữ lớn trong môi trường tài chính chịu sự quản lý chặt chẽ.

Chuyện gì đã xảy ra

Các tác nhân trải nghiệm khách hàng trong lĩnh vực ngân hàng phải điều hướng qua các chính sách vận hành phức tạp, xác định chính xác ý định của người dùng và sử dụng đáng tin cậy các công cụ phần mềm nội bộ. Các phương pháp kiểm thử truyền thống thường không đáp ứng đủ yêu cầu vì các bài kiểm tra thủ công đầu-cuối không thể bao quát mọi đường dẫn hội thoại khả thi, trong khi các thí nghiệm trực tiếp lại khiến khách hàng thực đối mặt với nguy cơ thất bại. Những thất bại này có thể làm tổn hại lòng tin và vi phạm các tiêu chuẩn tuân thủ. Để giải quyết vấn đề này, nhóm đã phát triển một quy trình mô phỏng dựa trên giả thuyết nhằm sàng lọc các tác nhân tiềm năng trước khi chúng được đưa vào môi trường sản xuất.

Các nhà nghiên cứu đã áp dụng phương pháp này cho hai tác nhân cụ thể tại Nubank: tác nhân Giao thẻ (Card Delivery) và phiên bản kế nhiệm của nó, Quản lý thẻ (Card Management). Card Management là tác nhân hỗ trợ trò chuyện có khối lượng giao dịch lớn nhất tại Brazil của ngân hàng này. Nhóm đã sử dụng trình mô phỏng Snowglobe để chạy hàng nghìn cuộc hội thoại, trong đó các khách hàng tổng hợp tương tác với AI. Những người dùng tổng hợp này phản hồi lại câu trả lời của tác nhân, và hệ thống mô phỏng đầu ra của các công cụ để tác nhân có thể hoàn thành các quy trình nhiều bước mà không cần chạm vào các hệ thống backend đang hoạt động.

Kết quả cho thấy mối tương quan mạnh mẽ giữa điểm số mô phỏng và hiệu suất thực tế trong môi trường sản xuất. Trên bốn phiên bản đã triển khai của tác nhân, điểm số từ bộ đánh giá nhị phân trong mô phỏng khớp với kết quả quan sát được trong môi trường trực tiếp. Trong một bài kiểm tra A/B trực tiếp, những cải tiến được định hướng bởi mô phỏng đã tăng chỉ số Net Promoter Score giao dịch lên 36,69 điểm. Trong một bài kiểm tra khác liên quan đến hơn 16.000 cuộc hội thoại mô phỏng để sàng lọc các cấu hình mô hình mã nguồn mở (open-weight), mô hình được chọn đã tăng tỷ lệ tự phục vụ thêm 8,82 điểm phần trăm, đạt mức cao kỷ lục, mà không gây ảnh hưởng tiêu cực đến sự hài lòng của khách hàng.

Cách thức hoạt động

Cốt lõi của phương pháp này là trình mô phỏng Snowglobe, tạo ra một hộp cát an toàn cho các tác nhân AI. Thay vì kết nối với cơ sở dữ liệu hoặc cổng thanh toán thực, tác nhân tương tác với các công cụ mô phỏng bắt chước hành vi của các backend trong môi trường sản xuất. Điều này cho phép tác nhân thực hiện các tác vụ phức tạp, đa bước, chẳng hạn như kiểm tra trạng thái thẻ hoặc cập nhật chi tiết giao hàng, mà không gây rủi ro nào cho dữ liệu khách hàng thực hoặc hồ sơ tài chính.

Những khách hàng tổng hợp thúc đẩy quá trình tương tác. Đây không phải là những kịch bản đọc đơn giản mà là các thực thể động, phản hồi lại câu trả lời của tác nhân. Nếu tác nhân đưa ra câu trả lời gây nhầm lẫn, khách hàng tổng hợp có thể yêu cầu làm rõ hoặc bày tỏ sự bực bội, giống như con người sẽ làm. Vòng lặp phản hồi này cho phép đánh giá khả năng của tác nhân trong việc xử lý sự mơ hồ và khắc phục lỗi. Bằng cách chạy các tương tác này ở quy mô lớn, các kỹ sư có thể nhanh chóng kiểm thử nhiều loại prompt, cài đặt suy luận và cấu hình mô hình khác nhau.

Chi tiết chính

• Quy trình mô phỏng đã được thử nghiệm trên các tác nhân Card Delivery và Card Management của Nubank.
• Trình mô phỏng Snowglobe cho phép thực hiện các quy trình tác nhân đa bước mà không cần gọi tới các backend sản xuất.
• Điểm số từ bộ đánh giá nhị phân mô phỏng cho thấy mối tương quan cao với điểm số cấp độ phiên bản trong môi trường sản xuất trên bốn lần triển khai.
• Việc lặp lại dựa trên mô phỏng đã dẫn đến mức tăng 36,69 điểm trong chỉ số Net Promoter Score giao dịch trong một bài kiểm tra A/B trực tiếp.
• Hơn 16.000 cuộc hội thoại mô phỏng đã được sử dụng để sàng lọc các cấu hình mô hình mã nguồn mở.
• Mô hình được chọn từ quá trình sàng lọc mô phỏng đã tăng tỷ lệ tự phục vụ thêm 8,82 điểm phần trăm trong môi trường sản xuất.

Tại sao điều này quan trọng

Đối với các nhóm kỹ sư xây dựng sản phẩm AI, đặc biệt là trong các ngành nghề chịu sự quản lý chặt chẽ, chi phí của thất bại là rất lớn. Kiểm tra A/B trực tiếp thường là cách duy nhất để biết liệu một mô hình mới có hoạt động tốt hơn hay không, nhưng nó mang theo rủi ro về uy tín và tuân thủ. Bài báo này chứng minh rằng mô phỏng độ trung thực cao có thể thay thế phần lớn rủi ro đó. Nó cho phép các nhóm lặp lại nhanh chóng trên các prompt và lựa chọn mô hình mà không khiến người dùng phải đối mặt với các phản hồi bị lỗi hoặc ảo giác.

Khả năng sàng lọc các mô hình mã nguồn mở đặc biệt có ý nghĩa. Nhiều tổ chức do dự trong việc thử nghiệm các mô hình mới, nhỏ hơn hoặc mã nguồn mở vì lo ngại hiệu suất giảm sút. Bằng cách sử dụng mô phỏng để xác thực các mô hình này qua hàng nghìn kịch bản, các nhóm có thể tự tin áp dụng các kiến trúc hiệu quả hơn hoặc tiết kiệm chi phí hơn. Mối tương quan giữa các chỉ số mô phỏng và sản xuất cho thấy phương pháp này không chỉ là một bài tập lý thuyết mà còn là một công cụ dự đoán đáng tin cậy cho thành công trong thế giới thực.

Bạn có thể làm gì

• Triển khai một lớp mô phỏng giả lập (mock) các công cụ backend của bạn để cho phép kiểm thử tác nhân an toàn.
• Phát triển các hồ sơ người dùng tổng hợp đại diện cho nhiều ý định khách hàng và mức độ bực bội khác nhau.
• Thiết lập các chỉ số cơ sở trong mô phỏng và xác minh mối tương quan của chúng với dữ liệu sản xuất lịch sử.
• Sử dụng mô phỏng để sàng lọc nhiều cấu hình mô hình và biến thể prompt trước khi triển khai trực tiếp.
• Giám sát các chỉ số chính như tỷ lệ tự phục vụ và điểm hài lòng của khách hàng để xác thực độ chính xác của mô phỏng.
• Lặp lại logic của tác nhân trong môi trường hộp cát để giải quyết các trường hợp biên (edge cases) trước khi chúng tiếp cận người dùng.