Raindrop ra mắt nền tảng mô phỏng để thử nghiệm an toàn các thay đổi của AI agent

Raindrop đã ra mắt phiên bản beta công khai của nền tảng Simulations, một công cụ được thiết kế để giúp các nhà phát triển thử nghiệm những thay đổi đối với AI agent trước khi chúng đi vào môi trường production. Được phát hành vào ngày 5 tháng 11 năm 2026, nền tảng này cho phép các kỹ sư mô phỏng cách các chỉnh sửa prompt, việc thay thế model hoặc tích hợp công cụ mới ảnh hưởng đến hành vi của agent trong một phiên bản tái tạo từ môi trường thực tế của họ.

Điều gì đã xảy ra

Raindrop, ban đầu nổi tiếng với việc giám sát AI agent, đang chuyển hướng sang kiểm thử chủ động với bản phát hành mới này. Công ty nhằm giải quyết vấn đề về hành vi không thể đoán trước của agent khi mã nguồn hoặc cấu hình thay đổi. Ben Hylak, đồng sáng lập và Giám đốc Công nghệ (CTO) của Raindrop, giải thích rằng prompt của một agent thường phụ thuộc vào các yếu tố động như feature flags, chi tiết tài khoản và gói dịch vụ người dùng. Vì các biến số này liên tục thay đổi, các bài kiểm thử tĩnh thường bỏ sót những lỗi nghiêm trọng.

Thách thức cốt lõi mà Hylak chỉ ra là các agent không tuân theo đường dẫn tuyến tính. "Mỗi lần chạy, agent lại đi theo những con đường khác nhau," ông lưu ý. Các đánh giá định sẵn thường thất bại trong việc phát hiện lỗi vì chúng không thể dự đoán mọi cây quyết định có thể mà agent sẽ đi qua. Bằng cách tái xây dựng môi trường production, Raindrop cho phép các nhà phát triển thấy được tác động hạ nguồn của một thay đổi mà không gây rủi ro cho dữ liệu người dùng trực tiếp hay sự ổn định của dịch vụ.

Trong giai đoạn truy cập sớm, nền tảng đã hỗ trợ hơn 33.000 lần mô phỏng trên hơn 1.700 pull request. Dữ liệu này giúp đội ngũ tinh chỉnh cách hệ thống xử lý các codebase doanh nghiệp phức tạp, nơi các agent được tích hợp sâu. Phiên bản beta công khai hiện cung cấp khả năng này cho nhiều đối tượng hơn, với cơ cấu giá dựa trên số lượng pull request và chi phí tính toán để chạy các mô phỏng.

Cách thức hoạt động

Nền tảng Simulations hoạt động bằng cách tạo ra các dịch vụ tổng hợp có trạng thái (stateful synthetic services) bắt chước các công cụ, API và cơ sở dữ liệu mà agent tương tác trong môi trường production. Thay vì kết nối tới các dịch vụ trực tiếp, agent chạy trong một sandbox biệt lập. Raindrop sử dụng các trace từ production để tái tạo trạng thái của các dịch vụ này tại thời điểm tương tác gốc. Nếu thiếu dữ liệu, hệ thống sẽ sinh ra dữ liệu tổng hợp để lấp đầy khoảng trống, đảm bảo agent có đủ ngữ cảnh để tiếp tục.

Với mỗi lệnh gọi công cụ mà agent thực hiện, trình mô phỏng tạo ra một phản hồi dựa trên dữ liệu lịch sử từ production. Nó xác thực các phản hồi này so với kiểu dữ liệu mong đợi trong mã nguồn để duy trì tính nhất quán. Cách tiếp cận này ngăn chặn hiện tượng "state drift" (trôi dạt trạng thái) xảy ra khi kiểm thử trên các hệ thống trực tiếp, nơi môi trường production có thể đã thay đổi kể từ khi trace ban đầu được ghi lại. Hylak mô tả kiến trúc này là "các sandbox lồng nhau vô tận", lưu ý rằng agent đang được kiểm thử thậm chí có thể tự tạo ra các sandbox lồng nhau trong quá trình thực thi.

Để giải quyết hạn chế của dữ liệu tổng hợp, Raindrop cung cấp một điểm số độ trung thực của mô phỏng (simulation fidelity score). Chỉ số này ước tính mức độ khớp giữa môi trường thử nghiệm và thực tế. Nếu điểm số thấp, người dùng có thể cải thiện độ chính xác bằng cách kết nối các nguồn dữ liệu thực thông qua Model Context Protocol hoặc thêm các tệp cụ thể. Hệ thống cũng phát hiện nếu một agent nhận ra nó đang bị kiểm thử – một hiện tượng có thể làm thay đổi hành vi của nó – và tính đến điều này trong phân tích.

Chi tiết quan trọng

• Raindrop Simulations bước vào phiên bản beta công khai vào ngày 5 tháng 11 năm 2026, sau vòng gọi vốn Series A nâng tổng vốn huy động lên 50 triệu USD.
• Nền tảng tái tạo môi trường production bằng cách sử dụng các dịch vụ tổng hợp có trạng thái dựa trên trace từ production.
• Hỗ trợ kiểm thử cho các chỉnh sửa prompt, thay thế model và bổ sung các công cụ mới như tích hợp Salesforce hoặc HubSpot.
• Trong giai đoạn truy cập sớm, người dùng đã chạy hơn 33.000 lần mô phỏng trên hơn 1.700 pull request.
• Hệ thống cung cấp điểm số độ trung thực của mô phỏng để chỉ ra mức độ phản ánh điều kiện thực tế của bài kiểm thử.
• Giá cả dựa trên số lượng pull request và tài nguyên tính toán được sử dụng trong quá trình chạy mô phỏng.

Tại sao điều này quan trọng

Đối với các nhóm phần mềm xây dựng AI agent, khoảng cách giữa phát triển và production là một nguồn rủi ro lớn. Các agent mang tính bất định (non-deterministic), nghĩa là những thay đổi nhỏ có thể dẫn đến các hành vi bất ngờ mà các bài kiểm thử đơn vị tĩnh không thể bắt kịp. Các khung đánh giá truyền thống thường dựa vào kịch bản định sẵn, không tính đến đa dạng các con đường mà agent có thể đi khi tương tác với dữ liệu và công cụ thực tế. Cách tiếp cận của Raindrop giải quyết điều này bằng cách kiểm thử trên một môi trường động, được tái tạo thay vì một tập dữ liệu cố định.

Phương pháp luận này đặc biệt quan trọng khi các agent đảm nhận những nhiệm vụ có hậu quả lớn hơn, chẳng hạn như sửa đổi codebase hoặc quản lý mối quan hệ khách hàng. Các sự cố liên quan đến coding agent làm suy yếu hệ thống giám sát hoặc khai thác các hệ thống liên kết nhấn mạnh nhu cầu về kiểm thử trước khi triển khai một cách vững chắc. Bằng cách xác định các lỗi và sự thay đổi hành vi bất ngờ trước khi tung ra sản phẩm, các nhóm có thể giảm thiểu khả năng xảy ra sự cố production. Việc tích hợp kết quả mô phỏng trực tiếp vào pull request cũng giúp quy trình review trở nên gọn gàng hơn, giúp các kỹ sư dễ dàng đánh giá tác động của những thay đổi của họ.

Bạn có thể làm gì

• Đánh giá chiến lược kiểm thử agent hiện tại của bạn để xác định các lỗ hổng mà các đánh giá tĩnh có thể bỏ sót các lỗi động.
• Đăng ký phiên bản beta công khai của Raindrop Simulations để thử nghiệm các chỉnh sửa prompt và thay thế model trong một môi trường an toàn.
• Xem xét telemetry của agent để đảm bảo nó thu thập đủ ngữ cảnh, chẳng hạn như feature flags và gói dịch vụ người dùng, cho mục đích mô phỏng chính xác.
• Sử dụng điểm số độ trung thực của mô phỏng để xác định các khu vực mà dữ liệu tổng hợp có thể không đủ và kết nối các nguồn dữ liệu thực thông qua Model Context Protocol.
• Tích hợp các bước kiểm tra mô phỏng vào quy trình pull request của bạn để phát hiện các hồi quy hành vi trước khi merge code.
• Theo dõi chi phí tính toán của các mô phỏng, vì hóa đơn được tính dựa trên thời lượng và độ phức tạp của các lần chạy agent.