Raindrop、AIエージェントの変更を安全にテストするためのシミュレーションプラットフォームを発表

Raindropは、開発者がAIエージェントへの変更を本番環境に反映する前にテストできるように設計されたツール「Simulations」プラットフォームのパブリックベータ版を開始しました。2026年11月5日にリリースされたこのプラットフォームにより、エンジニアはプロンプトの編集、モデルの切り替え、新しいツールの統合が、ライブ環境を再構築したバージョンにおいてエージェントの挙動にどのような影響を与えるかをシミュレートできます。

何が起きたか

元来、AIエージェントの監視で知られていたRaindropは、今回の新リリースにより、積極的なテストへと焦点を移しています。同社は、コードや設定が変更された際に生じるエージェントの予測不可能な挙動という問題を解決することを目指しています。Raindropの共同創業者兼最高技術責任者（CTO）であるBen Hylak氏は、エージェントのプロンプトはしばしば機能フラグ、アカウント詳細、ユーザープランといった動的な要素に依存していると説明します。これらの変数は絶えず変化するため、静的なテストでは重大な障害を見逃しがちです。

Hylak氏が指摘する核心的な課題は、エージェントが線形なパスをたどらないということです。「エージェントを実行するたびに、異なるパスを通ります」と彼は述べています。定義済みの評価は、エージェントが取り得るあらゆる意思決定ツリーを予測できないため、問題を検出するのに失敗することがよくあります。Raindropは本番環境を再構築することで、開発者がライブユーザーデータやサービスの安定性をリスクにさらすことなく、変更の下流への影響を確認できるようにします。

アーリーアクセス期間中、このプラットフォームは1,700件以上のプルリクエストにわたって33,000回以上のシミュレーションをサポートしました。このデータは、チームがエージェントが深く組み込まれた複雑なエンタープライズコードベースに対してシステムがどのように対応するかを改善するのに役立ちました。パブリックベータ版では、この機能がより広い層に提供されるようになり、価格はプルリクエストの数とシミュレーション実行時の計算コストに基づいて構成されています。

仕組み

Simulationsプラットフォームは、エージェントが本番環境でやり取りするツール、API、データベースを模倣するステートフルな合成サービスを作成して動作します。ライブサービスに接続する代わりに、エージェントは隔離されたサンドボックス内で実行されます。Raindropは本番環境のトレースを使用し、元のインタラクション時点でのこれらのサービスの状態を再構築します。データが欠落している場合、システムは合成データを生成してギャップを埋め、エージェントが処理を進めるためのコンテキストを提供します。

エージェントが行うすべてのツール呼び出しに対し、シミュレーターは過去の生産データに基づいた応答を生成します。一貫性を保つため、これらの応答をコード内の期待される型に対して検証します。このアプローチにより、初期トレースが記録されて以来、本番環境が変更されている可能性があるライブシステムに対するテスト時に発生する「ステートドリフト」を防ぎます。Hylak氏はこのアーキテクチャを「サンドボックスの入れ子構造」と表現し、テスト中のエージェントが実行中に独自のネストされたサンドボックスを作成さえ可能であると指摘しています。

合成データの制限に対処するため、Raindropはシミュレーション忠実度スコアを提供します。この指標は、テスト環境が現実世界にどの程度一致しているかを推定します。スコアが低い場合、ユーザーはModel Context Protocolを通じて実際のデータソースを接続したり、特定のファイルを追加したりすることで精度を向上させることができます。また、システムはエージェントがテストされていることに気づく現象（これが挙動を変化させる可能性があります）を検出し、分析に考慮に入れます。

主要な詳細

• Raindrop Simulationsは、総調達額を5,000万ドルにしたシリーズA資金調達ラウンドを経て、2026年11月5日にパブリックベータ版を開始しました。
• このプラットフォームは、本番環境のトレースに基づくステートフルな合成サービスを使用して本番環境を再構築します。
• プロンプトの編集、モデルの切り替え、SalesforceやHubSpotなどの新しいツール統合の追加に関するテストをサポートします。
• アーリーアクセス期間中、ユーザーは1,700件以上のプルリクエストにわたって33,000回以上のシミュレーションを実行しました。
• システムは、テストが現実世界の条件をどの程度反映しているかを示すシミュレーション忠実度スコアを提供します。
• 価格は、プルリクエストの数とシミュレーション実行中に使用された計算リソースに基づいています。

なぜ重要なのか

AIエージェントを開発するソフトウェアチームにとって、開発環境と本番環境のギャップはリスクの主要な要因です。エージェントは非決定的であり、小さな変更でも静的な単体テストでは検出できない予期せぬ挙動につながる可能性があります。従来の評価フレームワークは多くの場合、定義済みのシナリオに依存しており、リアルワールドのデータやツールとインタラクトする際のエージェントが取り得る多様なパスを考慮に入れていません。Raindropのアプローチは、固定データセットではなく、動的に再構築された環境に対してテストを行うことで、この課題に対応します。

この手法は、エージェントがコードベースの修正や顧客関係管理など、より重要なタスクを担うようになるにつれ、特に重要になります。コーディングエージェントによる監視システムの弱体化や相互接続されたシステムの悪用を含むインシデントは、堅牢なデプロイ前テストの必要性を浮き彫りにしています。出荷前に障害や予期せぬ挙動の変化を特定することで、チームは本番環境でのインシデントの可能性を低減できます。シミュレーション結果をプルリクエストに直接統合することも、レビュープロセスを簡素化し、エンジニアが変更の影響を評価しやすくします。

実施可能なこと

• 現在のエージェントテスト戦略を評価し、静的評価では動的な障害を見逃す可能性のあるギャップを特定してください。
• Raindrop Simulationsのパブリックベータ版に登録し、安全な環境でプロンプトの編集やモデルの切り替えをテストしてください。
• エージェントのテレメトリを確認し、機能フラグやユーザープランなど、正確なシミュレーションに必要な十分なコンテキストが捕捉されていることを確認してください。
• シミュレーション忠実度スコアを使用して、合成データが不十分な領域を特定し、Model Context Protocol経由で実際のデータソースを接続してください。
• コードのマージ前に挙動のリグレッションを検出するために、プルリクエストワークフローにシミュレーションチェックを組み込んでください。
• 請求はエージェント実行の期間と複雑さに紐付けられているため、シミュレーションの計算コストを監視してください。