AWS Bedrockにおけるスケーラブルなエージェント評価のための意思決定モデルの活用

Amazon Web Servicesは、Amazon Bedrock AgentCore Evaluations機能を拡張し、意思決定モデルによって駆動されるカスタム評価器をサポートしました。2026年11月にリリースされたこのアップデートにより、開発者はTypeSafe社のJevやオープンソースのStrands Decider 2Bといった特化型モデルを、エージェント評価パイプラインに直接統合できるようになりました。このアプローチは、特定かつ反復的な検証タスクにおいて、汎用大規模言語モデル（LLM）による判定に対する構造化された代替手段を提供します。

何が起きたか

AgentCore Evaluationsは、開発から本番トラフィックまで、AIエージェントのライフサイクル全体を通じてスコアリングを行うよう設計されています。同サービスには既に、LLMを使用してルーブリックに基づき応答を評価する15種類の組み込み評価器が含まれていますが、これに加え、LLM-as-a-judgeまたはコードベースのロジックとして定義されたカスタム評価器もサポートされるようになりました。今回の焦点は、AWS Lambda関数を介して外部システム（意思決定モデルを含む）を呼び出すことができるコードベースの評価器にあります。

意思決定モデルは、自由形式のテキストを生成する標準的なLLMとは異なり、固定された回答セットに対する校正された確率を返します。これにより、応答がトピックから逸脱していないか、ツール呼び出しが安全かなど、知識のある人間なら迅速に判断できる狭い範囲の質問に適しています。これらのモデルを統合することで、開発者は効率的に問題をフラグ付けするスクリーニング層を作成し、複雑なケースのみを高コストで説明可能なLLM評価器へエスカレーションできるようになります。

発表では、この統合向けの2つの具体的なバックエンドが強調されています。TypeSafe社がホストするサービスであるJevと、Strands AgentsチームによるオープンソースモデルであるStrands Decider 2Bです。両方とも3種類の質問タイプに対応しています。バイナリのYes/No（noul）、複数選択（choice）、および順序付きレベル（score）です。この構造により、生成モデルの変動的な出力では達成が難しい、正確でプログラマティックなしきい値の設定が可能になります。

仕組み

この統合は、AgentCore Evaluationsと意思決定モデル間の橋渡し役となるAWS Lambda関数に依存しています。評価がトリガーされると、Lambda関数はエージェントのインタラクションデータを含むOpenTelemetryスパンを接收します。正規化モジュールがこのデータを、意思決定モデル向けのリクエスト形式に整形し、トレベルレベルのチェックには関連するターン履歴のみを、より広範な評価にはセッション全体を送信します。

意思決定モデルが入力を処理すると、確率分布を返します。Lambdaアダプターはこの分布を、AgentCoreが期待する形式に変換します。バイナリ質問の場合、「true」の確率が値となります。スコア付き質問の場合、システムはゼロから1の間でスケーリングされた確率加重期待レベルを計算します。この結果は、AgentCoreコントロールプレーン内でコードベースの評価器として登録され、正確性や有用性などの組み込みメトリクスと並行して実行されます。

開発者は、ロール作成、Lambdaパッケージング、評価器登録を処理する提供済みのPythonスクリプトを使用してこのセットアップを展開できます。システムは、保存されたセッションに対するオンデマンドバッチ評価と、ライブトラフィックの継続的なオンライン評価の両方をサポートしています。展開スクリプト内のフラグにより、ユーザーはJevまたはStrands Deciderバックエンドへのオプトインが可能であり、セルフホスト型モデルに必要なEC2インスタンスの自動プロビジョニングオプションもあります。

主要な詳細

• 意思決定モデルは、自由形式のテキストと根拠を生成するLLMとは異なり、固定オプションに対する校正された確率を返します。
• サポートされている2つのバックエンドは、Jev（TypeSafeがホスト）とStrands Decider 2B（オープンソース、セルフホスト）です。
• 3種類の質問タイプがサポートされています：noul（Yes/No）、choice（最大255オプション）、score（2〜10の順序付きレベル）。
• コードベースの評価器はAWS Lambda上で実行され、OpenTelemetryスパンを接收し、構造化された結果をAgentCoreに返します。
• 「カスケードパターン」では、安価で高速なスクリーニングに意思決定モデルを使用し、信頼度の低いターンのみをLLM評価器へエスカレーションすることが推奨されています。
• 検証には、意思決定モデルの出力を人間がラベル付けたサンプルと比較し、一致率と校正を確認する必要があります。

なぜ重要なのか

本番環境用のAIエージェントを構築するエンジニアにとって、コストと一貫性は主要な懸念事項です。汎用LLM評価器は豊富な説明を提供しますが、高コストであり、信頼度のドリフトが発生する可能性があります。意思決定モデルは、生成テキストの変動性を伴わずに、特定のルーブリックを一貫して適用する方法を提供します。これを最初のパスとして使用することで、チームはより大きなモデルに送信されるインタラクションのボリュームを削減し、高いカバレッジを維持しながら運用コストを下げることができます。

このアプローチは、自動化テストの信頼性も向上させます。意思決定モデルは数値的な確率を出力するため、開発者は特定の基準に対する合格・不合格の正確なしきい値を設定できます。これは、ポリシーが一様に適用される必要がある人事や金融などのコンプライアンス重視の領域において極めて重要です。これらのスコアをプログラマティックにしきい値設定および集約できる能力により、より堅牢な監視およびアラートシステムが可能になります。

さらに、「読み取り」と「導出」タスクの分離により、評価戦略が明確になります。根拠性や目標完了に関する狭いチェックは意思決定モデルで処理でき、複雑な推論タスクはLLMジャッジに残ります。このハイブリッドアーキテクチャは両方の技術の強みを活かし、単純なバイナリチェックでは不十分なケースのために深い調査能力を確保します。

実施できること

• ポリシー遵守や事実根拠など、エージェントワークフロー内の狭く反復可能な評価質問を特定してください。
• 新しい意思決定モデル評価器を検証するために、人間の参照ラベルが付いたエージェントトラフィックのラベル付きサンプルを作成してください。
• 提供されたPythonスクリプトを展開し、AWSアカウント内でJevまたはStrands Decider向けのLambdaベースの評価器をセットアップしてください。
• 信頼度しきい値を設定してカスケードパターンを実装し、必要に応じてのみより深いLLM評価をトリガーしてください。
• ターンを報告された確率でグループ化し、人間の一致率と比較することで、校正を監視してください。
• 意思決定モデルのバージョンを更新したり、評価質問の文言を変更したりするたびに、検証チェックを再実行してください。