SageMakerでのシーケンスレベル知識蒸留によるエージェント型AIのコスト削減

Amazon Web Servicesは、シーケンスレベル知識蒸留を使用してエージェント型AIアプリケーションの運用コストを削減する方法を示す技術ガイドを公開しました。2026年11月にリリースされたこのガイドでは、Amazon SageMaker AI上のワークフローが概説されており、大規模な最先端モデルが複雑なマルチステップタスクを実行できる、より効率的な小規模モデルを指導します。このアプローチは、推論能力をホスティング速度とコストが低いモデルへ転移させることで、エージェントループに伴う複合的なコスト問題に対処します。

何が起きたか

エージェント型アプリケーションは、標準的なチャットボットとは異なり、ループ内で動作します。「特定の制約条件下で特定の商品を見つける」といった単一のユーザーリクエストは、カタログ検索、結果の読み取り、クエリの絞り込み、制約の確認、最終的な推奨事項の提示という一連のアクションを引き起こします。このループ内の各ステップには、大規模言語モデルへの個別の呼び出しが必要です。本番規模では、最先端モデルへのすべての個別呼び出しに対して課金することは投資収益率（ROI）を損ない、プロジェクトのリリースを妨げる可能性があります。

これを解決するため、開発者はしばしばより小さいモデルへの切り替えを検討します。しかし、小規模モデルは通常、複雑なツール使用タスクに必要な推論の深さを欠いています。AWSのガイドは、その橋渡しとして知識蒸留を提案しています。具体的には、シーケンスレベル知識蒸留（SeqKD）を使用して、大規模な「教師」モデルの出力軌跡に基づいて小規模な「学生」モデルを訓練します。目標は、学生の速度と低コストという利点を享受しながら、教師の高品質な挙動を維持することです。

ガイドでは、ショッピングアシスタントを用いた具体的な例を通じて手順を解説しています。最先端モデルを使用して高品質な訓練データを生成し、成功した結果のみをフィルタリングし、Amazon SageMaker AI上で小規模モデルをファインチューニングする方法を示しています。このプロセスは完全に教師からのテキスト出力に依存しているため、教師モデルがAPI経由でのみアクセス可能で、内部重みやロジットが利用できない場合でも機能します。

仕組み

シーケンスレベル知識蒸留は、エージェントの全インタラクション履歴を単一の訓練シーケンスとして扱います。教師の内部確率分布へのアクセスが必要なロジットベースの蒸留とは異なり、SeqKDは教師によって生成されたテキストのみを使用します。教師モデルは、特定のタスクに対して複数の潜在的な軌跡を生成します。その後、プログラマティックスコアラーがこれらの軌跡を評価し、タスクを正常に解決したもののみを残します。この棄却サンプリングにより、学生は教師の誤りを模倣するのではなく、正しい例から学習することが保証されます。

選択された軌跡は、教師付きファインチューニングに適した形式にエンコードされます。エージェントのループ内の各ステップ（推論、ツール呼び出し、観察）は、チャットのターンに変換されます。訓練目的関数はアシスタントの応答に焦点を当て、会話履歴に基づいて次の推論ステップとアクションを予測するように学生を教えます。ツール観察の圧縮や不要なデータの切り捨てにより、長いマルチステップ軌跡を管理可能なトークン制限内に収めることができます。

訓練はサーバーレスインフラストラクチャを使用したAmazon SageMaker AI上で実行されます。ガイドでは、学生モデルとしてQwen3.5-4B、教師モデルとしてAmazon Bedrock上のGLM-5.3を使用しています。SageMakerモデルカスタマイズサービスが計算プロビジョニングと実行を処理するため、開発者はコンテナやインスタンスを管理せずに低ランク適応（LoRA）ファインチューニングを実行できます。結果として得られたモデルは、保持データセットで評価され、教師の挙動を学習したことが確認されます。

主要な詳細

• 手法: シーケンスレベル知識蒸留（SeqKD）は、教師のテキスト出力を教師付きファインチューニングに使用し、教師のロジットや重みへのアクセスを必要としません。
• 教師モデル: Amazon Bedrock上のGLM-5.3が、多様な推論パスを促進するために温度1.0で軌跡を生成します。
• 学生モデル: Qwen3.5-4Bは、ランク64の低ランク適応（LoRA）を使用してファインチューニングされます。
• データセット: ShoppingBenchは750件の合成問題を供給します。そのうち426件が訓練用、324件が評価用に使用され、解決された軌跡のみが保持されます。
• インフラストラクチャ: 訓練は、最大長16,384トークンのデータセットを使用するサーバーレスSFT付きのAmazon SageMaker AIモデルカスタマイズで実行されます。
• 評価: ステップ精度のための低コスト事前チェックに続いて、完全なエンドツーエンドのエージェントループ評価を行う二段階のプロセスが使用されます。

なぜ重要なのか

エージェントシステムを構築するエンジニアリングチームにとって、コスト効率のスケーリングにおける主要な障壁です。最先端モデルは高いパフォーマンスを提供しますが、トークンごとに課金され、エージェントはタスクごとに多くのトークンを消費します。この能力をより小さいモデルに蒸留することで、組織は推論コストを大幅に削減できます。これにより、利益率の圧迫によって大規模モデルの使用が禁止されるような高ボリュームシナリオにおいても、洗練されたエージェントを展開することが現実的になります。

さらに、SeqKDはカスタムエージェント開発への参入障壁を下げています。テキスト出力のみに依存するため、クローズドソースの最先端モデルを含む、API経由でアクセス可能なあらゆるモデルで機能します。チームはロジットを抽出したり、複雑な強化学習パイプラインを管理したりするための特殊なインフラストラクチャを必要としません。生成されたデータセットを複数の学生モデルで再利用できる機能は、高価な教師データを再生成することなく反復的な改善を可能にし、効率性をさらに高めます。

実施できること

• 現在のスタック内で、複数のモデル呼び出しによりタスクあたりのコストが高くなっているエージェント型タスクを特定します。
• 教師として最先端モデルを選択し、候補となる学生としてより小さくコスト効率の高いモデルを選択します。
• エージェントの軌跡がタスクを正常に完了しているかどうかを自動的に検証するために、プログラマティックスコアラーまたはグレーダーを実装します。
• 異なる推論パスを探求するために、より高い温度設定で教師モデルをサンプリングして、多様な訓練データを生成します。
• マルチステップ軌跡をチャット形式にエンコードし、ツール観察を圧縮して、ファインチューニング用のトークン制限内に収めます。
• 基盤となるインフラストラクチャを管理せずに学生モデルを訓練するために、Amazon SageMaker AIモデルカスタマイズなどのマネージドファインチューニングサービスを使用します。