クラウドとインフラ

SageMakerのKVキャッシュ認識型ルーティング、キャッシュ状態追跡でLLM遅延を削減

AWSがSageMaker AI向けにKVキャッシュ認識型ルーティングを導入。リアルタイムのキャッシュレポートを活用し、マルチターンLLMワークロードにおける最初のトークン生成までの時間(TTFT)を最大97%短縮します。

サーバーラック内の特定のGPUキャッシュへのデータルーティングを示すイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Amazon Web Servicesは、Amazon SageMaker AIのリアルタイムエンドポイント向けに「KVキャッシュ認識型ルーティング」機能を公開しました。2026年11月17日に発表されたこの新機能により、大規模言語モデル(LLM)のサービング基盤は、静的なリクエストプレフィックスではなく、GPUメモリに実際に保存されているコンテンツに基づいてリクエストをルーティングできるようになります。これは、高負荷環境下でレイテンシを最小化しスループットを最大化する必要があるチャットアシスタントや検索拡張生成(RAG)システムを開発するエンジニアを対象としています。

何が起きたか

従来、SageMakerではプレフィックス認識型ルーティングを提供しており、リクエストペイロードの先頭部分をハッシュ化して類似のプロンプトを同じインスタンスへ振り分けていました。安定したシステムプロンプトには有効でしたが、メモリ圧力によるキャッシュデータの退避を検知することはできませんでした。インスタンスがGPUメモリを使い果たしてキャッシュをクリアした場合でも、ルーターは一致するリクエストをそのインスタンスへ送信し続け、モデルは利用できなくなったトークンを再計算する必要がありました。この制限は、プロンプト長が設定されたプレフィックスハッシュの範囲を超えて成長するマルチターン会話にも影響を与え、後続のターンが異なるインスタンスに割り当てられてコンテキストの連続性が失われる原因となっていました。

KVキャッシュ認識型ルーティングは、モデルコンテナとSageMakerルーター間のフィードバックループを確立することでこの問題を解決します。コンテナはキー・バリュー(KV)キャッシュエントリの保存または退避時にアクティブに報告を行います。SageMakerはこれらのレポートを管理されたインデックスとして維持し、キャッシュコンテンツの切り詰められたハッシュ値を特定のインスタンスにマッピングします。新しいリクエストが届くと、エンドポイントはプロンプトをトークン化し、このインデックスを照会して最も長い一致プレフィックスを持つインスタンスを探します。その後、ルーターはキャッシュマッチの長さと候補インスタンスの現在の負荷を比較し、最適なオプションへリクエストを送信します。有用なキャッシュマッチが存在しない場合やすべてのインスタンスが多忙な場合は、標準的な負荷認識型ルーティングにフォールバックします。

仕組み

このメカニズムは、モデルコンテナ、管理されたキャッシュインデックス、およびルーティングロジックの3つのコンポーネントに依存しています。これを有効にするには、ユーザーはコンテナ内で SM_VLLM_KV_EVENTS_CONFIG 環境変数を設定する必要があり、これによりKVキャッシュイベントの公開がトリガーされます。これらのイベントは、キャッシュコンテンツの一方向かつ切り詰められたハッシュ値を用いて管理インデックスを更新します。重要なのは、インデックスにはインスタンスへのポインタのみが保存され、実際のプロンプト、トークンID、テンソルデータは含まれないため、プライバシーが保護されオーバーヘッドが最小限に抑えられる点です。

リクエストがエンドポイントに届くと、システムは入力をトークン化しインデックスを確認します。例えば、インスタンスAが6,200トークンの会話履歴のうち最初の6,000トークンを保持している場合、ルーターはそれを主要な候補として識別します。しかし、インスタンスAが現在過負荷である場合、ルーターはそれをスキップし、 substantial なキャッシュマッチを持つ次のベストなインスタンスを選択します。この動的なバランス調整により、ボトルネックを生じさせることなくキャッシュヒットが優先されます。インデックスはフリート(インスタンス群)のスケーリングに伴って自動的に更新され、削除されたインスタンスのエントリは破棄され、新しいインスタンスについては初期状態から開始されます。

主な詳細

  • パフォーマンス向上: ml.p5.48xlarge インスタンス上でLlama 3.1 70B Instructを使用したベンチマークにおいて、KVキャッシュ認識型ルーティングはランダムルーティングと比較して、p50の最初のトークン生成までの時間(TTFT)を最大97%短縮し、スループットを最大234%向上させました。
  • キャッシュヒット率: テストされたマルチターンチャットおよびドキュメントQ&Aシナリオにおいて、KVキャッシュヒット率はベースラインの3〜48%から80〜93%へと上昇しました。
  • コンテナ要件: AWS vLLM Deep Learning Container for vLLM 0.33.0以降、またはプレフィックスキャッシュが有効なAmazon Linuxビルド server-sagemaker-cuda-v2.8.0 以降が必要です。
  • ルーティングフォールバック: キャッシュ検索で一致が見つからない場合、または一致するインスタンスすべてが多忙な場合、エンドポイントは LEAST_OUTSTANDING_REQUESTS ルーティングにデフォルトで移行し、リクエストが常に処理されるようにします。
  • 手動チューニング不要: プレフィックス認識型ルーティングとは異なり、KVキャッシュ認識型ルーティングでは実際のキャッシュ済みトークンに基づいてマッチングを行うため、PrefixLength パラメータの設定は不要です。
  • 最小スケール: この戦略は、エンドポイントに少なくとも2つのインスタンス、または推論コンポーネントの2つのコピーがある場合にのみ有効になります。

なぜ重要なのか

LLMを提供するエンジニアリングチームにとって、長いコンテキストに対するアテンション機構の再計算コストとレイテンシは重大なボトルネックです。マルチターン会話やRAGアプリケーションでは、システム指示や取得されたドキュメントなど、大量のテキスト部分共有することがよくあります。KVキャッシュ認識型ルーティングにより、これらの共有プレフィックスがリクエストを処理するインスタンス上にキャッシュされたままになることが保証されるため、各新規トークンに必要な計算量が大幅に削減されます。この効率性は、特にGPUメモリが頻繁に競合する高並行環境において、インフラストラクチャコストの低減とエンドユーザー向けの応答速度向上に直接つながります。

また、今回のアップデートは運用の複雑さも簡素化します。開発者はワークロードに最適な PrefixLength を推測したり、キャッシュ退避によってルーティング戦略が無効化されることを心配したりする必要がなくなります。システムはGPUメモリの状態変化に適応するため、動的なワークロードに対してより堅牢なソリューションを提供します。プレフィックス認識型ルーティングはシンプルで安定したプロンプトには依然として有効な選択肢ですが、KVキャッシュ認識型ルーティングは複雑でインタラクティブなAIアプリケーションに対し、自己修正可能な優れたメカニズムを提供します。

実施できること

  • SageMakerモデルコンテナをAWS vLLM Deep Learning Container v0.33.0以降に更新してください。
  • コンテナ設定で SM_VLLM_KV_EVENTS_CONFIG 環境変数を設定し、キャッシュイベントのレポートを有効にしてください。
  • エンドポイント設定を変更し、RoutingConfig 内の RoutingStrategy を KV_AWARE に設定してください。
  • トークンベースのマッチングをサポートするために、アプリケーションがOpenAI互換のCompletionsまたはChat Completions形式でリクエストを送信するようにしてください。
  • フォールバックイベントはまだコンソールに表示されないため、キャッシュヒットの改善を確認するために最初のトークン生成までの時間(TTFT)とスループット指標を監視してください。
  • ルーティング戦略を有効にするために、少なくとも2つのインスタンスでテストしてください。単一インスタンスのデプロイメントでは効果がありません。
  • #aws
  • #sagemaker
  • #llm ops
  • #inference
  • #machine learning

Bytechapストアのツール

続きを読む

すべての記事