AIで開発する

S3へのオフロードとページングにより、LLMエージェントのトークンコストを71%削減

AWSエンジニアは、Amazon Bedrockエージェントにおいて、大きなJSONペイロードをS3にオフロードし、オンデマンドの結果ページングを実装することで、レイテンシを80%、トークン使用量を71%削減しました。

重いJSONデータをクラウドストレージへオフロードする様子を示したイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Amazon Web Servicesのエンジニアは、航空会社向け運航プラットフォームであるFlightscapeの本番用AIエージェントを最適化する方法について、技術的な詳細解説を公開しました。大きなJSON入力に対応するための3つの具体的な戦略を実装することで、チームはトークン消費量を最大71%削減し、平均レイテンシを最大80%短縮しました。2026年11月17日に公開されたこの取り組みは、コンテキストウィンドウの制限や高い推論コストに苦しむエージェント型システムを開発するエンジニアにとっての青写真となります。

何が起きたのか

Flightscapeチームは、LangGraphとAmazon Bedrock AgentCoreを使用して「トレーニングスケジュール最適化エージェント」を構築しました。このエージェントは、複雑なビジネスルールに対して乗務員のトレーニング割り当てを検証するために航空会社を支援し、20メガバイトを超える可能性のある入力を処理します。本システムは40以上のツールを統合しており、最適化リクエスト、レスポンス、検証レポートなど、大規模な構造化データセットを扱います。機能面では堅牢でしたが、初期実装では深刻なパフォーマンスボトルネックが発生していました。平均リクエストレイテンシは15秒を超え、過剰なトークン使用によりエージェントの実行コストが prohibitively(許容不可能なほど)高くなっていました。

根本的な問題はアーキテクチャにありました。すべてのツール呼び出しが、その完全なペイロードを大規模言語モデル(LLM)のコンテキストウィンドウに注入していたのです。会話ターンが増えるにつれて、これらの大きなJSONオブジェクトが累積し、エージェントが推論を完了する前にコンテキストウィンドウが埋まってしまいました。これを解決するため、チームはエージェントの状態管理とデータ取得の方法を再設計しました。会話状態内に重いアーティファクトをインラインで保持する方式から脱却し、ストレージにはAmazon Simple Storage Service (S3) を、セッション管理には軽量な参照を使用するハイブリッドアプローチを採用しました。

仕組み

この最適化は、重いデータをアクティブな推論コンテキストから分離する3つの組み合わせ可能な戦略に基づいています。まず、チームはセッション状態に対する脱水(dehydration)および水和(hydration)パターンを実装しました。Amazon Bedrock AgentCoreメモリに生のJSONペイロードを保存する代わりに、エージェントはコンテンツアドレス付きの参照のみを保存します。ターンが始まると、hydrate_state()関数が軽量なセッションデータを復元します。ターンの終了時には、dehydrate_state()が重いペイロードを取り除き、それらをS3にアップロードして、SHA-256ベースの参照キーのみを保存します。これにより、同一のペイロードが二重にアップロードされることを防ぎ、コンテンツアドレッシングを活用して冪等性を確保します。

次に、チームは大きなリスト結果に対するオンデマンドページングを導入しました。ツールが特定のサンプルサイズを超えるリストを返す場合、完全な結果はS3に保存されます。モデルには、総数、小さなサンプル、および結果ハンドルを含むコンパクトなサマリーのみが渡されます。エージェントがさらにデータを必要とする場合、ハンドル、オフセット、およびリミットを使ってget_result_page_toolを呼び出し、特定のデータスライスを取得します。これにより、未使用のデータでコンテキストウィンドウが溢れるのを防ぎます。

第三に、巨大な辞書出力に対して、記述子ベースの圧縮(descriptor-based compaction)を使用しました。ネストされた辞書をそのまま送信する代わりに、エージェントは構造サマリーを生成します。リストはそのカウントとサンプルで表現され、ネストされた辞書はキーのカウントで要約されます。スカラー値はインラインのまま残ります。これにより、モデルは完全なコンテンツにトークンを消費することなくデータの構造を理解でき、結果ハンドルを通じて必要な場合にのみ詳細を取得できます。

主要な詳細

  • この最適化により、代表的な23 MBペイロードにおいて、トークン消費量が最大71%削減され、平均レイテンシが最大80%短縮されました。
  • このソリューションでは、軽量な状態永続化のためにAmazon Bedrock AgentCoreメモリを、重いアーティファクトのストレージのためにAmazon S3を使用しています。
  • SHA-256ハッシュによるコンテンツアドレシングにより、同一のペイロードが既存のS3オブジェクトを再利用することが保証され、冗長なアップロードを回避します。
  • サンプル閾値より大きいツール結果は、ハンドルとサマリーを返し、完全なデータを取得するには明示的なページング呼び出しが必要です。
  • 辞書の圧縮は、フィールドタイプやカウントなどの構造的な手がかりを保持しつつ、冗長なネストされたコンテンツを省略します。
  • アーキテクチャはLangGraph、Python 3.12+、boto3で構築されており、レスポンス検証のためのGuardrailsとともにAmazon Bedrock上で実行されています。

なぜ重要なのか

本番環境のエージェントを構築するエンジニアにとって、コンテキストウィンドウの管理は、実現可能な製品とコストのかかる失敗との分かれ目となることがよくあります。エージェントがより多くのツールやより大きなデータセットにアクセスできるようになるにつれ、完全なペイロードを渡すという素朴なアプローチは、コストの指数関数的な増加とレイテンシの急激な上昇を招きます。今回のケーススタディは、LLMコンテキストを無限のバッファではなく希少な資源として扱うことが、スケーラビリティにとって不可欠であることを示しています。データストレージと推論コンテキストを分離することで、開発者は各ターンで全バイト分のコストを支払うことなく、大規模データセットへの高忠実度アクセスを維持できます。

ここで説明されているテクニックは、原則としてフレームワークに依存しませんが、LangGraphとBedrockで実装されています。状態の水和および脱水という概念は、外部状態ストアをサポートする任意のオーケストレーションフレームワークに応用できます。同様に、結果ページングと記述子圧縮は、構造化データ処理における普遍的な課題に対処します。これらのパターンにより、チームは推論コストを予測可能に保ちつつ、応答時間を低く抑えながら、エンタープライズスケールの入力を処理できるエージェントを構築できます。

実施できること

  • エージェントの状態構造を監査し、会話メモリ内に現在インラインで保存されている重いペイロードを特定してください。
  • S3または同様のオブジェクトストレージを使用してコンテンツアドレッシング対応のストレージ層を実装し、大きなJSONアーティファクトをオフロードしてください。
  • ツールの直接リターンを、大きなリストや辞書用の結果ハンドルを含むサマリーオブジェクトに置き換えてください。
  • モデルが必要に応じてオフセットとリミットを使用して特定のデータスライスを要求できるように、ページングツールを構築してください。
  • ネストされた辞書に対して記述子ベースの圧縮を使用し、完全なコンテンツ注入なしに構造的理解を保持してください。
  • リファクタリング後のレイテンシ改善とトークン節約を測定するために、現実的な大容量ペイロードでエージェントをテストしてください。
  • #amazon bedrock
  • #llm optimization
  • #agent architecture
  • #token costs
  • #aws

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

AIで開発する

LLMファインチューニングジョブにおいてFLOPベースの時間見積もりが失敗する理由

Hugging Faceの研究チームは、標準的なFLOP計算がファインチューニングの所要時間を正確に予測できないことを示しました。設定データを用いたCatBoostモデルにより、誤差を12時間から2時間未満に削減することに成功しています。

すべての記事