Airbnb、Amazon Bedrock上のコーディングエージェント管理に「タスクあたりコスト」指標を活用
Airbnbは、コーディングエージェントモデルの評価において「タスクあたりコスト」指標とCloudWatchシグナルを使用し、Amazon Bedrock上でのデフォルト設定の決定や本番環境のパフォーマンス監視を行っています。
英語の原文から自動翻訳されました。
Airbnbは、大規模な内部コーディングエージェントを運用するための戦略について詳細を明らかにしました。その中心にあるのは、「タスクあたりコスト」という指標であり、これを用いてモデル選択をガイドしています。エンジニアリングチームは、これらのエージェントを「AirChat」と呼ばれる内部ツール経由で実行しており、AirChatは大規模言語モデル(LLM)推論のためにAmazon Bedrockに接続します。導入前の評価とリアルタイムの本番監視を組み合わせることで、新しいモデルがリリースされるたびに、レイテンシー、キャパシティ、そして支出を効果的に管理しています。
何が起きたか
Airbnbでは、数千名のエンジニアおよびエンジニア関連スタッフが毎週AirChatを使用し、ソフトウェア開発タスクを支援しています。この内部プラットフォームにより、ユーザーは個人用のクラウド開発マシンである「AirDevワークスペース」上でコーディングエージェントを実行するか、あるいは別のクラウド環境でタスクを実行する「AirChat Remote」を利用できます。これらのエージェントからのすべてのモデルリクエストは、トラフィックをAmazon Bedrockへルーティングする中央LLMゲートウェイを経由します。この構成により、プロンプト、コード、モデル応答がすべてAWSインフラストラクチャ内に留まり、アクセス制御と監視機能を活用できるようになります。
利用可能な基盤モデル(ファウンデーションモデル)の状況は急速に変化しています。直近5週間の期間中に、Amazon Bedrockでは8つの新モデルがリリースされました。10月中旬時点では、エンジニアがコーディングエージェントを通じて送信したリクエストの約3分の2が、これらの新規リリースされたモデルに向けられていました。各新モデルのリリースは、出力トークン数、コスト、レイテンシー、キャパシティ制限における変動をもたらします。モデル公開元が提供するベンチマークチャートは、特定の社内エンジニアリングワークフローに対するモデルのパフォーマンスを反映していないことがよくあります。このギャップに対応するため、Airbnbは並列システムを導入しています。一つはロールアウト前のモデル評価用、もう一つは本番環境での挙動観察用です。
新しいモデルをデフォルトとしてデプロイする前に、チームは代表的なタスクの固定セットに対して評価を実施します。これらの評価では、各モデルおよび推論努力レベル(reasoning effort level)について、品質スコアとタスクあたりコストの両方を測定します。ロールアウト後には、可観測性ツールが実際の使用パターンを追跡します。もし本番データが評価結果から乖離した場合、エンジニアはその差異の原因を理解するために調査を行います。この継続的なフィードバックループにより、チームは静的なベンチマークではなく、実世界のパフォーマンスに基づいてモデルのデフォルト設定や努力上限(effort ceilings)を調整することが可能になります。
仕組み
Airbnbの戦略の中核にあるのは「タスクあたりコスト」指標です。コーディングエージェントは通常、単一のタスクを完了するために複数のリクエストを必要とし、各リクエストごとに蓄積されたコンテキストを再読み込みします。そのため、個々のリクエストの価格付けだけでは不十分です。代わりに、チームは一つのタスクを完了するために使用されたすべてのトークンの定価総額を計算します。Amazon Bedrockは各リクエストについて4種類のトークンを報告します:キャッシュされていない入力、キャッシュ読み取り、キャッシュ書き込み、そして出力です。各タイプには異なる価格帯があります。キャッシュ読み取りはキャッシュされていない入力よりも安価ですが、キャッシュ書き込みはモデルによってはより高価になる場合があります。キャッシュヒット率が低いとリクエストあたりのコストが大幅に増加するため、これらの要素を追跡することが不可欠です。
モデルの評価にあたり、Airbnbは「Harbor」というフレームワークを使用しています。これはサンドボックス内でエージェント評価を実行するためのオープンソースツールです。各評価タスクは、指示、環境設定、テスト、および採点器(grader)を含むフォルダとして定義されます。採点器とは、エージェントの作業を参照ソリューションと比較してスコアリングするプログラムまたはモデルです。例えば、機械学習タスクでは、エージェントに2つの候補モデルを比較させ、新しいモデルをロールアウトすべきかどうかを判断させることがあります。採点器は凍結されたデータから正解を再計算し、すべてのチェックがパスした場合のみ報酬を付与します。このアプローチにより、評価の一貫性と再現性が確保されます。
本番環境での可観測性は、AWS/Bedrock名前空間内のAmazon CloudWatchメトリクスに依存しています。エンジニアはInvocationLatencyとTimeToFirstToken(生成開始までの待機時間を測定)を使用してレイテンシーを監視します。また、InvocationThrottlesによるスロットリングの追跡や、EstimatedTPMQuotaUsageによるクォータ消費量の監視も行います。後者のメトリクスにはキャッシュ書き込みトークンと出力バーンダウンマルチプライヤーが含まれており、レート制限に達する前に積極的なアラートを設定することができます。コスト監視には、InputTokenCount、CacheReadInputTokenCount、CacheWriteInputTokenCount、OutputTokenCountの追跡が含まれます。これらの本番シグナルと評価スコアを比較することで、チームはモデルのデフォルト設定を変更したり、努力上限を調整したりするタイミングを判断できます。
主要な詳細
- タスクあたりコストの定義: エージェントが一つのタスクを完了するために使用するすべてのトークン(キャッシュされていない入力、キャッシュ読み取り、キャッシュ書き込み、出力)の定価総コスト。
- 評価速度: 新しいモデルはすべてのタスクスイートに対して数時間以内に評価でき、翌朝までに完全な結果が得られるため、迅速なデプロイ判断が可能になります。
- 推論努力の影響: 推論努力を増やすとスコアは向上しますが、コストも大幅に上昇します。あるモデルでは、低努力から高努力への変更により、タスクあたりコストが2.5倍に増加しました。
- 本番メトリクス: 主要なCloudWatchメトリクスには
TimeToFirstToken、OutputTokenCount、および派生指標である出力トークン毎秒(OTPS)が含まれます。OTPSはOutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000として計算されます。 - タスク構造: 評価タスクには、指示、環境定義、採点器、参照ソリューションが含まれ、異なるモデルや努力レベル間での一貫したスコアリングを保証します。
- クォータ管理:
EstimatedTPMQuotaUsageはすべての推論APIにわたるトークン消費量を追跡するのに役立ち、レート制限が発生する前にクォータ増加を申請できるようにします。
なぜ重要なのか
AIを用いてソフトウェアを構築するチームにとって、公開ベンチマークのみに頼ると、予期せぬコストやパフォーマンス問題につながる可能性があります。公開チャートは、コンテキスト長、キャッシュ挙動、内部コードベースの複雑さなど、特定のワークフロー特性を考慮に入れていません。「タスクあたりコスト」指標を採用することで、組織は特定のタイプの作業にどのモデルを使用すべきかについて、より情報に基づいた意思決定を行うことができます。このアプローチは、生のトークン価格から、エンジニアリングタスクを完了する際の実際の経済的効率へと焦点を移します。また、キャッシュミス率が全体的な支出に劇的な影響を与える可能性があるため、キャッシュ戦略の重要性も浮き彫りになります。
さらに、評価と可観測性の統合により、堅牢な運用フレームワークが構築されます。新モデルが頻繁にリリースされる中、テストと監視のための標準化されたプロセスを持つことは、リスクを軽減しつつ改善点を迅速に採用することを可能にします。評価データに基づく努力上限の設定は、過度に冗長または非効率な推論プロセスによるコスト暴走を防ぎます。この規律は、AIツールがエンジニアリングチームにとって持続可能で価値のある資産であり続けることを保証し、管理不能な経費となることを防ぎます。基本的なCloudWatchデータからOTPSのようなメトリクスを導出できる能力は、ベンダーサポートを待たずにレイテンシー問題を診断することも可能にします。
実施できること
- モデル評価のベースラインを確立するために、明確な指示、環境設定、自動採点器を含む代表的なエンジニアリングタスクのセットを定義してください。
- LLMプロバイダーの前にゲートウェイまたはプロキシを実装し、各リクエストについてモデル、クライアント、チーム、ユーザーデータを記録することで、集計コストとキャパシティ計画を可能にしてください。
- すべての関連するAWSリージョンでモデル呼び出しログを有効にし、機密性の高いプロンプトおよび応答データを保護するためにログへのアクセスを制限してください。
- CloudWatchメトリクスを使用して
TimeToFirstTokenとOutputTokenCountを監視し、出力トークン毎秒を導出して本番環境のレイテンシー問題を診断してください。 - 各完了したエージェントタスクについて、すべてのトークンタイプ(キャッシュされていない入力、キャッシュ読み取り、キャッシュ書き込み、出力)のコストを合計して、タスクあたりコストを計算してください。
EstimatedTPMQuotaUsageを使用して積極的なアラートを設定し、トークン消費量を追跡するとともに、レート制限に達する前にクォータ増加を申請してください。



