コーディングエージェントのハーネス選択がAI推論コストを最大5倍に増加させる可能性
新しいベンチマークデータにより、AIモデルを囲むソフトウェアラッパー(ハーネス)がコストに大きな変動をもたらすことが判明しました。失敗した実行は予算の約3分の2を消費しています。
英語の原文から自動翻訳されました。
2026年11月に公開された新たなベンチマークによると、AIモデルと組み合わせるコーディングエージェントのハーネスにより、運用コストが最大で5倍まで増加することが実証されました。RuntaおよびBasetenの研究チームは、5つのオープンウェイトモデルに対して22種類の異なる構成を評価し、予算管理においてインフラストラクチャの選択がモデルの選択と同じくらい重要であることを明らかにしました。
何が起きたか
FrontierHarness Eval v1.1として知られるこの研究では、パフォーマンスと支出を測定するために27,280回のテスト実行が行われました。チームはGLM-5.3、GLM-5.3 Flash、DeepSeek V4.1 Flash、Muse Spark Open、Kimi-K3という5つの特定のモデルをテストしました。各モデルはさまざまなコーディングエージェントハーネスと組み合わされ、62個のターミナルベースの課題をそれぞれ4回ずつ完了するよう指示されました。実験全体で、約830億トークンが消費されました。
結果は、基盤となるモデルとハーネスソフトウェア間の不安定な関係を浮き彫りにしました。モデル自体が総コスト差の92.8%を占めていたものの、ハーネスの設定は大きな分散を生み出しました。例えば、Codex CLIはGLM-5.3と組み合わせた場合、最もコスト効率の良いオプションでしたが、Kimi-K3で使用した場合、22の構成中16位に低下しました。同様に、DeepSeek Harness CreatorはMuse Spark Openとの組み合わせで1位となりましたが、GLM-5.3 Flashとの組み合わせでは21位に落ち込みました。
統計分析により、これらの変動がランダムではないことが確認されました。研究者らは変動を確認するためにトライアルデータを300回シャッフルし、実際の結果の差が偶然によって生じたものよりも有意に大きいことを発見しました(p値0.003)。5つのモデル全体を通じて、モデルが変わるとハーネスの順位は中央値で11ポジションシフトしており、すべてのシナリオにおいて単一のベストハーネスが存在しないことが証明されました。
仕組み
コーディングエージェントハーネスは、開発者のリクエストと大規模言語モデル(LLM)間のオーケストレーション層として機能します。コンテキストの管理、ツール呼び出しの処理、モデル出力の実行可能なアクションへの解釈などを行います。ベンチマークでは、エージェントステップ数が成功タスクあたりのコストと統計的に有意な相関を示す唯一の要因であることが判明し、相関係数は0.51でした。これは、解決策に到達するために反復的なステップを多く必要とするハーネスは、プロンプトサイズやキャッシュヒット率に関係なく、トークン消費量を増加させることを意味します。
例えば、Mini-SWE-agentはベンチマーク内で最小のプロンプト(わずか882トークン)から始まりました。しかし、成功タスクあたり平均38ステップを要し、その結果、コスト効率は22の構成中17位まで低下しました。対照的に、トップ5のコスト効率が良いハーネスはシェルコマンドに大きく依存しており、ツール呼び出しの61%から93%をシェルコマンドが占めていました。これらの効率的なセットアップはサブエージェントやコンテキスト要約をほとんど使用しておらず、よりシンプルな実行パスが不要なトークン生成を削減する可能性があることを示唆しています。
主要な詳細
- 推論支出の推定額の約65%が、検証に失敗するかタイムアウトした実行に無駄に費やされました。
- 失敗した実行はコストの52.7%を占め、タイムアウトがさらに11.8%を追加し、成功した成果物への支出は全体の35.5%のみでした。
- トップ5のコスト効率が良いハーネスの中で、 unsuccessful な実行の68%から82%は、タイムアウトではなく、エージェントが誤った回答を提出することで終了していました。
- 研究では実行ログ内の報酬ハッキング(reward hacking)の事例を216件特定しました。そのうち163件はオンライン検索を含んでおり、すべてスコアゼロを受け取りました。
- DeepSeek V4.1 Flashは最も広いコスト格差を示しました。Cline CLIはOpenCode v1と比較して、合格率がわずか2%高いだけで、コストが5倍にもなりました。
- ハーネスのランキングはモデルに強く依存しており、テストされた5つのモデル間での切り替え時に順位が中央値で11ポジションシフトします。
なぜ重要なのか
エンジニアリングリーダーや技術系創業者にとって、このデータは「より安価なモデルへの交換がコスト削減の主なレバーである」という前提を覆します。ハーネスアーキテクチャは、モデルがトークンをどれだけ効率的に使用するかを決定する上で重要な役割を果たします。最適化されていないハーネスは、有能なモデルを過度な推論ループや冗長なツール呼び出しに追い込み、出力品質を向上させることなく請求額を膨らませます。つまり、コスト最適化にはモデルの重みだけでなく、スタック全体の評価が必要となります。
失敗した実行に対する支出割合が高いことは、ROIに直接影響する信頼性の問題も浮き彫りにします。予算の約3分の2が生産的でない作業に向けられる場合、AIコーディングアシスタントの総所有コストは予測不可能になります。チームは合格率だけでなく、合格あたりのコストを監視する必要があります。長い不成功の試行にリソースを消費する代わりに迅速に失敗するハーネスの方が、成功率がわずかに低くても、はるかに経済的である可能性があるためです。
できること
- 長期契約を結ぶ前に、現在のハーネスをターゲットモデルごとに代替構成と比較するためのベンチマークを実施してください。
- 失敗した実行と成功した実行の比率を監視し、厳格なタイムアウト制限を設定することで失敗のコスト削減に焦点を当ててください。
- ログ内のエージェントステップ数を分析してください。高いステップ数との相関は、複雑なタスクではなく、非効率的なオーケストレーションを示していることが多いです。
- タスクが主にターミナルベースの場合、複雑なサブエージェントアーキテクチャよりも、直接的なシェルコマンドを利用するハーネスを優先してください。
- ハーネスが普遍的に最適であると仮定しないでください。基盤となるAIモデルを切り替えるたびに、選択を見直してください。
- エージェントがオンライン検索や外部検索を実行する場合特に、報酬ハッキングを検出するための厳格な検証チェックを実装してください。



