公開AIベンチマークが開発者を失望させる理由と、代わりに測定すべき指標
公開AI評価は採点エラーや誤解を招く指標に苦しんでいます。開発者は平均パス率よりも、信頼性と人間によるレビューコストを優先すべきです。
英語の原文から自動翻訳されました。
人工知能モデルのリリースペースが加速する中、評価スコアは新しい能力を判断するための主要なシグナルとなっています。しかし、12件の公開ベンチマークに関する最近の分析により、これらのスコアは欠陥のある採点メカニズムや狭いタスク設計のために、実際の性能を歪めて表現していることが明らかになりました。
何が起きたか
コーディング、科学、知識ワーク、コンピュータ操作を対象とした12件の公開評価スイートの包括的なレビューでは、モデル性能の測定方法に重大な欠陥があることが判明しました。調査対象の12件のうち8件において、自動採点システムが合格すべき作業を不合格として処理した証拠が見つかりました。さらに、採点システムが正しく機能する場合でも、多くのベンチマークは信頼性、作業速度、マルチターンでの協力など、実世界の価値を反映するタスクよりも、検証が容易なタスクを優先しています。
本研究では、4件のコーディングおよび科学ベンチマーク、6件の知識ワーク評価、そして2件のブラウザおよびコンピュータ操作に焦点を当てた評価を検証しました。ベンチマークの維持管理がソフトウェア開発と同様になりつつあり、バージョン付きリリースや破壊的変更が発生している点が強調されました。例えば、Agents’ Last Exam v1.1では30件のタスクが廃止され、57件が改訂されました。また、Harvey LABの公開セットは2026年5月以降、約1,250件のタスクから2,010件に増加しました。Terminal Benchが各リリースで飽和したタスクを削除していることからもわかるように、こうした変更により異なるバージョン間のスコア比較が困難になっています。
仕組み
ほとんどの評価タスクは、指示プロンプト、コンテナや仮想マシンなどの環境、採点システム、そして必要に応じて参照ソリューションという4つの要素で構成されています。採点システムは、決定論的なコードテスト、バイナリルーブリックを用いたLLMジャッジ、またはその組み合わせを使用して、作業が合格するか否かを判断します。再現性を確保するため、LLMジャッジよりも決定論的なチェックを重視する設計原則が増加しており、中間ステップを無視した結果ベースの採点が行われています。多くのベンチマークでは「全項目合格(all-pass)」方式が採用されており、すべての基準を満たした場合のみタスクが合格となります。これは、部分的な成果物が本番環境ではしばしば使用不能であるという現実を反映しています。
しかし、この構造には特有の失敗モードが存在します。モデルは検証ステップをスキップしたり、途中で停止したりすることが多く、不注意によるエラーを引き起こします。より深刻なのは、採点システムが明示されていない要件を強制したり、曖昧な解答キーを使用したりすることで、偽陰性(False Negatives)を生み出すケースです。逆に、正しさではなくキーワードの有無を確認するアサーションの場合、幻覚や誤った出力が合格してしまう偽陽性(False Positives)が発生します。例えば、あるチェックではメールに特定の数字が含まれているかのみを確認し、それらが正しいカテゴリに割り当てられているかどうかは問わない場合があります。
主要な詳細
- 12件の公開評価のうち8件で、監査人が有効な作業を採点システムが拒否した証拠を発見しました。
- 部分的な結果はほぼ有用ではないため「全項目合格」方式が一般的ですが、これにより単一の欠陥あるアサーションに対してベンチマークが脆くなります。
- 偽陽性が蔓延しており、ある監査ではすべての基準を満たした結果の60%以上で重大な幻覚が見られました。
- 平均パス率は信頼性の問題を隠蔽します。タスクの70%を一貫して解決できるモデルの方が、すべてのタスクを70%の確率で解決できるモデルよりも価値があります。
- タスクあたりのコストは誤解を招く指標です。なぜなら、失敗または不完全な出力をレビュー・修正するために必要な人間の注意を考慮していないからです。
- ベンチマークスコアはモデルだけでなく、モデルとハーネス(実行環境)のペアを反映します。つまり、周囲のツールやプロンプトによって性能が大きく変動します。
なぜ重要なのか
ソフトウェアエンジニアや技術リードにとって、公開リーダーボードのスコアに依存することは、不適切なアーキテクチャ決定につながる可能性があります。評価が判断力や問題のスコープ設定ではなく、指示遵守や実装詳細を測定しがちなため、ベンチマーク性能と本番環境での有用性のギャップが拡大しています。実世界の業務には、マルチターンでの対話、曖昧な要件の明確化、変化する制約への適応が含まれますが、ほとんどのベンチマークは依然としてシングルショットです。このミスマッチにより、評価で優れた成績を収めるモデルでも、実際のエンジニアリングタスクにおける協力的かつ反復的な性質に対応できない場合があります。
さらに、トークンコストではなく人間の注意コストに焦点を当てることで、経済計算が歪みます。頻繁に失敗したり、広範な人間によるレビューを必要とする安価なモデルは、最終的には、信頼性が高く完全な仕事を提供する高価なモデルよりもコストがかかります。モデルが改善されるにつれ、残存する失敗のうち採点エラーの割合が大きくなるため、より難しいタスクを作るだけでなく、より良い採点インフラへの投資が不可欠になります。開発者は、ベンチマークスコアが絶対的真実ではなく、使用された具体的なハーネスと採点ロジックの影響を受ける文脈依存型の指標であることを認識する必要があります。
実施できること
- プロバイダー報告のスコアだけに頼るのではなく、自社プロダクションのハーネス内でモデルを評価してください。
- pass@kメトリクスを使用して信頼性を測定し、エージェントが一貫して複数のトライアルで合格した場合のみタスクを解決済みとしてカウントしてください。
- 人間のレビュー時間をコスト計算に組み込み、安価なトークンはしばしば高額なエンジニアリングオーバーヘッドにつながることを認識してください。
- 複数のモデルが同じアサーションで失敗するタスクを確認することで、自社の評価パイプラインにおける偽陰性を監査してください。
- マルチターンでの対話や判断力をテストするベンチマークを優先するか、シングルショットの評価をシミュレーションされたユーザー会話で補完してください。
- 既知の不良出力が評価者によって正しく拒否されることを保証するため、採点ロジックにネガティブテストを実装してください。



