CWE-bench v2、AIセキュリティ評価の基準を引き上げる

Collinear AIは、最先端AIモデルのサイバーセキュリティ能力を厳密にテストするために設計された公開ベンチマーク「CWE-bench v2」を発表しました。2026年11月にリリースされたこのアップデートにより、開発者はエージェントが実際のオープンソースリポジトリ内のセキュリティ弱点をいかに効果的に特定しパッチ適用できるかを測定するための標準化された手段を得ることになります。

何が起きたか

新バージョンでは、誰でも自分のモデルを評価するために使用できる厳選された100件のタスクセットが公開されました。以前のイテレーションやプライベートなベンチマークとは異なり、今回のリリースは透明性と再現性を重視しています。設定は以前のバージョンと一貫しており、AIエージェントには実際のオープンソースリポジトリのチェックアウトと簡潔な指示が提供されます。その目的は、既存の機能を損なうことなく、特定のセキュリティ弱点を特定し修正することです。

スコアリングは完全にプログラム的であり、結果が決定論的であることを保証し、追加コストなしにどの開発者によっても再現可能となっています。高い基準を維持するため、Collinear AIは大規模言語モデルによるジャッジパネルを用いてプログラム的なチェックを精査し、難易度と公平性に焦点を当てました。また、同組織はモデルがまだ遭遇していない課題に対する進歩を追跡するために、保持セット（held-out set）のタスクを維持しています。このプライベートセットへのアクセスにはチームへの直接連絡が必要であり、モデルが解決策を暗記することを防いでいます。

今回のリリースは91種類の共通弱点列挙（CWEs）を対象としており、幅広い脆弱性クラスを表しています。目標は網羅性であり、防御側があらゆる可能な攻撃ベクトルを予測しなければならないという現実を反映しています。各タスクは、現実的な指示、検証可能な動作、および特定のコード構造に依存しない堅牢な検証ロジックを保証するために手動レビューを受けました。チームは、スターターコードが失敗し、参照用修正がパスし、元の機能が無傷のまま保たれていることを明示的に確認しています。

仕組み

CWE-bench v2の各タスクは、Docker化された環境、自然言語による指示、そして決定論的な検証器で構成される自己完結型のHarborタスクです。この構造により、ユーザーがファイルをクローンする必要なく、Hugging Faceリポジトリから完全にベンチマークを実行できます。データセットには、Harborがタスクを効率的に取得・実行するために使用するregistry.jsonファイルが含まれています。

検証プロセスは厳格です。AIエージェントのソリューションが実際にセキュリティ問題を解決しつつ、ソフトウェアの意図された動作を維持していることを保証します。重要なのは、検証器がエージェントが既知の上流パッチや暗記した解決策を単に再現した場合に失敗するように設計されている点であり、これによりモデルは記憶ではなく真の理解を示すことが求められます。このアプローチは、モデルが未知のパターンを認識し、新しいセキュリティ表面に対して論理的推論を適用できるかどうかをテストします。

開発者はシンプルなコマンドラインツールを使用してベンチマークを実行できます。データセットページでアクセス条件に同意し、Hugging Faceトークンを設定することで、ユーザーは単一のコマンドで評価を実行できます。システムはタスクごとに複数回の試行をサポートしており、一回限りの結果よりもパフォーマンスのより安定した指標となる平均報酬スコアを提供します。

主要な詳細

• 公開セットには91の異なるCWEをカバーする100件のタスクが含まれており、脆弱性の種類に対する広範なカバレッジを保証します。
• スコアリングは決定論的でプログラム的であり、任意のユーザーによるゼロコストでの結果再現を可能にします。
• リーダーボードではGemini 4 Argonがpass@1スコア67.8%で首位を走っており、Claude Opus 5.5が67.3%で僅差で続いています。
• DeepSeek V4.1 Flashはロールアウトあたり$0.04という低コストオプションを提供し、pass@1スコア57.0%を達成しています。
• ベンチマークは実行を分離し一貫性を保証するために、Docker化された環境を持つHarborタスクを使用しています。
• 過学習を防ぐために保持セットは非公開のままですが、Collinear AIへの直接連絡を通じてアクセス可能です。

なぜ重要なのか

ソフトウェアエンジニアやセキュリティチームにとって、このベンチマークは本番環境にデプロイする前にAIアシスタントを評価するための具体的な指標を提供します。セキュリティは部分的な正しさでは不十分な領域であり、防御側は常に正解でなければなりません。CWE-bench v2は、最高性能のモデルであっても全試行において約5分の1のタスクで失敗することを示しており、「長い尾」のセキュリティ脆弱性が依然として重大な課題であることを浮き彫りにしています。

ベンチマークの透明性により、組織はコストとパフォーマンスのトレードオフを評価できます。DeepSeek、Claude、Geminiなどのモデル間には明確なパレートフロンティアがあることを示すデータにより、チームは予算とセキュリティ要件に合ったツールについて情報に基づいた判断を下せます。このレベルの詳細は、マーケティング上の主張への過度な依存を防ぎ、期待値を経験的証拠に基づかせます。

さらに、グラダーとハーネスのオープンソース性質は、コミュニティによる貢献と継続的な改善を奨励します。タスクを強化学習環境としてタグ付けすることで、ベンチマークは防御型エージェントの評価だけでなく訓練もサポートします。この二重の有用性は、より良い評価がより良い訓練データにつながり、最終的にAI支援セキュリティ実践のベースラインを引き上げるエコシステムを育みます。

あなたができること

• Hugging Faceデータセットページでアクセス条件に同意し、ベンチマークの使用許可を取得してください。
• Harborをインストールし、Hugging Faceトークンを設定して、リポジトリをクローンせずにローカルで評価を実行してください。
• お好みのAIモデルを公開セットに対してテストし、そのセキュリティ推論能力のベースラインを確立してください。
• DeepSeek V4.1 Flashなどのモデルとプレミアムオプションとの間で小規模テストを実行し、コスト効率を比較してください。
• 評価における失敗事例を確認し、モデルが苦戦する特定のCWEカテゴリを特定してください。
• フィードバックや新しいタスクを公開セットに貢献し、将来のバージョンの品質とカバレッジ向上に協力してください。