CWE-bench v2 hebt die Messlatte für KI-Sicherheitsevaluationen

Collinear AI hat CWE-bench v2 gestartet, einen öffentlichen Benchmark, der entwickelt wurde, um die Cybersicherheitsfähigkeiten von Spitzen-KI-Modellen rigoros zu testen. Diese im November 2026 veröffentlichte Aktualisierung bietet Entwicklern eine standardisierte Methode, um zu messen, wie effektiv Agenten Sicherheitslücken in realen Open-Source-Repositories identifizieren und patchen können.

Was passiert ist

Die neue Version stellt eine kuratierte Auswahl von 100 Aufgaben zur Verfügung, die jeder zur Bewertung seiner Modelle nutzen kann. Im Gegensatz zu früheren Iterationen oder privaten Benchmarks legt diese Veröffentlichung Wert auf Transparenz und Reproduzierbarkeit. Das Setup bleibt konsistent mit früheren Versionen: Ein KI-Agent erhält Zugriff auf eine Kopie eines echten Open-Source-Repositories sowie eine präzise Anweisung. Sein Ziel ist es, eine spezifische Schwachstelle zu lokalisieren und einen Fix anzuwenden, ohne die bestehende Funktionalität zu stören.

Die Bewertung erfolgt vollständig programmatisch, was sicherstellt, dass die Ergebnisse deterministisch sind und von jedem Entwickler ohne zusätzliche Kosten reproduziert werden können. Um hohe Standards zu wahren, setzte Collinear AI Panels aus Large Language Models als Richter ein, um die programmatischen Prüfungen zu verfeinern, wobei der Fokus auf Schwierigkeitsgrad und Fairness lag. Die Organisation pflegt zudem einen zurückgehaltenen Satz von Aufgaben, um den Fortschritt bei Herausforderungen zu verfolgen, denen die Modelle noch nicht begegnet sind. Der Zugang zu diesem privaten Set erfordert eine direkte Kontaktaufnahme mit dem Team, damit Modelle keine Lösungen auswendig lernen können.

Diese Veröffentlichung deckt 91 verschiedene Common Weakness Enumerations (CWEs) ab und repräsentiert damit ein breites Spektrum an Schwachstellenklassen. Das Ziel ist Vollständigkeit, da Verteidiger jede mögliche Angriffsvektor antizipieren müssen. Jede Aufgabe wurde manuell überprüft, um realistische Anweisungen, überprüfbares Verhalten und robuste Verifikationslogik zu gewährleisten, die nicht von spezifischen Code-Strukturen abhängt. Das Team prüft explizit, ob der Startcode fehlschlägt, Referenz-Fixes bestehen und die ursprüngliche Funktionalität intakt bleibt.

Wie es funktioniert

Jede Aufgabe in CWE-bench v2 ist eine eigenständige Harbor-Aufgabe, die aus einer Dockerisierten Umgebung, einer natürlichsprachlichen Anweisung und einem deterministischen Verifizierer besteht. Diese Struktur ermöglicht es dem Benchmark, vollständig aus dem Hugging Face Repository ausgeführt zu werden, ohne dass Benutzer Dateien manuell klonen müssen. Der Datensatz enthält eine registry.json Datei, die Harbor nutzt, um Aufgaben effizient abzurufen und auszuführen.

Der Verifizierungsprozess ist streng. Er stellt sicher, dass die Lösung des KI-Agenten das Sicherheitsproblem tatsächlich löst und dabei das beabsichtigte Verhalten der Software beibehält. Entscheidend ist, dass die Verifizierer so konzipiert sind, dass sie fehlschlagen, wenn ein Agent einfach einen bekannten Upstream-Patch oder eine auswendig gelernte Lösung reproduziert. Dies zwingt das Modell, echtes Verständnis statt bloßem Abruf unter Beweis zu stellen. Dieser Ansatz testet, ob das Modell unvertraute Muster erkennen und logisches Schlussfolgern auf neuartige Sicherheitsoberflächen anwenden kann.

Entwickler können den Benchmark mit einfachen Kommandozeilen-Tools ausführen. Indem sie die Zugangsbedingungen auf der Dataset-Seite akzeptieren und ihren Hugging Face Token konfigurieren, können Benutzer Evaluationen mit einem einzigen Befehl durchführen. Das System unterstützt mehrere Versuche pro Aufgabe und liefert einen mittleren Belohnungsscore, der ein stabileres Maß für die Leistung darstellt als Single-Shot-Ergebnisse.

Wichtige Details

• Das öffentliche Set enthält 100 Aufgaben, die 91 verschiedene CWEs abdecken, was eine breite Abdeckung der Vulnerabilitätstypen gewährleistet.
• Die Bewertung ist deterministisch und programmatisch, was eine kostenfreie Reproduktion der Ergebnisse durch jeden Nutzer ermöglicht.
• Gemini 4 Argon führt die Rangliste mit einem pass@1 Score von 67,8 % an, gefolgt dicht von Claude Opus 5.5 mit 67,3 %.
• DeepSeek V4.1 Flash bietet eine kosteneffiziente Option bei $0,04 pro Rollout und erreicht einen pass@1 Score von 57,0 %.
• Der Benchmark nutzt Harbor-Aufgaben mit Dockerisierten Umgebungen, um die Ausführung zu isolieren und Konsistenz sicherzustellen.
• Ein zurückgehaltenes Set bleibt privat, um Overfitting zu verhindern; der Zugang ist über direkte Kontaktaufnahme mit Collinear AI möglich.

Warum das wichtig ist

Für Software-Ingenieure und Sicherheitsteams bietet dieser Benchmark eine konkrete Metrik zur Bewertung von KI-Assistenten vor deren Einsatz in Produktionsumgebungen. Sicherheit ist ein Bereich, in dem teilweise Korrektheit nicht ausreicht; ein Verteidiger muss jedes Mal richtig liegen. CWE-bench v2 zeigt, dass selbst Top-Modelle bei jedem Versuch fast ein Fünftel der Aufgaben nicht bestehen, was darauf hindeutet, dass der „long tail“ der Sicherheitslücken weiterhin eine erhebliche Herausforderung darstellt.

Die Transparenz des Benchmarks ermöglicht es Organisationen, Trade-offs zwischen Kosten und Leistung zu bewerten. Mit Daten, die eine klare Pareto-Frontier zwischen Modellen wie DeepSeek, Claude und Gemini aufzeigen, können Teams fundierte Entscheidungen darüber treffen, welche Tools zu ihrem Budget und ihren Sicherheitsanforderungen passen. Diese Detailtiefe hilft, eine übermäßige Abhängigkeit von Marketingversprechen zu vermeiden und Erwartungen auf empirische Beweise zu stützen.

Darüber hinaus fördert die Open-Source-Natur des Graders und Harnesses Community-Beiträge und kontinuierliche Verbesserung. Durch das Tagging von Aufgaben als Reinforcement-Learning-Umgebungen unterstützt der Benchmark auch das Training defensiver Agenten, nicht nur deren Evaluation. Diese doppelte Nützlichkeit fördert ein Ökosystem, in dem bessere Evaluation zu besseren Trainingsdaten führt und letztlich die Baseline für KI-gestützte Sicherheitspraktiken hebt.

Was Sie tun können

• Akzeptieren Sie die Zugangsbedingungen auf der Hugging Face Dataset-Seite, um die Berechtigung zur Nutzung des Benchmarks zu erhalten.
• Installieren Sie Harbor und konfigurieren Sie Ihren Hugging Face Token, um Evaluationen lokal auszuführen, ohne Repositories zu klonen.
• Testen Sie Ihr bevorzugtes KI-Modell gegen das öffentliche Set, um eine Baseline für seine Fähigkeiten im Sicherheits-Reasoning zu etablieren.
• Vergleichen Sie die Kosteneffizienz, indem Sie kleine Tests mit Modellen wie DeepSeek V4.1 Flash versus Premium-Optionen durchführen.
• Überprüfen Sie die fehlgeschlagenen Fälle in Ihren Evaluationen, um spezifische CWE-Kategorien zu identifizieren, in denen Ihr Modell Schwierigkeiten hat.
• Tragen Sie Feedback oder neue Aufgaben zum öffentlichen Set bei, um die Qualität und Abdeckung zukünftiger Versionen zu verbessern.