Warum öffentliche KI-Benchmarks Entwickler im Stich lassen und worauf Sie stattdessen achten sollten
Öffentliche KI-Evaluierungen leiden unter Bewertungsfehlern und irreführenden Metriken. Entwickler sollten Zuverlässigkeit und Kosten für menschliche Überprüfung vor durchschnittlichen Bestehensraten priorisieren.
Automatisch aus dem englischen Original übersetzt.
Da künstliche Intelligenzmodelle in immer schnellerem Tempo auf den Markt kommen, sind Bewertungspunkte zum primären Signal für die Einschätzung neuer Fähigkeiten geworden. Eine aktuelle Analyse von zwölf öffentlichen Benchmarks zeigt jedoch, dass diese Punkte die tatsächliche Leistung aufgrund fehlerhafter Bewertungsmechanismen und eng gefasster Aufgabendesigns oft falsch darstellen.
Was passiert ist
Eine umfassende Überprüfung von zwölf öffentlichen Evaluierungssuiten, die Coding, Wissenschaft, Wissensarbeit und Computernutzung abdecken, deckte erhebliche Mängel bei der Messung der Modellleistung auf. In acht der zwölf untersuchten Evals gab es Hinweise darauf, dass automatisierte Bewerter Arbeiten ablehnten, die hätten bestanden werden müssen. Selbst wenn die Bewerter korrekt funktionieren, priorisieren viele Benchmarks Aufgaben, die leicht zu verifizieren sind, anstelle solcher, die einen echten Mehrwert widerspiegeln, wie etwa Zuverlässigkeit, Arbeitsgeschwindigkeit und mehrstufige Zusammenarbeit.
Die Studie untersuchte vier Coding- und Wissenschafts-Benchmarks, sechs Evaluierungen zur Wissensarbeit sowie zwei, die sich auf Browsen und Computernutzung konzentrieren. Sie hob hervor, dass die Wartung von Benchmarks zunehmend der Softwareentwicklung ähnelt, mit versionierten Releases und Breaking Changes. So wurden beispielsweise in Agents’ Last Exam v1.1 dreißig Aufgaben entfernt und siebenundfünfzig andere überarbeitet, während das öffentliche Set von Harvey LAB seit Mai 2026 von etwa 1.250 auf 2.010 Aufgaben angewachsen ist. Diese Änderungen erschweren den Vergleich von Punkten über verschiedene Versionen hinweg, wie man am Beispiel von Terminal Bench sieht, das in jedem Release gesättigte Aufgaben entfernt.
Wie es funktioniert
Die meisten Evaluierungsaufgaben bestehen aus vier Komponenten: einer Anweisung (Prompt), einer Umgebung wie einem Container oder einer virtuellen Maschine, einem Bewerter und optional einer Referenzlösung. Der Bewerter entscheidet, ob die Arbeit besteht, entweder durch deterministische Code-Tests, einen LLM-Judge mit binären Bewertungskriterien oder eine Kombination daraus. Designprinzipien bevorzugen zunehmend deterministische Prüfungen gegenüber LLM-Judges für bessere Reproduzierbarkeit sowie ergebnisorientierte Bewertungen, die Zwischenschritte ignorieren. Viele Benchmarks nutzen ein All-Pass-Scoring, bei dem eine Aufgabe nur dann als bestanden gilt, wenn alle Kriterien erfüllt sind. Dies spiegelt die Realität wider, dass Teillösungen in der Produktion oft unbrauchbar sind.
Diese Struktur führt jedoch zu spezifischen Fehlermodi. Modelle überspringen häufig Verifikationsschritte oder brechen frühzeitig ab, was zu vermeidbaren Fehlern führt. Kritischer ist, dass Bewerter oft falsch-negative Ergebnisse liefern, indem sie nicht explizit genannte Anforderungen durchsetzen oder mehrdeutige Antwortschlüssel verwenden. Umgekehrt treten falsch-positive Ergebnisse auf, wenn Assertions lediglich das Vorhandensein von Schlüsselwörtern prüfen, statt deren Korrektheit, wodurch halluzinierte oder falsche Ausgaben bestehen können. Beispielsweise prüfen manche Checks nur, ob eine E-Mail bestimmte Zahlen enthält, unabhängig davon, ob diese den korrekten Kategorien zugeordnet sind.
Wichtige Details
- In acht von zwölf öffentlichen Evals fanden Auditoren Hinweise darauf, dass Bewerter gültige Arbeiten ablehnten.
- All-Pass-Scoring ist verbreitet, da Teilergebnisse selten nützlich sind, macht Benchmarks aber anfällig für einzelne fehlerhafte Assertions.
- Falsch-positive Ergebnisse sind weit verbreitet; ein Audit fand materielle Halluzinationen in über 60 % der Ergebnisse, die alle Kriterien erfüllten.
- Die durchschnittliche Bestehensrate verschleiert Zuverlässigkeitsprobleme; ein Modell, das 70 % der Aufgaben konsistent löst, ist wertvoller als eines, das jede Aufgabe zu 70 % der Zeit löst.
- Die Kosten pro Aufgabe sind eine irreführende Metrik, da sie die menschliche Aufmerksamkeit ignorieren, die für die Überprüfung und Korrektur fehlgeschlagener oder unvollständiger Ausgaben erforderlich ist.
- Benchmark-Punkte spiegeln das Paar aus Modell und Harness wider, nicht nur das Modell selbst, was bedeutet, dass die Leistung je nach umgebender Tooling-Infrastruktur und Prompts erheblich variiert.
Warum das wichtig ist
Für Software-Ingenieure und technische Leads kann die Abhängigkeit von öffentlichen Leaderboard-Punkten zu schlechten architektonischen Entscheidungen führen. Die Kluft zwischen Benchmark-Leistung und Nutzen in der Produktion wird größer, weil Evals oft das Befolgen von Anweisungen und Implementierungsdetails messen, statt Urteilsvermögen und Problemabgrenzung. Reale Arbeit umfasst mehrstufige Interaktionen, das Klären mehrdeutiger Anforderungen und das Anpassen an sich ändernde Constraints, doch die meisten Benchmarks bleiben Single-Shot. Diese Diskrepanz bedeutet, dass Modelle, die in Evals glänzen, mit der kollaborativen und iterativen Natur echter Ingenieursaufgaben möglicherweise Schwierigkeiten haben.
Darüber hinaus verzerrt der Fokus auf Token-Kosten statt auf Kosten für menschliche Aufmerksamkeit die wirtschaftlichen Berechnungen. Ein günstigeres Modell, das häufig scheitert oder umfangreiche menschliche Überprüfungen erfordert, ist letztlich teurer als ein teureres Modell, das zuverlässige, vollständige Arbeit liefert. Wenn Modelle besser werden, machen Bewertungsfehler einen größeren Anteil der verbleibenden Ausfälle aus, weshalb es entscheidend ist, in bessere Bewertungsinfrastrukturen zu investieren, statt nur schwierigere Aufgaben zu stellen. Entwickler müssen erkennen, dass ein Benchmark-Punkt keine absolute Wahrheit ist, sondern eine kontextabhängige Metrik, die vom spezifischen Harness und der verwendeten Bewertungslogik beeinflusst wird.
Was Sie tun können
- Evaluieren Sie Modelle innerhalb Ihres eigenen Produktions-Harness, anstatt sich ausschließlich auf die von Anbietern gemeldeten Punkte zu verlassen.
- Messen Sie Zuverlässigkeit anhand von pass@k-Metriken, wobei eine Aufgabe nur als gelöst gilt, wenn der Agent mehrere Versuche konsistent besteht.
- Berücksichtigen Sie die Zeit für menschliche Überprüfungen in Ihren Kostenberechnungen und erkennen Sie, dass günstige Tokens oft zu teurem Engineering-Aufwand führen.
- Auditierten Sie Ihre eigenen Evaluierungs-Pipelines auf falsch-negative Ergebnisse, indem Sie Aufgaben überprüfen, bei denen mehrere Modelle dieselbe Assertion nicht bestehen.
- Priorisieren Sie Benchmarks, die mehrstufige Interaktionen und Urteilsvermögen testen, oder ergänzen Sie Single-Shot-Evals durch simulierte Nutzerkonversationen.
- Implementieren Sie Negativtests in Ihrer Bewertungslogik, um sicherzustellen, dass bekannte schlechte Ausgaben von Ihren Evaluatoren korrekt abgelehnt werden.



