KI glänzt beim Programmieren, scheitert aber an forschungsintensiven Aufgaben mit hohem Urteilsbedarf
Die aktualisierte Bewertung von METR zeigt, dass KI-Modelle bei überprüfbaren Aufgaben wie dem Programmieren rasante Fortschritte machen, bei offenen Forschungs- und urteilsbasierten Herausforderungen jedoch hinter den Erwartungen zurückbleiben.
Automatisch aus dem englischen Original übersetzt.
Die gemeinnützige KI-Bewertungsorganisation METR hat am 20. November 2026 einen aktualisierten Bericht veröffentlicht. Dieser belegt, dass Frontier-Modelle zwar weiterhin exponentielle Fortschritte bei überprüfbaren Aufgaben erzielen, in Bereichen, die menschliches Urteilsvermögen erfordern, jedoch deutlich hinterherhinken. Das Update reagiert auf weit verbreitete Fehlinterpretationen der früheren Zeit-Horizont-Diagramme, indem komplexere, offene Aufgaben einbezogen werden, die den Anforderungen automatisierter Forschung und Entwicklung besser entsprechen.
Was passiert ist
METRs neueste Analyse aktualisiert das berühmte Zeit-Horizont-Diagramm, das den KI-Fortschritt anhand der Dauer von Aufgaben misst, die Modelle im Vergleich zu Menschen bewältigen können. Das ursprüngliche Diagramm zeigte, dass sich die Fähigkeit der Frontier-Modelle hinsichtlich der Aufgabendauer alle vier Monate verdoppelte. Diese frühere Version konzentrierte sich jedoch stark auf überprüfbare Domänen wie Programmierung und Mathematik, wo Erfolg binär ist und leicht automatisch überprüft werden kann. Der neue Bericht erweitert diesen Umfang um Aufgaben, die schwerer zu definieren und zu bewerten sind, wie etwa das Design neuer KI-Evaluationen oder die Bewertung philosophischer Argumente.
Die Ergebnisse heben eine wachsende Divergenz in den Fähigkeiten hervor. Während fortschrittliche Modelle inzwischen fast jeden Menschen im Software-Engineering übertreffen, gelang es ihnen nicht, nützliche Designs für KI-Evaluationen zu erstellen, als sie gebeten wurden, diese für METRs eigene Forschung zu entwickeln. Ebenso erreichten die Modelle bei der Bewertung philosophischer Argumente nicht das Niveau menschlicher Leistung. Diese Resultate deuten darauf hin, dass die Reinforcement-Learning-Techniken, die den Erfolg beim Programmieren treiben, sich noch nicht effektiv auf offene Forschungsaufgaben übertragen lassen, bei denen die Erfolgskriterien vage oder subjektiv sind.
Diese Unterscheidung ist angesichts jüngster Bedenken bezüglich rekursiver Selbstverbesserung in der KI entscheidend. Ein separater, stark geschwärzter METR-Bericht hatte zuvor nahegelegt, dass KI den Fortschritt bei Anthropic möglicherweise um den Faktor zwei beschleunigt, was Ängste vor autonomem KI-Design schürte. Indem METR Modelle bei urteilsintensiven Aufgaben testet, soll ein klareres Bild davon entstehen, ob KI-Systeme den Forschungsprozess wirklich automatisieren können oder ob sie auf die Ausführung wohldefinierter Anweisungen beschränkt bleiben.
Wie es funktioniert
METR bewertet KI-Fähigkeiten, indem Aufgaben sowohl Modellen als auch menschlichen Testern zugewiesen werden. Im ursprünglichen Framework wurde die Schwierigkeit durch die tatsächliche Zeit bestimmt, die Menschen zur Bewältigung spezifischer Aufgaben benötigten. Die Modelle wurden dann basierend auf den längsten Aufgaben bewertet, die sie erfolgreich abschließen konnten. Für überprüfbare Aufgaben wie Programmierung ist diese Methode robust, da automatische Tests bestätigen können, ob der Code funktioniert. Reinforcement Learning nutzt diese Klarheit, indem neuronale Pfade gestärkt werden, die zu korrekten Ausgaben führen, und solche geschwächt werden, die Fehler verursachen.
Für den aktualisierten Bericht führte METR Aufgaben ein, die sich nur schwer automatisch überprüfen lassen. Anstatt Menschen für die Bearbeitung dieser potenziell hunderte Stunden dauernden Aufgaben zu bezahlen, schätzten Forscher die Bearbeitungszeiten aufgrund von Kosten- und Expertisebeschränkungen ab. Einige Aufgaben, wie das Design von Evaluationen, wurden von menschlichen Mitarbeitern bei METR bewertet. Andere, wie die Bewertung philosophischer Argumente, stützten sich auf die Übereinstimmung mit einem einzelnen Gutachter. Dieser Wechsel von empirischer Zeitmessung zu Experten-Schätzung und subjektiver Bewertung führt zu neuen Variablen, ermöglicht aber die Beurteilung höherer kognitiver Fähigkeiten.
Wichtige Details
- Frontier-KI-Modelle verdoppeln ihre Fähigkeit zur Aufgabenbewältigung bei überprüfbaren Aufgaben alle vier Monate.
- Keine von einer KI entworfene Evaluation wurde von METR-Mitarbeitern als nützlich eingestuft, obwohl die Modelle beim Programmieren Menschen übertreffen.
- Die Modelle blieben bei der Bewertung philosophischer Argumente, einem Proxy für Urteilsvermögen, hinter der menschlichen Leistung zurück.
- Neuere Modelle wie Opus 5.5 erreichten bei der Evaluationsgestaltung eine „grenzwertig über der Messlatte“ liegende Leistung, gegenüber „deutlich unter der Messlatte“ vor einem Jahr.
- Die Aufgabenschwierigkeit für offene Jobs wird nun größtenteils geschätzt statt durch tatsächliche menschliche Bearbeitungszeiten gemessen.
- Experten sind sich einig, dass aktuelle Bewertungsmethoden für urteilsintensive Aufgaben noch unausgereift und schwer quantifizierbar sind.
Warum das wichtig ist
Für Softwareentwickler und technische Leiter klärt dieser Bericht die aktuellen Grenzen der KI-Unterstützung. Er bestätigt, dass KI zwar komplexe Programmier- und mathematische Probleme mit hoher Zuverlässigkeit bewältigen kann, ihr aber noch nicht vertraut werden sollte, wenn es darum geht, strategische Entscheidungen zu treffen oder neue Forschungsrichtungen zu definieren. Diese Unterscheidung ist für Teams entscheidend, die Teile ihrer F&E-Pipeline automatisieren möchten. Das Verlassen auf KI für Aufgaben, die „Forschungsgeschmack“ oder subjektives Urteilsvermögen erfordern, kann zu schlechten Ergebnissen führen, da den Modellen die Fähigkeit fehlt, Qualität in undefinierten Räumen zu erkennen.
Darüber hinaus bedeutet die Schwierigkeit, diese urteilsintensiven Aufgaben zu bewerten, dass Fortschrittsmetriken weniger zuverlässig werden könnten. Wenn KI in Bereiche vordringt, in denen Erfolg nicht binär ist, gelten die sauberen exponentiellen Trends aus Coding-Benchmarks möglicherweise nicht mehr. Ingenieure und Gründer müssen vorsichtig sein, wenn sie aktuelle Wachstumsraten extrapolieren, um vorherzusagen, wann KI die Forschung vollständig automatisieren wird. Die Lücke zwischen überprüfbarer Ausführung und offener Kreation bleibt ein erheblicher Engpass.
Was Sie tun können
- Nutzen Sie KI für überprüfbare Aufgaben wie Codegenerierung, Debugging und die Erstellung von Unit-Tests, bei denen der Erfolg leicht messbar ist.
- Delegieren Sie keine strategische Planung, Hypothesengenerierung oder qualitative Bewertung an aktuelle KI-Modelle.
- Implementieren Sie Human-in-the-loop-Workflows für jede Aufgabe, die subjektives Urteilsvermögen oder offene Problemlösung erfordert.
- Beobachten Sie entstehende Bewertungsframeworks, die sich auf Urteilsvermögen und Kreativität konzentrieren, anstatt sich ausschließlich auf Coding-Benchmarks zu verlassen.
- Seien Sie skeptisch gegenüber Behauptungen, dass KI F&E vollständig automatisieren kann, solange keine robusten Metriken für urteilsintensive Aufgaben etabliert sind.
- Investieren Sie in die Schulung Ihrer Teams, um KI-Ausgaben in ambigen Bereichen effektiv zu kritisieren und zu verfeinern.



