StateBench zeigt, warum führende KI-Modelle bei Aufgaben zum Langzeitgedächtnis versagen

Hugging Face hat StateBench vorgestellt, einen neuen Benchmark, der darauf ausgelegt ist, zu testen, wie gut Sprachmodelle Änderungen von Informationen über lange Sequenzen hinweg nachverfolgen. Die im November 2026 veröffentlichte Studie bewertet sowohl Open-Source- als auch Frontier-Modelle hinsichtlich ihrer Fähigkeit, einen korrekten Zustand aufrechtzuerhalten, wenn sich Variablen oder Entitäten über Tausende von Tokens entwickeln.

Was passiert ist

Das Forschungsteam entwickelte StateBench zur Messung des State Trackings, also der Fähigkeit, den Status einer Entität zu verfolgen, während sie sich innerhalb eines Dokuments ändert. Diese Fähigkeit ist entscheidend für Aufgaben wie das Lesen von Code, bei dem Variablen neu zugewiesen werden, oder das Verfolgen einer Erzählung, in der Charaktere Objekte zwischen Orten bewegen. Während bestehende Tests oft nur die schwierigsten Fälle betrachten, zerlegt StateBench das Problem in vier unterschiedliche Komplexitätsstufen, um ein klareres Bild davon zu zeichnen, wo verschiedene Modellarchitekturen erfolgreich sind oder scheitern.

Der Benchmark bewertet Modelle auf Aufgaben, die von einfachen unveränderlichen Zuweisungen bis hin zu komplexen Referenzketten reichen. Die Forscher testeten eine Vielzahl von Modellen, darunter vortrainierte Open-Source-Optionen wie Olmo 3 und Olmo Hybrid sowie Frontier-Modelle wie Gemini 3.8 Flash, Claude Opus 5.5 und GPT-6 Sol und Luna. Die Ergebnisse hoben eine erhebliche Lücke hervor: Während alle Modelle einfache statische Fakten gut bewältigten, sank die Leistung der Frontier-Modelle drastisch, wenn sie mit komplexen, sich entwickelnden Zuständen in langen Kontexten konfrontiert wurden.

Um festzustellen, ob diese Fehler auf Trainingsdaten oder architektonische Grenzen zurückzuführen waren, trainierte das Team auch kleine Modelle von Grund auf speziell für StateBench-Aufgaben. Sie fanden heraus, dass hybride und rekurrente Architekturen, wie Gated DeltaNet, auf Sequenzlängen generalisieren können, die weit über ihre Trainingsdaten hinausgehen. Im Gegensatz dazu scheiterten Standard-Transformer-Architekturen daran, die schwierigsten State-Tracking-Aufgaben vollständig zu erlernen, selbst bei gezieltem Training.

Wie es funktioniert

StateBench kategorisiert State-Tracking-Probleme basierend auf algebraischer Theorie, insbesondere der Krohn–Rhodes-Theorie, in vier Stufen. Diese Stufen entsprechen verschiedenen Arten von Variablenzuweisungen in der Programmierung. Die erste Stufe, R-trivial, umfasst unveränderliche Werte, die sich nie ändern, ähnlich einem Geburtsdatum. Die zweite, aperiodisch, erlaubt Neuzuweisung durch Wert, wobei nur das neueste Update zählt, wie bei einer Thermostat-Einstellung. Die dritte Stufe, lösbar (soluble), erfordert selbstreferenzielle Updates, bei denen jede Änderung auf dem vorherigen Zustand aufbaut, wie bei einem laufenden Punktestand in einem Spiel. Die letzte und schwierigste Stufe, allgemeine endliche Automaten (general finite), umfasst Zuweisung durch Referenz, bei der Variablen Werte tauschen oder von anderen Variablen abhängen, ähnlich dem Verfolgen eines Balls unter vertauschten Bechern.

Der Benchmark generiert Sequenzen dieser Zuweisungen und bittet das Modell, den Endzustand jeder Variable vorherzusagen. Indem die Anzahl der Variablen und Zuweisungspunkte über die Stufen hinweg konstant gehalten wird, isoliert der Test die Komplexität der Logik statt des Datenvolumens. Diese Struktur ermöglicht es Forschern genau zu sehen, wo die Reasoning-Kette eines Modells bricht, sei es aufgrund des Verlusts des Überblicks über den neuesten Wert oder des Scheiterns beim Auflösen komplexer Abhängigkeiten zwischen mehreren Entitäten.

Wichtige Details

• StateBench definiert vier Schwierigkeitsgrade: R-trivial (unveränderlich), aperiodisch (neuester Wert gewinnt), lösbar (kumulative Updates) und allgemeine endliche Automaten (variablenübergreifende Referenzen).
• Frontier-Modelle einschließlich Gemini 3.8 Flash, Claude Opus 5.5 und GPT-6 Sol und Luna erreichten hohe Genauigkeit bei einfachen Aufgaben, fielen aber bei den längsten Problemen mit allgemeinen endlichen Automaten auf 13 % oder weniger ab.
• Offene Modelle wie Olmo Hybrid, das Gated-DeltaNet-Ebenen verwendet, zeigten ein besseres Potenzial für Generalisierung, wenn sie direkt auf State-Tracking-Aufgaben trainiert wurden, im Vergleich zu reinen Transformern.
• Transformer lernten Probleme mit allgemeinen endlichen Automaten im State Tracking nicht, selbst wenn sie von Grund auf auf spezifischen Datensätzen trainiert wurden, was auf eine architektonische Einschränkung hindeutet.
• Varianten von Gated DeltaNet mit flexiblen Speicherupdates generalisierten nahezu perfekt auf Sequenzen, die 250 Mal länger waren als ihre Trainingsdaten, für einfachere und mittelschwere Aufgaben.
• Der aktuelle Benchmark geht von einer festen Anzahl von Variablen aus, was bedeutet, dass Szenarien, in denen neue Entitäten mitten in der Sequenz eingeführt werden, noch nicht getestet werden.

Warum das wichtig ist

Für Entwickler, die Retrieval-Augmented Generation (RAG)-Systeme oder Werkzeuge zur Dokumentenanalyse erstellen, hebt diese Forschung eine versteckte Schwäche aktueller großer Sprachmodelle hervor. Viele Anwendungen gehen davon aus, dass ein Modell, das ein langes Dokument lesen kann, auch den Status von Elementen, Personen oder Code-Variablen über diesen Text hinweg genau verfolgen kann. StateBench zeigt, dass diese Annahme bei komplexen logischen Ketten riskant ist. Wenn ein Modell ein Update in einer langen Sequenz von Änderungen übersieht, kann die finale Ausgabe völlig falsch sein, was zu unzuverlässigem Softwareverhalten oder ungenauer Datenextraktion führt.

Die Erkenntnisse legen zudem nahe, dass die starke Abhängigkeit der Branche von Standard-Transformer-Architekturen bei bestimmten Arten des Reasonings an eine Grenze stoßen könnte. Da Modelle gebeten werden, längere Kontexte und komplexere mehrstufige Logiken zu verarbeiten, erscheinen hybride Architekturen, die rekurrente Gedächtnismechanismen integrieren, besser geeignet für diese Aufgabe. Diese Erkenntnis kann technische Führungskräfte bei der Auswahl von Basismodellen für Anwendungen leiten, die strenge Zustandskonsistenz erfordern, wie etwa bei der Prüfung rechtlicher Verträge oder Tools zur Code-Refaktorierung.

Was Sie tun können

• Bewerten Sie Ihre aktuellen RAG-Pipelines mit Tests im Stil von StateBench, um festzustellen, ob Ihr Modell bei mehrstufigen Zustandsänderungen Schwierigkeiten hat.
• Erwägen Sie hybride oder rekurrente Modellarchitekturen für Aufgaben, die das Verfolgen sich entwickelnder Entitäten über lange Kontexte hinweg erfordern.
• Zerlegen Sie komplexe Dokumente in kleinere Abschnitte mit expliziten Zustandszusammenfassungen, um die kognitive Last für das Modell zu reduzieren.
• Überwachen Sie die Modellleistung speziell bei aperiodischen und lösbaren Aufgaben, da diese in realen Daten häufig vorkommen, aber in Standard-Benchmarks oft übersehen werden.
• Bleiben Sie informiert über aufkommende Architekturen wie Gated DeltaNet, die in der frühen Forschung eine überlegene Generalisierung für State-Tracking-Aufgaben zeigen.
• Implementieren Sie Verifizierungsschritte in Ihrer Anwendungslogik, um Modellausgaben wann immer möglich gegen bekannte Zustandsübergänge zu prüfen.