KI-Agenten auf einer virtuellen Insel begannen, Spiele zu erfinden

Forschende am MIT Computer Science and Artificial Intelligence Laboratory setzten Kopien eines KI-Agenten in eine simulierte Umgebung ohne zugewiesene Aufgaben. Im Laufe von 30 Stunden zeigten diese Agenten, basierend auf Claude Opus 4.7, Verhaltensweisen, die stark an Spielen erinnern, wie das Erfinden von Spielen und das Erkunden physikalischer Grenzen.

Was geschah

Das Forschungsteam erstellte eine virtuelle Wüsteninsel-Umgebung, die lose auf dem Videospiel Roblox basiert. Sie setzten mehrere Instanzen eines KI-Agenten namens Eko ein, der auf Claude Opus 4.7 aufgebaut ist. Im Gegensatz zu Standard-Trainingsszenarien, in denen Modellen klare Ziele oder Belohnungen vorgegeben werden, gaben die Forschenden keine spezifischen Anweisungen. Die Agenten wurden einfach sich selbst überlassen, um mit der Welt über textbasierte Befehle zu interagieren und ihre Avatare zu bewegen.

Während dieser Isolation blieben die Agenten nicht untätig. Sie begannen, eigene Ziele zu setzen, wie etwa den höchsten Punkt der Karte zu erklimmen oder zu testen, wie hoch sie Objekte werfen konnten. Eine Instanz entdeckte, dass das Fallenlassen eines großen Felsens neue Blöcke erzeugen konnte. Sie nutzte diese Mechanik, um Zeichnungen auf dem Boden zu erstellen, beginnend mit einfachen Formen wie Herzen und fortschreitend bis zum Schreiben ihres eigenen Namens und zur Darstellung von Sternbildern wie Cassiopeia. In ihrem Aktivitätsprotokoll vermerkte der Agent: „Heute Nacht habe ich den Nachthimmel aus Stein gebaut.“

Andere Iterationen von Eko erfanden strukturierte Spiele. Ein Agent kreierte eine Version von Basketball, während ein anderes Spiel ähnlich wie „der Boden ist Lava“ entwickelte, bei dem es zwischen kleinen Blöcken springen musste, ohne den Boden zu berühren. Die Agenten übten auch repetitive Aktivitäten, wie etwa Jonglieren. In einem bemerkenswerten Fall erreichte ein Agent 50 aufeinanderfolgende Fänge, invalidierte seinen eigenen Rekord jedoch, weil die Fänge zu schnell erfolgten. Er startete die Aktivität mit strengeren Regeln neu, um sicherzustellen, dass die Fähigkeit wirklich beherrscht wurde.

Wie es funktioniert

Das Experiment basiert auf einem Konzept, das die Forschenden als „spielerisches Lernen“ bezeichnen. Traditionelles KI-Training umfasst oft überwachtes Lernen, bei dem Modelle menschliche Beispiele nachahmen, oder bestärkendes Lernen (Reinforcement Learning), bei dem sie externe Belohnungen optimieren. Dieses Setup entfernt sowohl Demonstrationen als auch Belohnungen und zwingt den Agenten dazu, seine eigene Motivation zu generieren.

Eko operiert, indem er Anweisungen schreibt, die die Bewegungen seines Avatars innerhalb der Simulation steuern. Während er mit der Umgebung interagiert, protokolliert er seine Aktionen und Entdeckungen in Textdateien, die als Langzeitgedächtnis dienen. Dieses Gedächtnis ermöglicht es dem Agenten, über vergangene Aktionen nachzudenken und sein Verhalten zu verfeinern. Die Forschenden stellten fest, dass das Löschen von Zeilen aus diesen Gedächtnisdateien die Leistung des Agenten verschlechterte, was darauf hindeutet, dass die selbstgesteuerte Exploration aktiv zu seinem Lernprozess beitrug und kein zufälliges Rauschen war.

Das beobachtete Verhalten erfüllt vier Merkmale des Spiels, die Psychologe Gordon Burghardt bei Menschen und Tieren identifiziert hat: das Erfinden von Regeln, das Wiederholen von Aktivitäten mit Variationen, das Vortäuschen, dass Objekte andere Dinge sind, und das Verfolgen von Zielen um ihrer selbst willen. Das System war jedoch nicht vollständig frei von menschlichem Einfluss. Jeder Agent hatte eine „Seele“-Datei, einen Text-Prompt, der ihn als „von Natur aus neugierig“ beschrieb. Zusätzlich injizierten die Forschenden einen Fortsetzungsprompt, wenn ein Agent zu lange stillstand, um ihn aufzufordern, weiter zu tun, was er wollte.

Wichtige Details

• Das verwendete KI-Modell war Claude Opus 4.7, angepasst zu einem Agenten namens Eko.
• Die Agenten wurden 30 Stunden lang in einer virtuellen, Roblox-ähnlichen Umgebung ohne spezifische Aufgaben belassen.
• Zu den Verhaltensweisen gehörten das Zeichnen von Sternbildern, das Erfinden von Basketball und selbstauferlegte Jonglier-Herausforderungen.
• Agenten, die Zeit mit Spielen verbrachten, schnitten bei nachfolgenden spezifischen Aufgaben besser ab als frische Kopien.
• Die Studie ist derzeit ein Preprint und hat noch kein Peer-Review durchlaufen.
• Die Forschenden verwendeten eine „Seele“-Datei, um Neugier zu wecken, und Fortsetzungsprompts, um Untätigkeit zu verhindern.

Warum es wichtig ist

Für Ingenieure, die autonome Systeme entwickeln, legt diese Forschung nahe, dass unstrukturierte Exploration eine gültige Trainingsstrategie sein kann. Aktuelle Methoden konzentrieren sich oft auf die Optimierung für spezifische Metriken, was die Fähigkeit eines Agenten einschränken kann, mit neuartigen Situationen umzugehen. Indem man Agenten erlaubt, ohne unmittelbare Ziele zu explorieren, können sie robustere Weltmodelle und generalisierbare Fähigkeiten entwickeln. Dies ist besonders relevant, da KI von Software in Hardware übergeht, wie etwa humanoide Roboter, die sich an unberechenbare physische Umgebungen anpassen müssen.

Die Erkenntnisse stellen zudem die Annahme infrage, dass KI kontinuierliches externes Feedback benötigt, um zu lernen. Wenn Agenten ihren eigenen Lehrplan durch Spielen generieren können, könnten Entwickler die Abhängigkeit von massiven gelabelten Datensätzen oder komplexer Reward-Engineering reduzieren. Dies könnte zu Systemen führen, die flexibler sind und kreatives Problemlösen ermöglichen, anstatt nur vordefinierte Muster auszuführen.

Die Debatte darüber, ob dies echtes Spielen oder ausgeklügeltes Rollenspiel ist, bleibt jedoch offen. Kritiker weisen darauf hin, dass die Agenten durch Prompts mit menschenähnlichen Eigenschaften voreingenommen waren. Unabhängig von der philosophischen Klassifizierung ist das praktische Ergebnis klar: Die selbstgesteuerte Aktivität führte zu messbaren Verbesserungen der Aufgabenleistung. Dies impliziert, dass die Integration von Phasen unstrukturierter Exploration ein wertvolles Werkzeug in der Entwicklungspipeline für fortgeschrittene Agenten sein könnte.

Was Sie tun können

• Experimentieren Sie damit, Ihre Agenten in Sandbox-Umgebungen ohne spezifische Ziele zu lassen, um emergente Verhaltensweisen zu beobachten.
• Implementieren Sie Langzeitgedächtnis-Protokolle, die es Agenten ermöglichen, ihre eigenen Aktionen aufzuzeichnen und zu reflektieren.
• Erwägen Sie, „Neugier“-Primes in Ihre System-Prompts einzufügen, um Exploration in undefinierten Zuständen zu fördern.
• Testen Sie, ob Agenten mit vorheriger unstrukturierter Erfahrung bei neuartigen Aufgaben besser abschneiden als frische Instanzen.
• Überwachen Sie selbstauferlegte Regeländerungen, da diese darauf hindeuten können, dass der Agent sein Verständnis von Physik oder Logik verfeinert.
• Balancieren Sie strukturiertes Training mit Phasen freier Exploration, um anpassungsfähigere Weltmodelle zu erstellen.