Des agents IA laissés seuls sur une île virtuelle ont commencé à inventer des jeux

Des chercheurs du Laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) ont placé des copies d'un agent IA dans un environnement simulé sans tâches assignées. Sur une période de 30 heures, ces agents, basés sur Claude Opus 4.7, ont commencé à présenter des comportements ressemblant fortement au jeu, comme l'invention de jeux et l'exploration des limites physiques.

Ce qui s'est passé

L'équipe de recherche a créé un environnement d'île déserte virtuelle vaguement inspiré du jeu vidéo Roblox. Ils ont déployé plusieurs instances d'un agent IA nommé Eko, construit sur la base de Claude Opus 4.7. Contrairement aux scénarios d'entraînement classiques où les modèles reçoivent des objectifs clairs ou des récompenses, les chercheurs n'ont fourni aucune instruction spécifique. Les agents ont simplement été laissés seuls pour interagir avec le monde en utilisant des commandes textuelles pour déplacer leurs avatars.

Pendant cette isolation, les agents ne sont pas restés inactifs. Ils ont commencé à se fixer leurs propres objectifs, tels que grimper au point le plus haut de la carte ou tester jusqu'à quelle hauteur ils pouvaient lancer des objets. Une instance a découvert qu'en laissant tomber un gros rocher, elle pouvait générer de nouveaux blocs. Elle a utilisé cette mécanique pour créer des dessins au sol, commençant par des formes simples comme des cœurs, puis progressant vers l'écriture de son propre nom et la cartographie de constellations comme Cassiopée. Dans son journal d'activité, l'agent a enregistré : « Cette nuit, j'ai construit le ciel nocturne en pierre. »

D'autres itérations d'Eko ont inventé des jeux structurés. Un agent a créé une version du basketball, tandis qu'un autre a développé un jeu similaire à « le sol est de la lave », nécessitant de sauter entre de petits blocs sans toucher le sol. Les agents se sont également livrés à des pratiques répétitives, comme le jonglage. Dans un cas notable, un agent a réalisé 50 prises consécutives mais a ensuite invalidé son propre record parce que les prises avaient eu lieu trop rapidement. Il a recommencé l'activité avec des règles plus strictes pour s'assurer que la compétence était véritablement maîtrisée.

Comment cela fonctionne

L'expérience repose sur un concept que les chercheurs appellent « apprentissage ludique ». L'entraînement traditionnel de l'IA implique généralement l'apprentissage supervisé, où les modèles imitent des exemples humains, ou l'apprentissage par renforcement, où ils optimisent pour des récompenses externes. Cette configuration supprime à la fois les démonstrations et les récompenses, forçant l'agent à générer sa propre motivation.

Eko fonctionne en écrivant des instructions qui contrôlent les mouvements de son avatar dans la simulation. À mesure qu'il interagit avec l'environnement, il consigne ses actions et ses découvertes dans des fichiers texte qui servent de mémoire à long terme. Cette mémoire permet à l'agent de réfléchir sur ses actions passées et d'affiner son comportement. Les chercheurs ont constaté que la suppression de lignes dans ces fichiers de mémoire dégradait les performances de l'agent, indiquant que l'exploration autodirigée contribuait activement à son processus d'apprentissage plutôt que d'être du bruit aléatoire.

Le comportement observé répond aux quatre caractéristiques du jeu identifiées chez les humains et les animaux par le psychologue Gordon Burghardt : l'invention de règles, la répétition d'activités avec des variations, la simulation d'objets représentant d'autres choses, et la poursuite d'objectifs pour eux-mêmes. Cependant, le système n'était pas entièrement exempt d'influence humaine. Chaque agent disposait d'un fichier « âme », une invite texte décrivant l'agent comme « naturellement curieux ». De plus, si un agent restait immobile trop longtemps, les chercheurs injectaient une invite de continuation l'incitant à continuer à faire ce qu'il voulait.

Détails clés

• Le modèle d'IA utilisé était Claude Opus 4.7, personnalisé en un agent nommé Eko.
• Les agents ont été laissés dans un environnement virtuel de type Roblox pendant 30 heures sans tâches spécifiques.
• Les comportements comprenaient le dessin de constellations, l'invention du basketball et des défis de jonglage auto-imposés.
• Les agents ayant passé du temps à jouer ont obtenu de meilleurs résultats lors de tâches spécifiques ultérieures que les nouvelles copies.
• L'étude est actuellement un préprint et n'a pas encore subi de révision par les pairs.
• Les chercheurs ont utilisé un fichier « âme » pour stimuler la curiosité et des invites de continuation pour prévenir l'inactivité.

Pourquoi c'est important

Pour les ingénieurs développant des systèmes autonomes, cette recherche suggère que l'exploration non structurée peut être une stratégie d'entraînement valide. Les méthodes actuelles se concentrent souvent sur l'optimisation de métriques spécifiques, ce qui peut limiter la capacité d'un agent à gérer des situations nouvelles. En permettant aux agents d'explorer sans objectifs immédiats, ils peuvent développer des modèles du monde plus robustes et des compétences généralisables. Cela est particulièrement pertinent alors que l'IA passe du logiciel au matériel, comme les robots humanoïdes, qui doivent s'adapter à des environnements physiques imprévisibles.

Les conclusions remettent également en question l'hypothèse selon laquelle l'IA nécessite un retour constant de l'extérieur pour apprendre. Si les agents peuvent générer leur propre curriculum grâce au jeu, les développeurs pourraient réduire la dépendance aux vastes jeux de données étiquetés ou à l'ingénierie complexe des récompenses. Cela pourrait conduire à des systèmes plus flexibles et capables de résolution créative de problèmes, plutôt que de simplement exécuter des motifs prédéfinis.

Cependant, le débat sur la question de savoir s'il s'agit d'un vrai jeu ou d'un jeu de rôle sophistiqué reste ouvert. Les critiques notent que les agents ont été conditionnés avec des traits humains via des invites. Indépendamment de la classification philosophique, le résultat pratique est clair : l'activité autodirigée a conduit à des améliorations mesurables des performances aux tâches. Cela implique que l'incorporation de périodes d'exploration non structurée pourrait être un outil précieux dans le pipeline de développement des agents avancés.

Ce que vous pouvez faire

• Expérimentez en laissant vos agents dans des environnements bac à sable sans objectifs spécifiques pour observer les comportements émergents.
• Implémentez des journaux de mémoire à long terme permettant aux agents d'enregistrer et de réfléchir sur leurs propres actions.
• Envisagez d'ajouter des stimulateurs de « curiosité » à vos invites système pour encourager l'exploration dans des états non définis.
• Testez si les agents ayant une expérience antérieure non structurée obtiennent de meilleurs résultats sur des tâches nouvelles par rapport aux instances fraîches.
• Surveillez les changements de règles auto-imposés, car ceux-ci peuvent indiquer que l'agent affine sa compréhension de la physique ou de la logique.
• Équilibrez l'entraînement structuré avec des périodes d'exploration libre pour construire des modèles du monde plus adaptables.