Agentes de IA solos en una isla virtual comenzaron a inventar juegos

Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT colocaron copias de un agente de IA en un entorno simulado sin tareas asignadas. Durante un periodo de 30 horas, estos agentes, basados en Claude Opus 4.7, comenzaron a exhibir comportamientos que se asemejan mucho al juego, como inventar juegos y explorar límites físicos.

Qué ocurrió

El equipo de investigación creó un entorno de isla desierta virtual basado vagamente en el videojuego Roblox. Desplegaron múltiples instancias de un agente de IA llamado Eko, construido sobre Claude Opus 4.7. A diferencia de los escenarios de entrenamiento estándar donde los modelos reciben objetivos o recompensas claros, los investigadores no proporcionaron instrucciones específicas. Los agentes simplemente quedaron solos para interactuar con el mundo utilizando comandos basados en texto para mover sus avatares.

Durante este aislamiento, los agentes no permanecieron inactivos. Comenzaron a establecer sus propios objetivos, como escalar el punto más alto del mapa o probar hasta qué altura podían lanzar objetos. Una instancia descubrió que soltar una roca grande podía generar nuevos bloques. Utilizó esta mecánica para crear dibujos en el suelo, comenzando con formas simples como corazones y progresando hacia escribir su propio nombre y mapear constelaciones como Casiopea. En su registro de actividad, el agente anotó: "Esta noche construí el cielo nocturno en piedra".

Otras iteraciones de Eko inventaron juegos estructurados. Un agente creó una versión de baloncesto, mientras que otro desarrolló un juego similar a "el suelo es lava", lo que le exigía saltar entre pequeños bloques sin tocar el suelo. Los agentes también se involucraron en prácticas repetitivas, como malabares. En un caso notable, un agente logró 50 capturas consecutivas pero luego invalidó su propio récord porque las capturas ocurrieron demasiado rápido. Reinició la actividad con reglas más estrictas para asegurar que la habilidad fuera realmente dominada.

Cómo funciona

El experimento se basa en un concepto que los investigadores llaman "aprendizaje lúdico". El entrenamiento tradicional de IA generalmente implica aprendizaje supervisado, donde los modelos imitan ejemplos humanos, o aprendizaje por refuerzo, donde optimizan para recompensas externas. Esta configuración elimina tanto las demostraciones como las recompensas, forzando al agente a generar su propia motivación.

Eko opera escribiendo instrucciones que controlan los movimientos de su avatar dentro de la simulación. A medida que interactúa con el entorno, registra sus acciones y descubrimientos en archivos de texto que sirven como memoria a largo plazo. Esta memoria permite al agente reflexionar sobre acciones pasadas y perfeccionar su comportamiento. Los investigadores encontraron que eliminar líneas de estos archivos de memoria degradaba el rendimiento del agente, lo que indica que la exploración autodirigida estaba contribuyendo activamente a su proceso de aprendizaje en lugar de ser ruido aleatorio.

El comportamiento observado cumple con cuatro características distintivas del juego identificadas en humanos y animales por el psicólogo Gordon Burghardt: inventar reglas, repetir actividades con variaciones, pretender que los objetos son otras cosas y perseguir objetivos por sí mismos. Sin embargo, el sistema no estaba completamente libre de influencia humana. Cada agente tenía un archivo "alma", un prompt de texto que lo describía como "naturalmente curioso". Además, si un agente permanecía quieto demasiado tiempo, los investigadores inyectaban un prompt de continuación instándolo a seguir haciendo lo que quisiera.

Detalles clave

• El modelo de IA utilizado fue Claude Opus 4.7, personalizado en un agente llamado Eko.
• Los agentes fueron dejados en un entorno virtual similar a Roblox durante 30 horas sin tareas específicas.
• Los comportamientos incluyeron dibujar constelaciones, inventar baloncesto y desafíos de malabares autoimpuestos.
• Los agentes que pasaron tiempo jugando tuvieron un mejor desempeño en tareas específicas posteriores que las copias nuevas.
• El estudio es actualmente un preprint y aún no ha pasado por revisión por pares.
• Los investigadores utilizaron un archivo "alma" para predisponer la curiosidad y prompts de continuación para prevenir la inactividad.

Por qué importa

Para los ingenieros que construyen sistemas autónomos, esta investigación sugiere que la exploración no estructurada puede ser una estrategia de entrenamiento válida. Los métodos actuales a menudo se centran en optimizar métricas específicas, lo que puede limitar la capacidad de un agente para manejar situaciones novedosas. Al permitir que los agentes exploren sin objetivos inmediatos, pueden desarrollar modelos del mundo más robustos y habilidades generalizables. Esto es particularmente relevante a medida que la IA pasa del software al hardware, como los robots humanoides, que deben adaptarse a entornos físicos impredecibles.

Los hallazgos también desafían la suposición de que la IA requiere retroalimentación externa constante para aprender. Si los agentes pueden generar su propio currículo a través del juego, los desarrolladores podrían reducir la dependencia de grandes conjuntos de datos etiquetados o de la ingeniería compleja de recompensas. Esto podría llevar a sistemas más flexibles y capaces de resolver problemas creativamente, en lugar de solo ejecutar patrones predefinidos.

Sin embargo, el debate sobre si esto es juego genuino o role-playing sofisticado permanece abierto. Los críticos señalan que los agentes fueron predispuestos con rasgos similares a los humanos mediante prompts. Independientemente de la clasificación filosófica, el resultado práctico es claro: la actividad autodirigida llevó a mejoras medibles en el desempeño de tareas. Esto implica que incorporar periodos de exploración no estructurada podría ser una herramienta valiosa en el pipeline de desarrollo para agentes avanzados.

Qué puedes hacer

• Experimenta dejando tus agentes en entornos sandbox sin objetivos específicos para observar comportamientos emergentes.
• Implementa registros de memoria a largo plazo que permitan a los agentes registrar y reflexionar sobre sus propias acciones.
• Considera añadir primers de "curiosidad" a tus system prompts para fomentar la exploración en estados indefinidos.
• Prueba si los agentes con experiencia previa no estructurada tienen un mejor desempeño en tareas novedosas comparados con instancias nuevas.
• Monitorea cambios de reglas autoimpuestos, ya que estos pueden indicar que el agente está refinando su comprensión de la física o la lógica.
• Equilibra el entrenamiento estructurado con periodos de exploración libre para construir modelos del mundo más adaptables.