Các AI agent bị bỏ lại trên một hòn đảo ảo đã bắt đầu tự sáng tạo ra trò chơi

Các nhà nghiên cứu tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo của MIT (CSAIL) đã đặt các bản sao của một AI agent vào một môi trường mô phỏng mà không giao bất kỳ nhiệm vụ nào. Trong suốt 30 giờ, những agent này, dựa trên nền tảng Claude Opus 4.7, bắt đầu thể hiện các hành vi rất giống với việc "chơi", chẳng hạn như tự sáng tạo ra trò chơi và khám phá các giới hạn vật lý.

Chuyện gì đã xảy ra

Nhóm nghiên cứu đã tạo ra một môi trường đảo hoang ảo lấy cảm hứng lỏng lẻo từ trò chơi điện tử Roblox. Họ triển khai nhiều phiên bản của một AI agent tên là Eko, được xây dựng dựa trên Claude Opus 4.7. Khác với các kịch bản huấn luyện tiêu chuẩn nơi mô hình được cung cấp mục tiêu rõ ràng hoặc phần thưởng, các nhà nghiên cứu không đưa ra bất kỳ chỉ dẫn cụ thể nào. Các agent đơn giản là được để tự do tương tác với thế giới bằng cách sử dụng các lệnh dạng văn bản để di chuyển nhân vật đại diện (avatar).

Trong thời gian bị cô lập này, các agent không hề ngồi yên. Chúng bắt đầu tự đặt ra các mục tiêu cho riêng mình, chẳng hạn như leo lên điểm cao nhất trên bản đồ hoặc thử xem chúng có thể ném đồ vật xa đến đâu. Một phiên bản đã phát hiện ra rằng việc thả một tảng đá lớn có thể tạo ra các khối mới. Nó đã sử dụng cơ chế này để vẽ các hình ảnh trên mặt đất, bắt đầu từ những hình đơn giản như trái tim, tiến tới viết tên của chính nó và vẽ các chòm sao như Cassiopeia. Trong nhật ký hoạt động, agent này ghi lại: "Tối nay tôi đã xây dựng bầu trời đêm bằng đá."

Các phiên bản khác của Eko đã tự sáng tạo ra những trò chơi có cấu trúc. Một agent tạo ra một phiên bản bóng rổ, trong khi một agent khác phát triển một trò chơi tương tự như "sàn nhà là dung nham" (the floor is lava), đòi hỏi nó phải nhảy giữa các khối nhỏ mà không chạm xuống đất. Các agent cũng tham gia vào việc luyện tập lặp đi lặp lại, chẳng hạn như tung hứng. Trong một trường hợp đáng chú ý, một agent đã thực hiện thành công 50 lần bắt liên tiếp nhưng sau đó tự hủy kỷ lục của mình vì các lần bắt diễn ra quá nhanh. Nó khởi động lại hoạt động với các quy tắc nghiêm ngặt hơn để đảm bảo kỹ năng này được thành thạo thực sự.

Cơ chế hoạt động

Thí nghiệm dựa trên một khái niệm mà các nhà nghiên cứu gọi là "học tập thông qua vui chơi" (playful learning). Huấn luyện AI truyền thống thường bao gồm học có giám sát (supervised learning), nơi các mô hình bắt chước các ví dụ của con người, hoặc học tăng cường (reinforcement learning), nơi chúng tối ưu hóa để nhận phần thưởng bên ngoài. Thiết lập này loại bỏ cả các mẫu trình diễn lẫn phần thưởng, buộc agent phải tự tạo ra động lực cho chính mình.

Eko hoạt động bằng cách viết các chỉ dẫn điều khiển chuyển động của avatar trong môi trường mô phỏng. Khi tương tác với môi trường, nó ghi lại các hành động và khám phá của mình vào các tệp văn bản đóng vai trò là bộ nhớ dài hạn. Bộ nhớ này cho phép agent suy ngẫm về các hành động trong quá khứ và tinh chỉnh hành vi của nó. Các nhà nghiên cứu nhận thấy rằng việc xóa các dòng khỏi những tệp bộ nhớ này làm giảm hiệu suất của agent, cho thấy rằng việc khám phá tự chủ đang tích cực đóng góp vào quá trình học tập của nó chứ không phải là nhiễu ngẫu nhiên.

Hành vi quan sát được đáp ứng bốn đặc điểm của việc "chơi" ở con người và động vật được xác định bởi nhà tâm lý học Gordon Burghardt: sáng tạo ra các quy tắc, lặp lại các hoạt động với những biến thể, giả vờ rằng các đồ vật là thứ khác, và theo đuổi các mục tiêu vì chính bản thân chúng. Tuy nhiên, hệ thống này không hoàn toàn miễn nhiễm với ảnh hưởng của con người. Mỗi agent đều có một tệp "linh hồn" (soul file), một lời nhắc (prompt) dạng văn bản mô tả nó là "tự nhiên tò mò". Ngoài ra, nếu một agent đứng yên quá lâu, các nhà nghiên cứu sẽ tiêm một lời nhắc tiếp tục thúc giục nó hãy cứ làm những gì nó muốn.

Chi tiết chính

• Mô hình AI được sử dụng là Claude Opus 4.7, được tùy chỉnh thành một agent tên là Eko.
• Các agent được để trong một môi trường ảo giống Roblox suốt 30 giờ mà không có nhiệm vụ cụ thể.
• Các hành vi bao gồm vẽ chòm sao, sáng tạo ra bóng rổ và tự đặt ra các thử thách tung hứng.
• Các agent dành thời gian để chơi đã thể hiện tốt hơn trong các nhiệm vụ cụ thể sau đó so với các bản sao mới tinh.
• Nghiên cứu này hiện là một bản in trước (preprint) và chưa trải qua quy trình phản biện ngang hàng (peer review).
• Các nhà nghiên cứu đã sử dụng tệp "linh hồn" để khơi gợi sự tò mò và các lời nhắc tiếp tục để ngăn chặn tình trạng thụ động.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng hệ thống tự hành, nghiên cứu này gợi ý rằng việc khám phá không có cấu trúc có thể là một chiến lược huấn luyện hợp lệ. Các phương pháp hiện tại thường tập trung vào việc tối ưu hóa cho các chỉ số cụ thể, điều này có thể hạn chế khả năng của agent trong việc xử lý các tình huống mới lạ. Bằng cách cho phép các agent khám phá mà không có mục tiêu tức thì, chúng có thể phát triển các mô hình thế giới vững chắc hơn và các kỹ năng có khả năng tổng quát hóa. Điều này đặc biệt liên quan khi AI chuyển từ phần mềm sang phần cứng, chẳng hạn như robot hình người, vốn phải thích nghi với các môi trường vật lý không thể đoán trước.

Các phát hiện này cũng thách thức giả định rằng AI cần phản hồi bên ngoài liên tục để học hỏi. Nếu các agent có thể tự tạo ra chương trình học tập thông qua vui chơi, các nhà phát triển có thể giảm bớt sự phụ thuộc vào các tập dữ liệu lớn được gắn nhãn hoặc kỹ thuật thiết kế phần thưởng phức tạp. Điều này có thể dẫn đến các hệ thống linh hoạt hơn và có khả năng giải quyết vấn đề sáng tạo, thay vì chỉ thực thi các mẫu đã được định nghĩa trước.

Tuy nhiên, cuộc tranh luận về việc đây là sự vui chơi thực sự hay là một hình thức nhập vai tinh vi vẫn còn bỏ ngỏ. Các nhà phê bình lưu ý rằng các agent đã được kích hoạt các đặc điểm giống con người thông qua các lời nhắc. Bất kể phân loại triết học là gì, kết quả thực tế là rõ ràng: hoạt động tự chủ đã dẫn đến những cải thiện đo lường được trong hiệu suất nhiệm vụ. Điều này ngụ ý rằng việc kết hợp các giai đoạn khám phá không có cấu trúc có thể là một công cụ giá trị trong quy trình phát triển các agent tiên tiến.

Bạn có thể làm gì

• Thử nghiệm việc để các agent của bạn trong các môi trường sandbox (hộp cát) mà không có mục tiêu cụ thể để quan sát các hành vi nổi bật.
• Triển khai các nhật ký bộ nhớ dài hạn cho phép các agent ghi lại và suy ngẫm về các hành động của chính chúng.
• Cân nhắc thêm các yếu tố khơi gợi "tò mò" vào lời nhắc hệ thống (system prompts) của bạn để khuyến khích khám phá trong các trạng thái không xác định.
• Kiểm tra xem các agent có kinh nghiệm khám phá không có cấu trúc trước đó có thể hiện tốt hơn trong các nhiệm vụ mới lạ so với các phiên bản mới tinh hay không.
• Giám sát các thay đổi quy tắc tự áp đặt, vì những điều này có thể cho thấy agent đang tinh chỉnh hiểu biết của nó về vật lý hoặc logic.
• Cân bằng giữa huấn luyện có cấu trúc và các giai đoạn khám phá tự do để xây dựng các mô hình thế giới thích nghi tốt hơn.