NVIDIA phát hành các mô hình Cosmos 3 mã nguồn mở cho mô phỏng thế giới tương tác

NVIDIA đã mở rộng nền tảng phát triển mô hình thế giới Cosmos bằng cách bổ sung bốn điểm kiểm tra mới với trọng số mở thuộc dòng mô hình Cosmos 3. Được phát hành vào đầu tháng 11 năm 2026, các mô hình này được thiết kế để tạo ra các mô phỏng thế giới tương tác và cảnh lái xe đa góc nhìn, đa cảm biến dành cho các nhà nghiên cứu và kỹ sư.

Bản phát hành nhắm mục tiêu đến các nhà phát triển làm việc trong lĩnh vực lái xe tự động và robot học, những người cần môi trường tổng hợp có độ trung thực cao và khả năng kiểm soát tốt. Bằng cách công khai các trọng số theo giấy phép OpenMDW1.1, NVIDIA nhằm cung cấp một nền tảng chung để thích ứng các mô hình với các dàn cảm biến và miền ứng dụng cụ thể.

Điều gì đã xảy ra

Bản cập nhật giới thiệu bốn ví dụ cụ thể về các mô hình đã qua giai đoạn huấn luyện hậu kỳ (post-trained) dựa trên kiến trúc Cosmos 3 Nano, mỗi mô hình chứa 16 tỷ tham số có thể huấn luyện. Các điểm kiểm tra này không chỉ là những trình tạo video tĩnh mà còn được xây dựng cho mô phỏng tương tác, nơi các quan sát và hành động ảnh hưởng lẫn nhau theo thời gian thực.

Hai mô hình đầu tiên tập trung vào lái xe tự động. Cosmos3-Nano-Transfer-Auto tạo ra dữ liệu lái xe đa góc nhìn với các điều kiện khác nhau về thời tiết, ánh sáng và thời điểm trong ngày. Nó hỗ trợ các quan sát từ camera và LiDAR được đồng bộ hóa, cho phép các nhà phát triển nghiên cứu cách các chính sách lái xe phản ứng với sự thay đổi của bố cục đường và tín hiệu giao thông. Mô hình lái xe thứ hai, Cosmos3-Nano-Sim-Auto, là một biến thể được chưng cất nhân quả (causally distilled) và tối ưu hóa cho tốc độ truyền phát nhanh. Nó tạo ra các đoạn dữ liệu video và LiDAR đồng bộ liên tiếp bằng cách sử dụng lịch sử được tạo ra và các điều khiển cập nhật, cho phép các lần chạy thử nghiệm tương tác dài hạn.

Hai mô hình còn lại giải quyết vấn đề tích hợp robot học nói chung và máy mô phỏng. Cosmos3-Nano-Sim-Transfer chuyển đổi các điều khiển không gian từ một máy mô phỏng vật lý, chẳng hạn như bản đồ độ sâu hoặc mặt nạ phân đoạn, cùng với các lời nhắc văn bản, thành video chân thực như ảnh chụp. Điều này cho phép giao diện trực quan được tạo bởi AI trong khi trạng thái vật lý vẫn được neo giữ trong một máy mô phỏng truyền thống. Cuối cùng, Cosmos3-Nano-Sim-Bimanual dự đoán các quan sát video trực tiếp từ các hành động của robot, hỗ trợ mô phỏng tương tác hai cánh tay cho các cấu hình robot cụ thể.

Cách thức hoạt động

Các mô hình này dựa trên khung xương Mixture-of-Transformers (MoT), kết nối các mạng xử lý văn bản và tạo hình ảnh riêng biệt thông qua các cơ chế chú ý (attention mechanisms). Hệ thống hoạt động trên các biểu diễn video nén gọi là latent, trong đó mỗi bước thời gian latent tương ứng với bốn khung hình RGB. Để tạo video, mô hình sử dụng cơ chế chú ý nhân quả theo thời gian (temporal-causal attention), cho phép nó đọc lịch sử hiện có và các điều khiển hiện tại trong khi chặn quyền truy cập vào các quan sát mục tiêu trong tương lai. Bộ nhớ đệm khóa/giá trị (key/value cache) lưu trữ thông tin chú ý để tăng tốc các dự đoán tiếp theo.

Quá trình huấn luyện tuân theo công thức bốn giai đoạn được thiết kế để cân bằng giữa chất lượng và tốc độ suy luận. Giai đoạn 0 bao gồm việc thích ứng hai chiều để học các mối quan hệ từ điều khiển sang video đặc thù cho từng miền từ các clip đã ghi. Giai đoạn 1 sử dụng phương pháp teacher forcing để dự đoán các đoạn từ các quan sát trước đó. Giai đoạn 2 áp dụng chưng cất tính nhất quán (consistency distillation), trong đó một mô hình giáo viên đóng băng (frozen teacher model) huấn luyện một mô hình học sinh để tạo ra mỗi đoạn chỉ trong bốn bước khử nhiễu (denoising steps). Giai đoạn cuối cùng, self-forcing, huấn luyện mô hình trên chính lịch sử do nó tạo ra. Bước này rất quan trọng vì nó phơi bày mô hình với các lỗi của chính nó, ngăn ngừa những sai lệch nhỏ tích lũy thành các hiện tượng giả tạo (artifacts) lớn trong các chuỗi tương tác dài.

Chi tiết chính

• Tất cả bốn mô hình đều dựa trên kiến trúc Cosmos 3 Nano với 16 tỷ tham số có thể huấn luyện.
• Các mô hình được phát hành theo giấy phép OpenMDW1.1, cho phép sử dụng cả cho mục đích thương mại và phi thương mại.
• Cosmos3-Nano-Transfer-Auto hỗ trợ tạo đồng thời RGB và LiDAR trên tối đa 11 góc nhìn camera, bao gồm cả camera fisheye.
• Cosmos3-Nano-Sim-Auto sử dụng chưng cất nhân quả để tạo các đoạn video trong vài bước khử nhiễu nhằm phục vụ truyền phát nhanh.
• Cosmos3-Nano-Sim-Bimanual hỗ trợ mô phỏng tương tác hai cánh tay cho các cấu hình YAM và AgiBot bằng cách sử dụng lược đồ hành động 64 giá trị.
• Việc suy luận yêu cầu Linux, GPU NVIDIA, Docker và NVIDIA Container Toolkit, với quá trình thử nghiệm được thực hiện trên phần cứng GB200.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng xe tự hành hoặc robot, việc thu thập dữ liệu huấn luyện từ thế giới thực tốn kém, nguy hiểm và bị giới hạn về phạm vi. Các mô hình trọng số mở này cho phép các nhóm tạo ra khối lượng lớn dữ liệu tổng hợp với khả năng kiểm soát chính xác các biến môi trường. Bằng cách đồng bộ hóa dữ liệu trực quan với LiDAR và các điều khiển vật lý, các nhà phát triển có thể kiểm thử các trường hợp biên (edge cases), chẳng hạn như điều kiện thời tiết hiếm gặp hoặc kịch bản giao thông phức tạp, mà không cần rời khỏi phòng thí nghiệm. Khả năng này là thiết yếu để xác minh các hệ thống an toàn quan trọng trước khi triển khai.

Tính chất mã nguồn mở của bản phát hành cũng hạ thấp rào cản gia nhập đối với nghiên cứu mô hình thế giới. Thay vì xây dựng các mô hình tạo sinh từ con số không, các nhóm có thể thích ứng các trọng số cơ sở này với cấu hình cảm biến và miền vận hành cụ thể của họ. Các công thức huấn luyện hậu kỳ được cung cấp mang lại một lộ trình rõ ràng từ việc tạo dữ liệu ngoại tuyến đến mô phỏng tương tác thời gian thực. Sự chuẩn hóa này giúp cộng đồng so sánh các phương pháp và đóng góp cải tiến, đẩy nhanh sự phát triển của các thế giới mô phỏng phản hồi nhanh hơn và chính xác hơn.

Những gì bạn có thể làm

• Tải xuống bốn điểm kiểm tra mới từ Hugging Face để thử nghiệm với việc tạo dữ liệu tổng hợp cho miền ứng dụng cụ thể của bạn.
• Sử dụng Cosmos3-Nano-Transfer-Auto để thích ứng mô hình với bố cục camera và cấu hình LiDAR của riêng bạn bằng dữ liệu độc quyền.
• Triển khai quy trình huấn luyện nhân quả và chưng cất để chuyển đổi các mô hình đã thích ứng thành các biến thể truyền phát nhanh cho mô phỏng tương tác.
• Tích hợp Cosmos3-Nano-Sim-Transfer với máy mô phỏng vật lý hiện có của bạn để kết xuất hình ảnh chân thực từ các điều khiển độ sâu và phân đoạn.
• Thử nghiệm Cosmos3-Nano-Sim-Bimanual cho các nhiệm vụ thao tác robot bằng cách cung cấp các chuỗi hành động chuẩn hóa theo lược đồ đã công bố.
• Đánh giá chất lượng mô hình trên các tập dữ liệu giữ lại (held-out episodes) để xác minh việc thực thi và hội tụ trước khi cam kết vào các đợt huấn luyện dài.