NVIDIA Cosmos đơn giản hóa mô phỏng và triển khai AI vật lý

NVIDIA đã giới thiệu Cosmos, một nền tảng toàn diện được thiết kế để đẩy nhanh quá trình phát triển AI vật lý thông qua các mô hình nền tảng thế giới (world foundation models) và các công cụ phát triển chuyên dụng. Được ra mắt vào đầu tháng 11 năm 2026, bộ giải pháp này giải quyết các điểm nghẽn quan trọng trong việc thích ứng cảm biến và triển khai mô hình đáng tin cậy cho các ngành công nghiệp từ lái xe tự động đến phẫu thuật bằng robot.

Chuyện gì đã xảy ra

Sự kiện ra mắt tập trung vào hai thành phần chính: Cosmos Framework mã nguồn mở và các microservice Cosmos NIM được tối ưu hóa. Framework cung cấp các công cụ module cho toàn bộ vòng đời phát triển mô hình thế giới, bao gồm huấn luyện, học tăng cường, tối ưu hóa và suy luận. Nó hỗ trợ một hệ sinh thái mô hình ngày càng mở rộng, bao gồm Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen và pi0.5, cho phép các nhà phát triển huấn luyện trên nhiều loại dữ liệu đa dạng như văn bản, video, âm thanh và chuỗi hành động.

Đồng thời, NVIDIA cũng phát hành các công thức mô phỏng cụ thể cho Cosmos 3 Nano. Những công thức này cho phép tạo ra video camera đồng bộ và dữ liệu quan sát LiDAR cho các kịch bản xe tự hành, robot và phẫu thuật. Bằng cách cung cấp các checkpoint đã được phát hành có thể chạy ngay lập tức, công ty hướng tới mục tiêu hạ thấp rào cản cho các kỹ sư cần đánh giá mô hình dựa trên các cảm biến và không gian hành động tùy chỉnh mà không phải xây dựng lại các engine vật lý phức tạp từ đầu.

Về phía triển khai, các microservice Cosmos NIM cung cấp khả năng phục vụ (serving) tăng tốc bởi GPU thông qua API ứng dụng. Các container này được thiết kế để giảm mức sử dụng bộ nhớ và tăng tốc độ suy luận nhờ các kỹ thuật như lượng tử hóa (quantization) và giải mã dự đoán (speculative decoding). Cách tiếp cận kép này cho phép các nhóm làm việc nhanh chóng với kiến trúc mô hình bằng Framework, đồng thời dựa vào NIM để phục vụ sản xuất ổn định và hiệu suất cao.

Cơ chế hoạt động

Cosmos Framework hoạt động bằng cách tích hợp trực tiếp các kỹ năng của agent vào quy trình làm việc phát triển. Các nhà phát triển có thể sử dụng những kỹ năng này để tự động hóa các tác vụ như hậu huấn luyện (post-training), xác thực tập dữ liệu và đánh giá. Framework hỗ trợ nhiều lộ trình học tăng cường khác nhau, bao gồm tối ưu hóa sở thích ngoại tuyến (DPO) và học tăng cường trực tuyến với phần thưởng dựa trên quy tắc (GRPO). Nó cũng tạo điều kiện thuận lợi cho việc chưng cất mô hình (model distillation) và lượng tử hóa, giúp các kỹ sư thu nhỏ kích thước mô hình hoặc giảm số bước tạo sinh mà vẫn duy trì chất lượng. Việc suy luận có thể được thực hiện bằng các thư viện chuẩn như PyTorch và Hugging Face Diffusers, hoặc các backend được tối ưu hóa như vLLM và TRT-LLM.

Đối với mô phỏng, nền tảng sử dụng World Scenario Maps (WSM) để kiểm soát các yếu tố cảnh như làn đường, đối tượng và biển báo giao thông. Trong quy trình làm việc của xe tự hành, các mô hình như Cosmos3-Nano-Transfer-Auto tạo ra các đoạn clip đa góc nhìn bằng cách khử nhiễu toàn bộ chuỗi cùng lúc, phù hợp cho việc tạo dữ liệu tổng hợp ngoại tuyến. Ngược lại, Cosmos3-Nano-Sim-Auto sử dụng phương pháp chưng cất nhân quả ít bước để tạo ra các quan sát theo kiểu tự hồi quy (autoregressively). Điều này cho phép đánh giá vòng lặp kín (closed-loop evaluation), nơi các hành động của chính sách cập nhật kịch bản theo thời gian thực, tạo ra một vòng phản hồi động giữa agent AI và môi trường mô phỏng.

Cosmos NIM đảm nhận phần nặng nề nhất của suy luận trong môi trường sản xuất. Nó áp dụng định tuyến nhận biết KV-cache và cắt tỉa token (token pruning) để tối đa hóa việc sử dụng tài nguyên tính toán. Trên GPU NVIDIA H200, giải mã dự đoán mang lại tốc độ tăng trung bình khoảng 2–3 lần. Hệ thống tự động chọn cấu hình dựa trên GPU mục tiêu, cân bằng giữa độ trễ cho các tác vụ tương tác và thông lượng cho xử lý hàng loạt. Yêu cầu về bộ nhớ được xác định chặt chẽ, với các tùy chọn lượng tử hóa FP8 và offloading để đưa các mô hình lớn hơn vào phần cứng hiện có.

Chi tiết quan trọng

• Cosmos Framework hỗ trợ huấn luyện và suy luận cho các mô hình Cosmos 3, Alpamayo, GR00T, Qwen và pi0.5.
• Cosmos3-Nano-Transfer-Auto tạo ra tối đa 400 khung hình ở độ phân giải 480p hoặc 720p với tốc độ 30 fps cho dữ liệu tổng hợp ngoại tuyến.
• Giải mã dự đoán trong Cosmos NIM đạt tốc độ tăng gấp khoảng 2–3 lần trên GPU H200 so với suy luận tiêu chuẩn.
• Việc tạo sinh với Cosmos3-Nano yêu cầu 58 GiB VRAM ở định dạng BF16, có thể giảm xuống còn 44 GiB ở FP8, hoặc 31 GiB khi sử dụng offloading.
• Các mô hình mô phỏng phẫu thuật như Cosmos3-H-Dreams cho phép thử nghiệm vòng lặp kín theo thời gian thực các chính sách bằng cách sử dụng động học robot trực tiếp.
• Các container NIM cung cấp các bản cập nhật hàng quý cho tính năng, tối ưu hóa và bảo mật, kèm theo lựa chọn cấu hình tự động cho các GPU được hỗ trợ.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng AI vật lý, khoảng cách giữa việc huấn luyện mô hình và triển khai nó trong một môi trường thực tế trước đây thường rất lớn và đầy rẫy các vấn đề tương thích. Cosmos Framework lấp đầy khoảng trống này bằng cách cung cấp các công thức chuẩn hóa cho việc thích ứng cảm biến. Thay vì viết mã tùy chỉnh để căn chỉnh dữ liệu LiDAR với luồng camera, các nhà phát triển có thể sử dụng các agent dựng sẵn để xử lý việc đồng bộ hóa và xác thực. Điều này giảm bớt gánh nặng kỹ thuật cần thiết để tạo ra các tập dữ liệu tổng hợp độ trung thực cao, vốn rất cần thiết cho việc huấn luyện các hệ thống nhận thức mạnh mẽ.

Việc giới thiệu các microservice NIM được tối ưu hóa cũng chuyển trọng tâm từ quản lý cơ sở hạ tầng sang logic ứng dụng. Bằng cách đóng gói engine suy luận vào container với các tối ưu hóa tích hợp sẵn như lượng tử hóa và caching, NVIDIA loại bỏ nhu cầu các nhóm phải tự tay tinh chỉnh các tham số hiệu suất cho các kiến trúc GPU khác nhau. Điều này đặc biệt có giá trị đối với cả các startup và đội ngũ doanh nghiệp, vì nó đảm bảo rằng các mô hình chạy hiệu quả trên phần cứng hiện có mà không cần thử sai và profiling tốn kém.

Hơn nữa, khả năng mô phỏng các tương tác vật lý phức tạp, chẳng hạn như biến dạng mô trong phẫu thuật hoặc kịch bản giao thông đa tác nhân, mà không cần mô hình hóa vật lý tường minh là một bước nhảy vọt đáng kể. Mô phỏng tạo sinh học trực tiếp động lực học thị giác từ dữ liệu, cho phép tạo ra các môi trường thử nghiệm thực tế và đa dạng hơn. Khả năng này cho phép đánh giá an toàn và kỹ lưỡng hơn các chính sách AI trước khi chúng tương tác với phần cứng vật lý, giảm thiểu rủi ro và đẩy nhanh chu kỳ lặp lại.

Bạn có thể làm gì

• Tải xuống Cosmos Framework từ repository để truy cập các kỹ năng agent cho huấn luyện, hậu huấn luyện và khắc phục sự cố.
• Chạy công thức Cosmos3-Nano-Transfer-Auto bằng cách sử dụng các mẫu checkpoint được cung cấp để tạo dữ liệu video và LiDAR đồng bộ.
• Đánh giá bộ nhớ GPU hiện tại của bạn so với bảng yêu cầu VRAM đã công bố để chọn chiến lược lượng tử hóa phù hợp.
• Khởi động một container Cosmos NIM bằng Docker và khóa API NGC của bạn để thử nghiệm suy luận tăng tốc trên máy cục bộ.
• Sử dụng hướng dẫn Sim-Auto Interactive Drive để thiết lập các mô phỏng vòng lặp kín cho việc đánh giá chính sách xe tự hành.
• Khám phá các pipeline học tăng cường, chẳng hạn như DPO và GRPO, để tinh chỉnh mô hình trên các tập dữ liệu độc quyền cụ thể của bạn.