AI agents tự động hóa quy trình mô phỏng robot từ prompt đến policy

NVIDIA đã phác thảo một quy trình làm việc mới sử dụng các tác nhân trí tuệ nhân tạo (AI agents) để tự động hóa việc tạo ra các môi trường mô phỏng phục vụ huấn luyện robot. Được công bố vào ngày 23 tháng 10 năm 2026, bài phân tích kỹ thuật chi tiết này giải thích cách các công cụ như Hermes, Nemotron và Astra phối hợp để biến một câu lệnh văn bản đơn giản thành một chướng ngại vật hoàn chỉnh cho robot có tên là Microduck. Quy trình này thu hẹp khoảng cách giữa lập kế hoạch cấp cao và mô phỏng vật lý cấp thấp, cho phép các nhà phát triển huấn luyện các chính sách di chuyển (locomotion policies) hoàn toàn trên phần mềm trước khi triển khai lên phần cứng.

Chuyện gì đã xảy ra

Trọng tâm của sự phát triển này là việc sử dụng NVIDIA RTX Spark như một trung tâm phát triển cục bộ. Trong cấu hình này, các AI agent đóng vai trò là cầu nối chuyển đổi ý định của con người thành các bước thực thi kỹ thuật. Quy trình bắt đầu khi nhà phát triển cung cấp một câu lệnh mô tả nhiệm vụ mong muốn, chẳng hạn như xây dựng một chướng ngại vật cho Microduck. Các agent Hermes và NVIDIA Nemotron 3.5 Bolt phân tích yêu cầu này và tạo ra một kế hoạch dự án có cấu trúc. Kế hoạch bao gồm việc nghiên cứu khả năng của robot, xác định bố cục chướng ngại vật và liệt kê các tài sản số cần thiết.

Sau khi kế hoạch được thiết lập, agent Astra tiếp quản để tạo ra các tài sản mô phỏng 3D. Astra nâng cao chất lượng hình ảnh tham khảo, mô hình hóa hình học bằng FreeCAD và áp dụng vật liệu trong Blender. Các tài sản này sau đó được xuất dưới dạng tệp Universal Scene Description (USD). Môi trường được lắp ráp trong NVIDIA Isaac Sim, sử dụng thư viện Omniverse cho kết xuất (rendering) và Newton cho mô hình hóa vật lý. Cuối cùng, hành vi của robot được huấn luyện bằng NVIDIA Isaac Lab, chạy hàng nghìn mô phỏng song song để dạy robot cách đi lại và vượt qua chướng ngại vật mà không bị ngã.

Cách thức hoạt động

Công nghệ này dựa vào chuỗi các mô hình AI chuyên biệt và công cụ mô phỏng hoạt động tuần tự. Đầu tiên, các mô hình ngôn ngữ lớn diễn giải câu lệnh ngôn ngữ tự nhiên để chia nhỏ vấn đề thành các nhiệm vụ dễ quản lý. Chúng xác định những đối tượng nào cần thiết và cách chúng tương tác với nhau. Đối với việc tạo tài sản, hệ thống sử dụng các công cụ chỉnh sửa hình ảnh và thiết kế hỗ trợ máy tính (CAD) một cách chương trình hóa. Astra đảm bảo độ trung thực trực quan của các đối tượng được tạo khớp với khái niệm ban đầu, đồng thời duy trì độ chính xác vật lý cho công cụ mô phỏng.

Việc huấn luyện diễn ra thông qua học tăng cường (reinforcement learning) trong một môi trường song song quy mô lớn. NVIDIA Isaac Lab khởi tạo 4.096 phiên bản của robot Microduck đồng thời trên một GPU duy nhất. Mỗi phiên bản tương tác với công cụ mô phỏng vật lý, Newton, tính toán lực, cân bằng và va chạm theo thời gian thực. Robot nhận dữ liệu quan sát từ cảm biến độ sâu camera đầu và dữ liệu trạng thái nội bộ. Dựa trên phần thưởng cho việc giữ thăng bằng và di chuyển về phía trước, chính sách cập nhật trọng số mạng nơ-ron của nó. Vòng lặp này lặp lại hàng triệu lần, cho phép robot học các kỹ năng vận động phức tạp nhanh hơn nhiều so với thử nghiệm trong thế giới thực.

Chi tiết chính

• Trung tâm cục bộ: NVIDIA RTX Spark đóng vai trò là trạm làm việc trung tâm cho việc lập kế hoạch và xác thực cục bộ.
• AI Agents: Hermes và Nemotron 3.5 Bolt xử lý việc lập kế hoạch, trong khi Astra quản lý việc tạo tài sản và lắp ráp môi trường.
• Công cụ mô phỏng: NVIDIA Isaac Sim xử lý kết xuất và mô phỏng cảm biến, trong khi Newton quản lý vật lý.
• Quy mô huấn luyện: Các chính sách được huấn luyện bằng cách sử dụng 4.096 môi trường song song trên GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition.
• Thư viện tài sản: Nhà phát triển có thể bổ sung các tài sản được tạo bằng hơn 2.000 mô hình không giới hạn truy cập từ SimReady Central Library.
• Chuẩn bị Sim-to-Real: Quy trình bao gồm Better Actuator Models và randomization miền (domain randomization) để chuẩn bị các chính sách cho việc triển khai thực tế.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà phát triển robot, quy trình làm việc này giảm đáng kể ma sát liên quan đến việc thiết lập các môi trường mô phỏng. Theo truyền thống, việc tạo ra một nền tảng thử nghiệm thực tế đòi hỏi phải mô hình hóa 3D thủ công, tinh chỉnh vật lý cẩn thận và viết script mở rộng. Bằng cách tự động hóa các bước này với AI agents, các nhóm có thể lặp lại hành vi của robot nhanh hơn nhiều. Khả năng đi từ mô tả văn bản đến một chính sách đã được huấn luyện trong một pipeline thống nhất có nghĩa là việc tạo nguyên mẫu cho các nhiệm vụ robot mới trở nên dễ tiếp cận hơn với những người có thể không có chuyên môn sâu về đồ họa máy tính hoặc cấu hình công cụ mô phỏng vật lý.

Hơn nữa, việc tách biệt các giai đoạn huấn luyện và xác thực đảm bảo tính bền vững. Huấn luyện ở quy mô lớn trên đám mây hoặc trên các trạm làm việc mạnh mẽ cho phép khám phá kỹ lưỡng các trường hợp biên (edge cases), chẳng hạn như địa hình gồ ghề hoặc chướng ngại vật bất ngờ. Việc xác thực chính sách cuối cùng cục bộ trên RTX Spark cung cấp một môi trường được kiểm soát để xác minh hiệu suất trước khi mạo hiểm với phần cứng đắt tiền. Cách tiếp cận này giúp thu hẹp khoảng cách sim-to-real, đảm bảo rằng các hành vi học được trong mô phỏng chuyển giao hiệu quả sang các robot vật lý như Microduck.

Bạn có thể làm gì

• Tải xuống các binary Windows x86 cho NVIDIA Isaac Sim để chạy trên RTX Spark thông qua giả lập.
• Truy cập SimReady Central Library để tìm các tài sản USD có sẵn cho môi trường mô phỏng của riêng bạn.
• Xem xét tài liệu Isaac Lab để hiểu cách xác định phần thưởng và quan sát cho học tăng cường.
• Theo dõi hướng dẫn sim-to-real của Microduck trên Hugging Face để điều chỉnh quy trình làm việc này cho việc triển khai robot vật lý.
• Thử nghiệm với môi trường ví dụ Microduck trong Isaac Lab để thực hành huấn luyện các chính sách di chuyển.
• Sử dụng Better Actuator Models trong Isaac Lab để mô phỏng độ trễ phản hồi servo và backlash cơ khí nhằm huấn luyện thực tế hơn.