KI-Agenten automatisieren Roboter-Simulations-Workflows vom Prompt zur Policy

NVIDIA hat einen neuen Workflow vorgestellt, der künstliche Intelligenz-Agenten nutzt, um die Erstellung von simulierten Umgebungen für das Robotik-Training zu automatisieren. Der am 23. Oktober 2026 veröffentlichte technische Deep-Dive zeigt, wie Tools wie Hermes, Nemotron und Astra zusammenarbeiten, um aus einem einfachen Text-Prompt einen voll funktionsfähigen Hindernisparcours für einen Roboter namens Microduck zu machen. Dieser Prozess überbrückt die Lücke zwischen High-Level-Planung und Low-Level-Physiksimulation und ermöglicht es Entwicklern, Bewegungs-Policies vollständig in Software zu trainieren, bevor sie auf Hardware bereitgestellt werden.

Was passiert ist

Das Kernstück dieser Entwicklung ist die Nutzung von NVIDIA RTX Spark als lokales Entwicklungszentrum. In diesem Setup fungieren KI-Agenten als Vermittler, die menschliche Absichten in technische Ausführungsschritte übersetzen. Der Workflow beginnt, wenn ein Entwickler einen Prompt eingibt, der die gewünschte Aufgabe beschreibt, z. B. den Aufbau eines Hindernisparcours für Microduck. Die Agenten Hermes und NVIDIA Nemotron 3.5 Bolt analysieren diese Anfrage und generieren einen strukturierten Projektplan. Dieser Plan umfasst die Recherche der Fähigkeiten des Roboters, die Definition des Parcours-Layouts und die Auflistung der erforderlichen digitalen Assets.

Sobald der Plan erstellt ist, übernimmt der Agent Astra die Erstellung der 3D-Simulationsassets. Astra verbessert Referenzbilder, modelliert Geometrie mit FreeCAD und wendet Materialien in Blender an. Diese Assets werden anschließend als Universal Scene Description (USD)-Dateien exportiert. Die Umgebung wird in NVIDIA Isaac Sim zusammengestellt, das Omniverse-Bibliotheken für das Rendering und Newton für die Physikmodellierung nutzt. Abschließend wird das Verhalten des Roboters mit NVIDIA Isaac Lab trainiert, das Tausende parallele Simulationen durchführt, um dem Roboter beizubringen, ohne Stürze zu gehen und Hindernisse zu navigieren.

Wie es funktioniert

Die Technologie basiert auf einer Kette spezialisierter KI-Modelle und Simulations-Engines, die sequenziell arbeiten. Zunächst interpretieren große Sprachmodelle den natürlichsprachlichen Prompt, um das Problem in verwaltbare Aufgaben zu zerlegen. Sie identifizieren, welche Objekte benötigt werden und wie sie interagieren sollen. Für die Asset-Erstellung nutzt das System Bildbearbeitungs- und CAD-Tools programmatisch. Astra stellt sicher, dass die visuelle Treue der generierten Objekte mit dem ursprünglichen Konzept übereinstimmt, während die physikalische Genauigkeit für die Simulations-Engine erhalten bleibt.

Das Training erfolgt durch Reinforcement Learning in einer massiv parallelen Umgebung. NVIDIA Isaac Lab erzeugt gleichzeitig 4.096 Instanzen des Microduck-Roboters auf einer einzigen GPU. Jede Instanz interagiert mit der simulierten Physik-Engine Newton, die Kräfte, Balance und Kollisionen in Echtzeit berechnet. Der Roboter erhält Beobachtungen von seinen Tiefensensoren der Kopf-Kamera und interne Zustandsdaten. Basierend auf Belohnungen für aufrechtes Stehen und Vorwärtsbewegung aktualisiert die Policy ihre neuronalen Netzwerk-Gewichte. Dieser Loop wiederholt sich Millionen von Malen, sodass der Roboter komplexe motorische Fähigkeiten viel schneller erlernen kann als in realen Versuchen.

Wichtige Details

• Lokaler Hub: NVIDIA RTX Spark dient als zentrale Workstation für Planung und lokale Validierung.
• KI-Agenten: Hermes und Nemotron 3.5 Bolt übernehmen die Planung, während Astra die Asset-Erstellung und Umgebungszusammenstellung verwaltet.
• Simulations-Tools: NVIDIA Isaac Sim handle Rendering und Sensor-Simulation, während Newton die Physik verwaltet.
• Trainings-Skala: Policies werden unter Verwendung von 4.096 parallelen Umgebungen auf einer NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU trainiert.
• Asset-Bibliothek: Entwickler können generierte Assets mit über 2.000 ungated Modellen aus der SimReady Central Library ergänzen.
• Sim-to-Real-Vorbereitung: Der Workflow umfasst Better Actuator Models und Domain Randomization, um Policies für die physische Bereitstellung vorzubereiten.

Warum es wichtig ist

Für Software-Ingenieure und Robotik-Entwickler reduziert dieser Workflow die Reibungsverluste bei der Einrichtung von Simulationsumgebungen erheblich. Traditionell erfordert die Erstellung eines realistischen Testbetts manuelle 3D-Modellierung, sorgfältige Physik-Tuning und umfangreiches Scripting. Durch die Automatisierung dieser Schritte mit KI-Agenten können Teams Roboter-Verhalten viel schneller iterieren. Die Möglichkeit, von einer Textbeschreibung zu einer trainierten Policy in einer einheitlichen Pipeline zu gelangen, macht das Prototyping neuer Roboter-Aufgaben auch für diejenigen zugänglich, die keine tiefgehende Expertise in Computergrafik oder Physik-Engine-Konfiguration haben.

Darüber hinaus gewährleistet die Trennung von Trainings- und Validierungsphasen die Robustheit. Das Training im großen Maßstab in der Cloud oder auf leistungsstarken Workstations ermöglicht eine erschöpfende Erkundung von Edge Cases, wie unebenem Gelände oder unerwarteten Hindernissen. Die Validierung der finalen Policy lokal auf RTX Spark bietet eine kontrollierte Umgebung, um die Leistung zu überprüfen, bevor teure Hardware riskiert wird. Dieser Ansatz hilft, die Sim-to-Real-Lücke zu schließen und stellt sicher, dass in der Simulation gelernte Verhalten effektiv auf physische Roboter wie Microduck übertragen werden.

Was Sie tun können

• Laden Sie die Windows x86 Binaries für NVIDIA Isaac Sim herunter, um sie über Emulation auf RTX Spark auszuführen.
• Greifen Sie auf die SimReady Central Library zu, um vorgefertigte USD-Assets für Ihre eigenen Simulationsumgebungen zu finden.
• Prüfen Sie die Isaac Lab Dokumentation, um zu verstehen, wie Rewards und Observations für Reinforcement Learning definiert werden.
• Folgen Sie dem Microduck Sim-to-Real Tutorial auf Hugging Face, um diesen Workflow für die physische Roboter-Bereitstellung anzupassen.
• Experimentieren Sie mit der Microduck Beispiel-Umgebung in Isaac Lab, um das Training von Bewegungs-Policies zu üben.
• Verwenden Sie Better Actuator Models in Isaac Lab, um Servo-Reaktionsverzögerungen und mechanisches Backlash für realistischeres Training zu simulieren.