Des agents d'IA automatisent les flux de travail de simulation robotique, du prompt à la politique

NVIDIA a présenté un nouveau flux de travail utilisant des agents d'intelligence artificielle pour automatiser la création d'environnements simulés destinés à l'entraînement de robots. Publiée le 23 octobre 2026, cette analyse technique détaillée explique comment des outils tels que Hermes, Nemotron et Astra collaborent pour transformer une simple invite textuelle en un parcours d'obstacles entièrement fonctionnel pour un robot nommé Microduck. Ce processus comble le fossé entre la planification de haut niveau et la simulation physique de bas niveau, permettant aux développeurs d'entraîner des politiques de locomotion entièrement dans le logiciel avant leur déploiement sur le matériel.

Ce qui s'est passé

Le cœur de ce développement réside dans l'utilisation de NVIDIA RTX Spark comme centre de développement local. Dans cette configuration, les agents d'IA agissent comme intermédiaires traduisant l'intention humaine en étapes d'exécution technique. Le flux de travail commence lorsqu'un développeur fournit une invite décrivant la tâche souhaitée, par exemple la construction d'un parcours d'obstacles pour Microduck. Les agents Hermes et NVIDIA Nemotron 3.5 Bolt analysent cette demande et génèrent un plan de projet structuré. Ce plan comprend l'étude des capacités du robot, la définition de la disposition du parcours et la liste des ressources numériques nécessaires.

Une fois le plan établi, l'agent Astra prend le relais pour créer les ressources de simulation 3D. Astra améliore les images de référence, modélise la géométrie à l'aide de FreeCAD et applique des matériaux dans Blender. Ces ressources sont ensuite exportées sous forme de fichiers Universal Scene Description (USD). L'environnement est assemblé dans NVIDIA Isaac Sim, qui utilise les bibliothèques Omniverse pour le rendu et Newton pour la modélisation physique. Enfin, le comportement du robot est entraîné à l'aide de NVIDIA Isaac Lab, qui exécute des milliers de simulations parallèles pour apprendre au robot à marcher et à naviguer parmi les obstacles sans tomber.

Comment cela fonctionne

La technologie repose sur une chaîne de modèles d'IA spécialisés et de moteurs de simulation travaillant en séquence. Tout d'abord, les grands modèles de langage interprètent l'invite en langage naturel pour décomposer le problème en tâches gérables. Ils identifient les objets nécessaires et la manière dont ils doivent interagir. Pour la création de ressources, le système utilise programmatiquement des outils de retouche d'image et de conception assistée par ordinateur. Astra veille à ce que la fidélité visuelle des objets générés corresponde au concept initial tout en maintenant une précision physique pour le moteur de simulation.

L'entraînement se déroule grâce à l'apprentissage par renforcement dans un environnement massivement parallèle. NVIDIA Isaac Lab génère simultanément 4 096 instances du robot Microduck sur un seul GPU. Chaque instance interagit avec le moteur de physique simulé, Newton, qui calcule les forces, l'équilibre et les collisions en temps réel. Le robot reçoit des observations provenant de ses capteurs de profondeur intégrés à sa caméra frontale et de données sur son état interne. En fonction des récompenses obtenues pour rester debout et avancer, la politique met à jour les poids de son réseau neuronal. Cette boucle se répète des millions de fois, permettant au robot d'apprendre des compétences motrices complexes beaucoup plus rapidement que lors d'essais dans le monde réel.

Détails clés

• Centre local : NVIDIA RTX Spark sert de station de travail centrale pour la planification et la validation locale.
• Agents d'IA : Hermes et Nemotron 3.5 Bolt gèrent la planification, tandis qu'Astra assure la création des ressources et l'assemblage de l'environnement.
• Outils de simulation : NVIDIA Isaac Sim gère le rendu et la simulation des capteurs, tandis que Newton gère la physique.
• Échelle d'entraînement : Les politiques sont entraînées à l'aide de 4 096 environnements parallèles sur un GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition.
• Bibliothèque de ressources : Les développeurs peuvent compléter les ressources générées avec plus de 2 000 modèles non restreints issus de la SimReady Central Library.
• Préparation sim-to-real : Le flux de travail inclut Better Actuator Models et la randomisation de domaine pour préparer les politiques au déploiement physique.

Pourquoi c'est important

Pour les ingénieurs logiciels et les développeurs en robotique, ce flux de travail réduit considérablement les frictions liées à la mise en place d'environnements de simulation. Traditionnellement, la création d'un banc d'essai réaliste nécessite une modélisation 3D manuelle, un réglage minutieux de la physique et une programmation extensive. En automatisant ces étapes avec des agents d'IA, les équipes peuvent itérer sur les comportements des robots beaucoup plus rapidement. La capacité de passer d'une description textuelle à une politique entraînée dans un pipeline unifié rend le prototypage de nouvelles tâches robotiques accessible à ceux qui ne possèdent pas nécessairement une expertise approfondie en infographie ou en configuration de moteurs physiques.

De plus, la séparation des étapes d'entraînement et de validation garantit la robustesse. L'entraînement à grande échelle dans le cloud ou sur des stations de travail puissantes permet une exploration exhaustive des cas limites, tels que les terrains irréguliers ou les obstacles inattendus. La validation de la politique finale localement sur RTX Spark offre un environnement contrôlé pour vérifier les performances avant de risquer un matériel coûteux. Cette approche aide à combler le fossé sim-to-real, assurant que les comportements appris en simulation se transfèrent efficacement aux robots physiques comme Microduck.

Ce que vous pouvez faire

• Téléchargez les binaires Windows x86 pour NVIDIA Isaac Sim afin de l'exécuter sur RTX Spark via émulation.
• Accédez à la SimReady Central Library pour trouver des ressources USD préfabriquées pour vos propres environnements de simulation.
• Consultez la documentation d'Isaac Lab pour comprendre comment définir les récompenses et les observations pour l'apprentissage par renforcement.
• Suivez le tutoriel sim-to-real de Microduck sur Hugging Face pour adapter ce flux de travail au déploiement sur des robots physiques.
• Expérimentez avec l'environnement d'exemple Microduck dans Isaac Lab pour pratiquer l'entraînement de politiques de locomotion.
• Utilisez Better Actuator Models dans Isaac Lab pour simuler les délais de réponse des servomoteurs et le jeu mécanique pour un entraînement plus réaliste.