NVIDIA Cosmos vereinfacht die Simulation und Bereitstellung von Physical AI

NVIDIA hat Cosmos vorgestellt, eine umfassende Plattform, die darauf abzielt, die Entwicklung von Physical AI durch World Foundation Models und spezialisierte Entwicklungstools zu beschleunigen. Die im November 2026 veröffentlichte Suite adressiert kritische Engpässe bei der Sensoranpassung und der zuverlässigen Modellbereitstellung in Branchen, die von autonomem Fahren bis hin zur chirurgischen Robotik reichen.

Was passiert ist

Der Launch konzentriert sich auf zwei Hauptkomponenten: das Open-Source-Cosmos-Framework und die optimierten Cosmos-NIM-Microservices. Das Framework bietet modulare Tools für den gesamten Lebenszyklus der Entwicklung von Weltmodellen, einschließlich Training, Reinforcement Learning, Optimierung und Inferenz. Es unterstützt ein wachsendes Ökosystem von Modellen, darunter Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen und pi0.5, was Entwicklern ermöglicht, mit vielfältigen Datentypen wie Text, Video, Audio und Aktionssequenzen zu trainieren.

Gleichzeitig hat NVIDIA spezifische Simulationsrezepte für Cosmos 3 Nano veröffentlicht. Diese Rezepte ermöglichen die Generierung synchronisierter Kameravideos und LiDAR-Beobachtungen für Szenarien im autonomen Fahren, in der Robotik und in der Chirurgie. Durch die Bereitstellung sofort lauffähiger Checkpoints zielt das Unternehmen darauf ab, die Einstiegshürde für Ingenieure zu senken, die Modelle gegen eigene Sensoren und Aktionsräume evaluieren müssen, ohne komplexe Physik-Engines von Grund auf neu zu entwickeln.

Auf der Seite der Bereitstellung bieten die Cosmos-NIM-Microservices GPU-beschleunigtes Serving über Application APIs. Diese Container sind so konzipiert, dass sie den Speicherverbrauch reduzieren und die Inferenzgeschwindigkeit durch Techniken wie Quantisierung und Speculative Decoding erhöhen. Dieser doppelte Ansatz ermöglicht es Teams, schnell an der Modellarchitektur mit dem Framework zu iterieren, während sie sich auf NIM für stabiles, leistungsstarkes Production-Serving verlassen.

Wie es funktioniert

Das Cosmos Framework arbeitet, indem Agent Skills direkt in den Entwicklungsworkflow integriert werden. Entwickler können diese Skills nutzen, um Aufgaben wie Post-Training, Dataset-Validierung und Evaluation zu automatisieren. Das Framework unterstützt verschiedene Reinforcement-Learning-Pfade, einschließlich Offline Preference Optimization (DPO) und Online RL mit regelbasierten Belohnungen (GRPO). Es erleichtert auch Model Distillation und Quantisierung, sodass Ingenieure Modellgrößen verkleinern oder Generierungsschritte reduzieren können, während die Qualität erhalten bleibt. Die Inferenz kann unter Verwendung standardmäßiger Bibliotheken wie PyTorch und Hugging Face Diffusers oder optimierter Backends wie vLLM und TRT-LLM ausgeführt werden.

Für die Simulation nutzt die Plattform World Scenario Maps (WSM), um Szenenelemente wie Fahrspuren, Objekte und Verkehrszeichen zu steuern. In Workflows für autonome Fahrzeuge generieren Modelle wie Cosmos3-Nano-Transfer-Auto Multi-View-Clips, indem gesamte Sequenzen gleichzeitig entrauscht werden, was für die offline synthetische Datengenerierung geeignet ist. Umgekehrt verwendet Cosmos3-Nano-Sim-Auto kausale, Few-Step-Distillation, um Beobachtungen autoregressiv zu generieren. Dies ermöglicht Closed-Loop-Evaluationen, bei denen die Aktionen einer Policy das Szenario in Echtzeit aktualisieren und so einen dynamischen Feedback-Loop zwischen dem KI-Agenten und der simulierten Umgebung schaffen.

Cosmos NIM übernimmt die schwere Arbeit der Produktions-Inferenz. Es setzt KV-Cache-aware Routing und Token Pruning ein, um die Compute-Auslastung zu maximieren. Auf NVIDIA-H200-GPUs liefert Speculative Decoding durchschnittliche Beschleunigungen von etwa 2–3x. Das System wählt Konfigurationen automatisch basierend auf der Ziel-GPU aus und balanciert Latenz für interaktive Aufgaben gegen Durchsatz für Batch-Verarbeitung. Die Speicheranforderungen sind streng definiert, wobei FP8-Quantisierung und Offloading-Optionen verfügbar sind, um größere Modelle auf vorhandener Hardware unterzubringen.

Wichtige Details

• Das Cosmos Framework unterstützt Training und Inferenz für die Modelle Cosmos 3, Alpamayo, GR00T, Qwen und pi0.5.
• Cosmos3-Nano-Transfer-Auto generiert bis zu 400 Frames mit 480p- oder 720p-Auflösung bei 30 fps für offline synthetische Daten.
• Speculative Decoding in Cosmos NIM erreicht auf H200-GPUs ungefähr 2–3x Beschleunigung im Vergleich zur Standard-Inferenz.
• Die Generierung mit Cosmos3-Nano erfordert 58 GiB VRAM in BF16, reduzierbar auf 44 GiB in FP8 oder 31 GiB mit Offloading.
• Chirurgische Simulationsmodelle wie Cosmos3-H-Dreams ermöglichen Echtzeit-Closed-Loop-Tests von Policies unter Verwendung von Live-Robot-Kinematik.
• NIM-Container bieten quartalsweise Updates für Features, Optimierungen und Sicherheit, mit automatischer Konfigurationsauswahl für unterstützte GPUs.

Warum es wichtig ist

Für Software-Ingenieure, die Physical AI entwickeln, war die Lücke zwischen dem Training eines Modells und seiner Bereitstellung in einer realistischen Umgebung traditionell groß und voller Kompatibilitätsprobleme. Das Cosmos Framework schließt diese Lücke, indem es standardisierte Rezepte für die Sensoranpassung anbietet. Anstatt benutzerdefinierten Code zu schreiben, um LiDAR-Daten mit Kamera-Feeds abzugleichen, können Entwickler vorab erstellte Agents nutzen, um Synchronisation und Validierung zu handhaben. Dies reduziert den Engineering-Aufwand, der erforderlich ist, um hochfidelity synthetische Datensätze zu erstellen, die für das Training robuster Wahrnehmungssysteme unerlässlich sind.

Die Einführung optimierter NIM-Microservices verschiebt den Fokus zudem vom Infrastrukturmanagement zur Anwendungslogik. Indem die Inferenz-Engine mit eingebauten Optimierungen wie Quantisierung und Caching containerisiert wird, eliminiert NVIDIA die Notwendigkeit für Teams, Leistungsparameter manuell für verschiedene GPU-Architekturen zu tunen. Dies ist besonders wertvoll für Startups und Enterprise-Teams gleichermaßen, da es sicherstellt, dass Modelle effizient auf verfügbarer Hardware laufen, ohne umfangreiches Trial-and-Error-Profilings.

Darüber hinaus stellt die Fähigkeit, komplexe physikalische Interaktionen wie Gewebedeformation in der Chirurgie oder Multi-Agent-Trafficszenarien ohne explizite Physikmodellierung zu simulieren, einen bedeutenden Fortschritt dar. Generative Simulation lernt visuelle Dynamiken direkt aus Daten, was realistischere und variablere Testumgebungen ermöglicht. Diese Funktion erlaubt eine sicherere und gründlichere Evaluation von KI-Policies, bevor sie mit physischer Hardware interagieren, was das Risiko reduziert und Iterationszyklen beschleunigt.

Was Sie tun können

• Laden Sie das Cosmos Framework aus dem Repository herunter, um auf Agent Skills für Training, Post-Training und Troubleshooting zuzugreifen.
• Führen Sie das Cosmos3-Nano-Transfer-Auto-Rezept unter Verwendung der bereitgestellten Sample-Checkpoints aus, um synchronisierte Video- und LiDAR-Daten zu generieren.
• Vergleichen Sie Ihren aktuellen GPU-Speicher mit der veröffentlichten VRAM-Anforderungstabelle, um die geeignete Quantisierungsstrategie auszuwählen.
• Starten Sie einen Cosmos-NIM-Container unter Verwendung von Docker und Ihrem NGC-API-Key, um beschleunigte Inferenz auf Ihrer lokalen Maschine zu testen.
• Nutzen Sie den Sim-Auto Interactive Drive Guide, um Closed-Loop-Simulationen für die Evaluation von Policies für autonome Fahrzeuge einzurichten.
• Erkunden Sie die Reinforcement-Learning-Pipelines wie DPO und GRPO, um Modelle auf Ihre spezifischen proprietären Datensätze feinabzustimmen.