NVIDIA Workload Map vereinheitlicht die Analyse von Kubernetes-KI-Workloads

NVIDIA hat Workload Map veröffentlicht, eine Open-Source-Komponente, die darauf abzielt, zu standardisieren, wie Kubernetes-Tools verteilte KI-Workloads interpretieren. Das Projekt wurde im November 2026 als Teil der NVIDIA DSX AI Factory Platform vorgestellt und soll die Fragmentierung beseitigen, die durch unterschiedliche Custom Resource Definitions (CRDs) in verschiedenen KI-Frameworks entsteht.

Was ist passiert

Der Betrieb von KI-Infrastruktur auf Kubernetes umfasst oft die Verwaltung komplexer verteilter Aufgaben, wie etwa Multi-Node-Trainingsjobs oder Inferenzserver. Diese Workloads bestehen selten aus einzelnen Pods; sie sind vielmehr Ressourcenbäume mit spezifischen Rollen, Replikanzahlen und Statusindikatoren. Allerdings kodiert jedes KI-Framework diese Informationen anders. So verwenden beispielsweise JobSet, LeaderWorkerSet und RayCluster jeweils unterschiedliche Custom Resource Definitions (CRDs), um ihre Struktur zu beschreiben.

Diese Vielfalt stellt Teams, die Scheduler, Controller, Dashboards oder Tools zum Kostenmanagement entwickeln, vor erhebliche Herausforderungen. Entwickler müssen separaten Adaptercode für jedes neue Framework schreiben, das sie unterstützen möchten. Die Entwicklung dieser Adapter wird zu einem wiederkehrenden Punkt auf der Roadmap, anstatt einmalige Engineering-Kosten zu verursachen, was häufig dazu führt, dass die Unterstützung neuer Workload-Typen verzögert wird, bis ein bestimmtes Software-Release verfügbar ist.

Um dies anzugehen, hat NVIDIA Workload Map eingeführt, das eine gemeinsame Beschreibung der Kubernetes-Workload-Struktur bereitstellt. Das Projekt enthält einen Katalog vorgefertigter Definitionen für populäre Frameworks, darunter JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet und NVIDIA Dynamo. Indem das Wissen über Workloads aus kompilierten Adaptern in deklarative Daten verlagert wird, ermöglicht das Tool Plattformen, unterstützte Workload-Typen zu interpretieren, ohne für jeden einzelnen separate Parsing-Logik pflegen zu müssen.

Wie es funktioniert

Workload Map fungiert als Kubernetes-CRD (ehemals bekannt als Karta) und wird von einer Go-Bibliothek begleitet, die diese Workload-Definitionen interpretiert. Jede Definition legt genau fest, wo Pod-Vorlagen, Replikanzahlen und Statusfelder für einen bestimmten Workload-Typ zu finden sind. Die Go-Bibliothek löst ein Live-Objekt in eine einheitliche strukturelle Ansicht auf, sodass Nutzer Metadaten extrahieren, Pod-Specs aktualisieren und die Workload-Hierarchie konsistent verstehen können.

Ein wichtiges Merkmal ist die Übersetzungsebene für Status-Mappings. Da verschiedene Frameworks den Status unterschiedlich melden, bilden die Workload-Map-Definitionen native Bedingungen auf ein gemeinsames Vokabular ab. Beispielsweise meldet JobSet keine einfache "Running"-Bedingung. Stattdessen leitet die Definition diesen Zustand über einen jq-Ausdruck ab, indem geprüft wird, ob ein Job bereit und aktiv ist, während keiner fehlgeschlagen ist. Dies stellt sicher, dass ein RayJob oder ein LeaderWorkerSet seine eindeutigen Statusindikatoren auf dieselben Standardkategorien abbilden kann, die von Monitoring-Tools verwendet werden.

Das System unterstützt mehrere Nutzungsmodelle. Die Workload Map CLI kann Workloads direkt aus einem Cluster inspizieren, ohne die CRD installieren zu müssen, und rendert eine Baumansicht der Rollen und Ressourcenanfragen. Für das Scheduling nutzt der KAI Scheduler diese Definitionen, um Gang-Scheduling durchzusetzen und sicherzustellen, dass alle Pods einer Gruppe gemeinsam geplant werden. Plattformen wie NVIDIA Run:ai verwenden dieselben Definitionen zur Sichtbarkeitsverwaltung, indem sie einen verteilten Job als einzelne, einheitliche Entität darstellen, anstatt als Sammlung disparate Pods.

Wichtige Details

• Workload Map bietet vorgefertigte Definitionen für mehr als zehn große KI-Frameworks, darunter JobSet, RayCluster und PyTorchJob.
• Das Projekt steht unter der Apache-2.0-Lizenz und ist Teil der NVIDIA DSX AI Factory Platform.
• Eine Go-Bibliothek und eine CLI ermöglichen es Tools, Live-Objekte in eine einheitliche strukturelle Ansicht aufzulösen, ohne benutzerdefinierte Parser.
• Status-Mappings verwenden jq-Ausdrücke, um frameworkspezifische Bedingungen in Standardzustände wie Running, Completed oder Failed zu übersetzen.
• Der Nova-Scheduler von Elotl nutzt Workload Map, um die Workload-Struktur für Multi-Cluster-Scheduling-Entscheidungen zu interpretieren.
• Die CLI kann Workloads unter Verwendung nur eines kubeconfig-Files inspizieren, ohne dass die Workload Map CRD im Cluster installiert werden muss.

Warum das wichtig ist

Für Software-Ingenieure, die KI-Infrastrukturen bauen, reduziert Workload Map den Wartungsaufwand bei der Unterstützung neuer Frameworks. Anstatt für jede CRD neuen Adaptercode zu schreiben und zu testen, können Entwickler sich auf eine standardisierte Schnittstelle verlassen. Dies beschleunigt die Integration neuer KI-Tools in bestehende Plattformen und stellt sicher, dass Scheduler und Monitore die Workload-Anforderungen vom ersten Tag an korrekt interpretieren können.

Die Standardisierung verbessert auch die operative Sichtbarkeit. Ohne eine gemeinsame Beschreibung müssen Operatoren Workload-Strukturen manuell rekonstruieren, um die gesamte Ressourcennutzung zu verstehen, z. B. durch Aggregation von GPU-Anfragen über mehrere Pods hinweg. Workload Map automatisiert diese Aggregation und liefert klare Einblicke in die Hierarchie und den Ressourcenverbrauch verteilter Jobs. Diese Klarheit ist für ein effektives Kostenmanagement und die Kapazitätsplanung in großskaligen KI-Fabriken unerlässlich.

Darüber hinaus fördert die Entkopplung der Workload-Interpretation von spezifischem Plattformcode ein modulareres Ökosystem. Tools wie der KAI Scheduler und NVIDIA Run:ai können dieselben Definitionen teilen, was doppelte Arbeit reduziert. Wenn der Katalog der unterstützten Frameworks wächst, sinkt die Einstiegshürde für neue KI-Workloads auf Kubernetes, was eine schnellere Adoption aufkommender Technologien ermöglicht, ohne die Verwaltbarkeit zu beeinträchtigen.

Was Sie tun können

• Erkunden Sie den Workload-Katalog im GitHub-Repository der NVIDIA DSX AI Factory, um Definitionen für die Frameworks zu finden, die Sie derzeit nutzen.
• Installieren Sie die Workload Map CLI über Homebrew, um Ihre bestehenden Kubernetes-Workloads zu inspizieren und deren Struktur zu visualisieren.
• Prüfen Sie das Beispiel für die JobSet-Definition, um zu verstehen, wie Status-Mappings und Pod-Vorlagen in YAML deklariert werden.
• Wenn Sie den KAI Scheduler verwenden, konfigurieren Sie ihn so, dass er Workload Map als Fallback für die Pod-Gruppierung bei nicht unterstützten Workload-Typen nutzt.
• Treten Sie dem Slack-Workspace der NVIDIA DSX AI Factory bei, um Integrationen zu diskutieren und Feedback zu Workload-Definitionen zu geben.
• Erwägen Sie das Schreiben einer eigenen YAML-Definition, wenn Sie ein Nischen-Framework betreiben, das noch nicht im vorgefertigten Katalog enthalten ist.