Cloud & Infrastruktur

Kubernetes-Scheduling für verteiltes KI-Training optimieren

Die Standard-Scheduling-Mechanismen von Kubernetes scheitern bei verteilten KI-Jobs. Topologie-bewusste Platzierung und Gang-Scheduling über Kueue und Coscheduling lösen Latenz- und Synchronisationsprobleme.

Diagramm, das Serverschränke mit Hochgeschwindigkeitsverbindungen zeigt, die von einem zentralen Scheduler verwaltet werden
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Verteiltes KI-Training stellt einzigartige Anforderungen an die Cluster-Infrastruktur, die das standardmäßige Kubernetes-Scheduling nicht erfüllen kann. Im November 2026 hebt die Cloud Native Computing Foundation hervor, wie topologie-bewusstes Scheduling und Gang-Scheduling diese Lücken schließen. Diese Mechanismen stellen sicher, dass GPUs effizient kommunizieren und Jobs gleichzeitig starten, um verschwendete Kapazitäten zu vermeiden.

Was passiert ist

Standard-Kubernetes-Scheduler behandeln Pods als unabhängige Einheiten und platzieren sie einzeln auf jedem verfügbaren Knoten. Dieser Ansatz funktioniert für typische Web-Services, versagt jedoch beim verteilten KI-Training, wo Pods eng gekoppelt sind. Wenn ein einzelner Pod eines Trainingsjobs verzögert wird oder auf einem entfernten Knoten platziert wird, leidet der gesamte Job unter hoher Latenz oder kommt vollständig zum Stillstand. Das Ergebnis ist Hardware, die ausgelastet erscheint, aber eine schlechte Trainings-Durchsatzleistung liefert.

Um dies zu lösen, hat das Ökosystem zwei komplementäre Strategien übernommen: topologie-bewusstes Scheduling (TAS) und Gang-Scheduling. TAS stellt sicher, dass Pods auf Hardware mit optimaler GPU-zu-GPU-Bandbreite landen, beispielsweise innerhalb desselben Racks oder Knotens. Gang-Scheduling stellt sicher, dass alle Pods eines Jobs gleichzeitig starten, was Szenarien verhindert, in denen einige GPUs im Leerlauf verweilen, während sie auf die Bereitschaft anderer warten. Diese Funktionen werden durch Tools wie Kueue und das Coscheduling-Plugin implementiert.

Kueue fungiert als Gatekeeper oberhalb des Standard-kube-schedulers. Es bewertet Jobs basierend auf Quota, Priorität und Topologie-Einschränkungen, bevor sie den Scheduler erreichen. Indem Kueue Knoten in Domänen wie Host, Rack oder Block gruppiert, beschränkt es die Platzierung auf Bereiche, die die Bandbreitenanforderungen erfüllen. Dies verhindert, dass der Scheduler Worker über Netzwerkverbindungen mit hoher Latenz verteilt, was die Leistung beim Training großer Modelle erheblich beeinträchtigen würde.

Wie es funktioniert

Topologie-bewusstes Scheduling basiert auf Labels, die auf Knoten angewendet werden, wie z. B. topology.kubernetes.io/rack. Kueue verwendet diese Labels, um Knoten in Domänen zu gruppieren. Wenn ein Job eingereicht wird, prüft Kueue, ob eine einzelne Domäne die Ressourcenanforderungen des Jobs erfüllen kann. Ist dies der Fall, schreibt es Einschränkungen in die Pod-Vorlagen, wodurch der Kubernetes-Scheduler gezwungen wird, alle Pods innerhalb dieser spezifischen Domäne zu platzieren. Dies hält den Kommunikationsverkehr lokal und nutzt Hochgeschwindigkeits-Interconnects wie NVLink oder InfiniBand anstelle langsamerer Cross-Rack-Netzwerke.

Gang-Scheduling löst das Synchronisationsproblem. Es verwendet eine benutzerdefinierte Ressource namens PodGroup, um eine Gruppe verwandter Pods zu verfolgen. Der Scheduler hält alle Pods in einem Wartezustand, bis die Mindestanzahl der erforderlichen Pods (spec.minMember) gleichzeitig geplant werden kann. Wenn die vollständige Gang nicht platziert werden kann, startet keiner der Pods. Dies verhindert Teilstarts, bei denen zugewiesene Ressourcen im Leerlauf bleiben, und stellt sicher, dass GPU-Kapazität nur dann effektiv genutzt wird, wenn der gesamte Job fortgesetzt werden kann.

Wichtige Details

  • Unabhängig vs. Gekoppelt: Standard-Scheduling platziert Pods unabhängig; KI-Training erfordert koordinierte Platzierung für Kommunikation mit niedriger Latenz.
  • Topologie-Domänen: Knoten werden nach Labels in Domänen wie Host, Rack oder Block gruppiert, um Bandbreitengrenzen zu definieren.
  • Rolle von Kueue: Kueue lässt Jobs basierend auf Quota und Topologie zu und schreibt Platzierungseinschränkungen, bevor der Standard-Scheduler handelt.
  • Gang-Koordination: Coscheduling verwendet PodGroups, um sicherzustellen, dass alle erforderlichen Pods gemeinsam starten, und vermeidet so teilweise Ressourcenzuweisungen.
  • Latenz-Auswirkung: Cross-Rack-Kommunikation führt zu erheblicher Latenz, was die effektive GPU-Auslastung beim großskaligen Training reduziert.
  • Validierungs-Metriken: Wichtige Metriken umfassen kueue_pending_workloads, kueue_admission_wait_time_seconds und Statusphasen von PodGroups.

Warum es wichtig ist

Für Engineering-Teams, die KI-Infrastrukturen aufbauen, führt ineffizientes Scheduling direkt zu höheren Kosten und einer langsameren Modellentwicklung. Wenn Trainingsjobs aufgrund schlechter Platzierung langsam laufen, zahlen Organisationen für GPU-Stunden, die keinen Beitrag zur sinnvollen Berechnung leisten. Infrastruktur-Metriken können eine hohe Auslastung anzeigen und dabei verdecken, dass die Hardware durch Netzwerklatenz und nicht durch Compute-Limits begrenzt ist. Die Implementierung von TAS und Gang-Scheduling stellt sicher, dass teure GPU-Ressourcen maximalen Durchsatz liefern.

Darüber hinaus verbessert sich die betriebliche Zuverlässigkeit, wenn Jobs als kohärente Einheiten geplant werden. Teilstarts können zu komplexen Debugging-Szenarien führen, in denen einige Worker fehlschlagen oder Timeouts erleiden, während andere warten. Durch die Erzwingung gleichzeitiger Starts und lokalisierter Platzierung reduzieren Teams die Angriffsfläche für Fehler. Diese Vorhersehbarkeit ist entscheidend für großskalige Pretraining-Jobs, bei denen die Verzögerung eines einzelnen Schritts sich über Tausende von Iterationen kumulativ auswirkt und die gesamten Projektzeitpläne beeinflusst.

Was Sie tun können

  • Knoten labeln: Wenden Sie Topologie-Labels wie topology.kubernetes.io/rack auf Ihre GPU-Knoten an, um domänenbewusste Platzierung zu ermöglichen.
  • Kueue bereitstellen: Installieren Sie Kueue, um die Job-Zulassung zu verwalten und Topologie-Einschränkungen vor dem Scheduling durchzusetzen.
  • PodGroups konfigurieren: Verwenden Sie das Coscheduling-Plugin, um PodGroups für Ihre Trainingsjobs zu definieren und spec.minMember korrekt festzulegen.
  • Zulassung überwachen: Verfolgen Sie kueue_pending_workloads, um Jobs zu identifizieren, die aufgrund von Quota- oder Topologie-Problemen in der Warteschlange stecken.
  • Platzierung validieren: Prüfen Sie status.admission.podSetAssignments in Kueue Workload-Objekten, um zu bestätigen, dass sich die Pods in der richtigen Domäne befinden.
  • Durchsatz prüfen: Korrelieren Sie Scheduling-Metriken mit dem Trainingsdurchsatz, um sicherzustellen, dass Verbesserungen bei der Platzierung zu Leistungssteigerungen führen.
  • #kubernetes
  • #ai infrastructure
  • #gpu scheduling
  • #machine learning ops
  • #distributed systems

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel