Cloud & Infrastruktur

GPUs auf Amazon EKS mit NVIDIA Run:ai Fractioning teilen

Ein technischer Leitfaden zeigt, wie der Open-Source-NVIDIA-Run:ai-GPU-Fractioning-Operator genutzt wird, um eine einzelne A10G-GPU über mehrere Pods hinweg auf Amazon EKS zu teilen.

Illustration eines GPU-Chips, der in zwei geteilte Speicherblöcke unterteilt ist
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Amazon Web Services hat am 19. November 2026 einen technischen Leitfaden veröffentlicht, der detailliert beschreibt, wie GPU-Sharing auf Amazon Elastic Kubernetes Service (EKS) unter Verwendung der neu als Open Source verfügbaren NVIDIA-Run:ai-Software implementiert werden kann. Der Leitfaden konzentriert sich auf den GPU Fractioning Operator, der es mehreren Workloads ermöglicht, sich eine einzelne physische GPU zu teilen, indem strenge Speicherlimits pro Pod durchgesetzt werden. Dieser Ansatz zielt auf Szenarien ab, in denen eine vollständige GPU-Zuweisung ineffizient ist, wie etwa bei interaktiven Notebooks oder kleinen Inferenzdiensten.

Was passiert ist

NVIDIA kündigte die Open-Source-Veröffentlichung seiner Run:ai-Plattform am 13. Oktober 2026 an. Als Reaktion darauf stellte AWS einen validierten Implementierungsleitfaden zur Verfügung, der zeigt, wie zwei spezifische Komponenten dieser Suite – der KAI Scheduler und der GPU Fractioning Operator – in einen Amazon-EKS-Cluster integriert werden können. Der Leitfaden adressiert einen häufigen Engpass in der KI-Infrastruktur: Wenn eine GPU zwar freien Speicher hat, aber blockiert ist, weil ein vorheriger Job das gesamte Gerät reserviert hat.

Die Demonstration nutzt eine einzelne Amazon-EC2-g5.xlarge-Instanz, die mit einer NVIDIA-A10G-Tensor-Core-GPU ausgestattet ist. In einer Standardkonfiguration kann nur ein Pod gleichzeitig auf diese GPU zugreifen, selbst wenn er nur einen Bruchteil des verfügbaren Speichers von 23.028 MiB nutzt. Durch die Installation des GPU Fractioning Operators ermöglicht das System ein softwarebasiertes Sharing. Dies erlaubt es zwei separaten Pods, gleichzeitg auf derselben physischen GPU zu laufen, wobei jeder durch einen definierten Speichercontract eingeschränkt ist.

Diese Lösung unterscheidet sich von hardwareseitiger Partitionierung wie Multi-Instance GPU (MIG), die spezielle unterstützte Hardware erfordert. Stattdessen baut sie auf dem Multi-Process Service (MPS) auf und fügt Kubernetes-native Scheduling- und Enforcement-Mechanismen hinzu. Der Leitfaden betont, dass diese Methode für GPUs geeignet ist, die MIG nicht unterstützen, oder wenn flexible Speichergrößen starrere Hardwarepartitionen bevorzugen.

Wie es funktioniert

Der Kernmechanismus basiert auf dem GPU Fractioning Operator, der sich in den Kubernetes-Scheduler integriert, um die Ressourcenzuweisung zu verwalten. Im Gegensatz zu standardmäßigen Device-Plugins, die eine GPU als einzelne binäre Ressource exponieren, führt dieser Operator das Konzept der Speichercontracts ein. Jeder Pod fordert eine bestimmte Menge an GPU-Speicher an, z. B. 8 GiB, anstatt des gesamten Geräts. Der Operator stellt dann sicher, dass die Summe dieser Contracts die physischen Limits der GPU nicht überschreitet.

Im Hintergrund nutzt das System einen Daemon namens fractiond, der über die Node Resource Interface (NRI) integriert ist. Diese Komponente kommuniziert mit dem NVIDIA-Treiber, um Speicherlimits durchzusetzen und Workloads zu isolieren. Sie nutzt zudem MPS, um gleichzeitige CUDA-Prozesse aus verschiedenen Containern auf derselben GPU ausführen zu lassen. Während MPS die Compute-Konkurrenz handhabt, kümmert sich der Operator um die Scheduling-Logik und die Speicherdurchsetzung und stellt Metriken für die Nutzung jedes Pods bereit.

Die Implementierung erfordert ein benutzerdefiniertes Amazon-Linux-2023-Image, da die standardmäßigen EKS-optimierten Images zum Zeitpunkt der Validierung noch nicht den erforderlichen R615-Treiberbranch enthielten. Die Treiberversion 615.71.10 ist entscheidend für die Unterstützung der Fractioning-Funktionen. Sobald das benutzerdefinierte Image erstellt und bereitgestellt wurde, übernimmt der KAI Scheduler die Pod-Platzierung und stellt sicher, dass Pods mit kompatiblen Speicheranforderungen auf demselben GPU-Node ko-lokalisiert werden.

Wichtige Details

  • Validierte Hardware: Der Leitfaden validiert das Setup speziell auf einer NVIDIA-A10G-GPU innerhalb einer g5.xlarge-EC2-Instanz in der Region us-east-2.
  • Softwareversionen: Der Test verwendet Amazon EKS Version 1.36, NVIDIA-Treiber 615.71.10 und GPU Fractioning Operator Version 0.1.7.
  • Speichercontracts: In der Demo fordern zwei Pods jeweils ein Speicherlimit von 8 GiB an. Beide allokieren erfolgreich 6 GiB tatsächlichen Speicher, was Raum für Runtime-Overhead lässt.
  • Durchsetzung: Wenn ein Pod versucht, 9 GiB gegen einen 8-GiB-Contract zu allozieren, schlägt die Allokation mit einem Out-of-Memory-Fehler fehl, was beweist, dass das Limit durchgesetzt wird.
  • Benutzerdefinierte AMI erforderlich: Benutzer müssen eine benutzerdefinierte Amazon Machine Image (AMI) mit dem R615-Treiberbranch erstellen, da das standardmäßige EKS-AL2023-NVIDIA-Image ältere R580/R595-Branches verwendete.
  • Keine Sicherheitsgarantie: Der Leitfaden stellt explizit fest, dass, obwohl der Speicher begrenzt ist, Fault Containment keine Sicherheitsgarantie darstellt. Workloads teilen sich je nach Compute-Modus einen Fehlerdomänenbereich.

Warum das wichtig ist

Für Engineering-Teams, die KI-Produkte entwickeln, machen GPU-Kosten einen erheblichen Teil des Infrastruktur-Budgets aus. Leerlaufender GPU-Speicher bedeutet verschwendete Ausgaben. Durch die Aktivierung von Fractioning können Organisationen die Dichte der Workloads auf teuren GPU-Instanzen erhöhen. Dies ist besonders wertvoll für Entwicklungsumgebungen, in denen Data Scientists Jupyter-Notebooks ausführen, die möglicherweise lange Zeit im Leerlauf sind, oder für Batch-Evaluationsjobs, die minimale GPU-Ressourcen benötigen.

Dieser Ansatz bringt jedoch Komplexität im Cluster-Management mit sich. Ingenieure müssen sich von einfachen "One Pod per GPU"-Denkmodellen lösen und beginnen, Speichercontracts zu verwalten. Dies erfordert sorgfältiges Monitoring, um sicherzustellen, dass kumulative Speicheranforderungen nicht zu Kontention führen, die die Leistung aller geteilten Workloads beeinträchtigt. Es verlangt auch strikte Versionskontrolle über Treiber und Operatoren, wie am Bedarf für eine benutzerdefinierte AMI ersichtlich ist.

Darüber hinaus schließt diese Lösung eine Lücke für Hardware, die MIG nicht unterstützt. Viele bestehende GPU-Instanzen in Cloud-Umgebungen verfügen nicht über MIG-Fähigkeiten. Softwarebasiertes Fractioning bietet einen Weg zu besserer Auslastung für diese Legacy- oder Nicht-MIG-fähigen Geräte, ohne dass Hardware-Upgrades erforderlich sind. Es bietet einen Mittelweg zwischen der Isolation von MIG und dem unkontrollierten Sharing von basic Time-Slicing.

Was Sie tun können

  • Workload-Profile bewerten: Identifizieren Sie Workloads mit geringer oder intermittierender GPU-Speichernutzung, wie Model-Evaluationsskripte oder Entwicklungsnotebooks, als Kandidaten für Fractioning.
  • Treiberkompatibilität validieren: Prüfen Sie, ob Ihre aktuellen GPU-Instanzen den erforderlichen NVIDIA-R615-Treiberbranch oder neuer unterstützen, bevor Sie mit der Implementierung beginnen.
  • Benutzerdefinierte AMIs erstellen: Bereiten Sie eine Pipeline vor, um benutzerdefinierte Amazon-Linux-2023-Images mit den korrekten NVIDIA-Treiber- und Container-Toolkit-Versionen zu erstellen und zu warten.
  • Speicherlimits testen: Beginnen Sie mit konservativen Speichercontracts. Messen Sie die Spitzenauslastung Ihrer Anwendungen und addieren Sie Overhead, bevor Sie das Limit in der Pod-Spezifikation festlegen.
  • Per-Pod-Metriken überwachen: Implementieren Sie Monitoring für die Metrik gpu_fractioning_gpu_memory_used_bytes, um die tatsächliche Nutzung im Vergleich zu contractierten Limits zu verfolgen.
  • Wegwerfumgebungen nutzen: Testen Sie das Setup zunächst in einem temporären Cluster, da die Konfiguration komplexe Interaktionen zwischen Scheduler, Operator und Treiber umfasst.
  • #aws
  • #kubernetes
  • #gpu
  • #nvidia
  • #mlops

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel