Amazon CloudWatch erweitert Sichtbarkeit für GPUs und Beschleuniger in EKS-Clustern
AWS startet Insights für beschleunigte Compute-Ressourcen, um Geräte-Level-Observability, Erkennung von Kostenverschwendung und automatische Behebung für GPU- und KI-Beschleuniger-Workloads auf Amazon EKS bereitzustellen.
Automatisch aus dem englischen Original übersetzt.
Amazon Web Services hat Amazon CloudWatch Accelerated Compute Insights eingeführt, eine neue Funktion, die granulare Transparenz bei der Nutzung von GPUs und KI-Beschleunigern innerhalb von Amazon Elastic Kubernetes Service (EKS)-Clustern schaffen soll. Das Tool wurde auf der KubeCon North America 2026 vorgestellt und adressiert die wachsenden operativen Blindstellen, mit denen Plattformteams beim Management teurer, gemeinsam genutzter Beschleuniger-Fleets konfrontiert sind.
Was ist passiert
Beschleuniger wie GPUs sind zum teuersten Bestandteil moderner Infrastruktur-Budgets geworden, doch vielen Organisationen fehlt es an der nötigen Transparenz, um sie effizient zu verwalten. In geteilten Cluster-Umgebungen haben Plattformteams oft Schwierigkeiten, herauszufinden, welche Teams oder Workloads spezifische Ressourcen verbrauchen, was zu ineffizienter Auslastung und unerwarteten Kosten führt. Wenn die Leistung aufgrund von Hardwarefehlern oder thermischem Throttling nachlässt, entdecken Teams das Problem häufig erst, nachdem ein Job fehlgeschlagen ist oder die monatliche Rechnung eingeht. Dies zwingt sie dazu, gesamte Instanzen neu zu starten, anstatt einzelne fehlerhafte Geräte zu isolieren.
Um dies zu lösen, hat AWS Accelerated Compute Insights veröffentlicht, das einen einheitlichen operativen Überblick über jeden Beschleuniger in einem EKS-Fleet bietet. Der Dienst unterstützt NVIDIA-GPUs, AWS Trainium und AWS Inferentia und normalisiert Metriken dieser verschiedenen Hardware-Typen in ein gemeinsames Schema. Dies ermöglicht Teams, die gemischte Fleets betreiben, Gesundheit, Auslastung und Kostenverschwendung von einem einzigen Dashboard aus zu überwachen, ohne separate Tools für jeden Hardware-Anbieter zu benötigen.
Der Launch baut auf einer Reihe von Observability-Updates auf, die AWS im Laufe der Jahre 2025 und 2026 für EKS ausgerollt hat, darunter OTel Container Insights und Application Performance Monitoring. Durch die Hinzufügung beschleuniger-spezifischer Telemetrie zu diesem bestehenden Stack zielt AWS darauf ab, die Lücke zwischen Infrastruktur-Monitoring und Anwendungsleistung für KI-Workloads zu schließen.
Wie es funktioniert
Das System arbeitet durch die Konvergenz der Sammelwege an der CloudWatch Metrics API. Für NVIDIA-GPUs sammeln der CloudWatch-Agent und der NVIDIA Exporter Metriken auf Geräteebene, während eine Unified Accelerator Health Layer Daten sowohl von GPUs als auch von Inferentia-Chips normalisiert. Diese normalisierten Daten werden über den OpenTelemetry-(OTLP)-Endpoint in den zentralen Speicher von CloudWatch eingespeist, wobei keine pro-Knoten-Einrichtung oder benutzerdefinierte Sammel-Pipelines erforderlich sind.
Sobald die Daten fließen, angereichert der Dienst die Beschleuniger-Metriken mit Kubernetes-Metadaten, einschließlich Pod-, Namespace-, Node- und benutzerdefinierten Labels wie Team- oder Anwendungsname. Er erkennt automatisch Multi-Instance GPU (MIG)-Partitionen und andere Ressourcenzuweisungsschemata wie Kubernetes Dynamic Resource Allocation (DRA). Dieser Kontext ermöglicht es dem System, die Auslastung und Speichernutzung bestimmten Workloads zuzuordnen, was eine präzise Nachverfolgung darüber ermöglicht, wer welche Ressourcen nutzt.
Für die Fehlerbehebung integriert sich das Tool in CloudWatch Omni und den AWS DevOps Agent. Omni bietet eine anwendungsorientierte Ansicht, die die Leistung von Inferenz-Workloads direkt mit der Gesundheit der Beschleuniger verknüpft. Der DevOps Agent kann Telemetrie, Logs und kürzliche Änderungen analysieren, um Fehlermodi zu unterscheiden, beispielsweise einen Speicherfehler, der einen Hardwareaustausch erfordert, versus ein Treiberproblem, das durch einen Neustart lösbar ist. Anschließend präsentiert er einen evidenzbasierten Aktionsplan zur Genehmigung oder führt, wenn konfiguriert, Behebungsmaßnahmen automatisch aus.
Wichtige Details
- Unterstützte Hardware: Der Dienst unterstützt NVIDIA-GPUs, AWS Trainium und AWS Inferentia, wobei Metriken in einer einzelnen Accelerator Health View normalisiert werden.
- Erkennung von Verschwendung: Er identifiziert drei Arten von vermeidbarer Verschwendung: Möglichkeiten zum Right-Sizing, Trainingseffizienz-Lücken basierend auf Tensor-Core-Auslastung und Inferenz-Endpoints, die unterhalb der Hardware-Kapazität arbeiten.
- Kubernetes-Integration: Beschleuniger-Daten werden mit Pod-, Namespace- und Node-Metadaten angereichert, und MIG-Partitionen sowie DRA-Schemata werden ohne manuelle Konfiguration automatisch erkannt.
- Automatische Behebung: Der AWS DevOps Agent kann Ursachen diagnostizieren und Fixes vorschlagen oder ausführen, wie etwa Treiber-Neustarts oder Node-Austausche, basierend auf vordefinierten Runbooks.
- Installation: Benutzer aktivieren die Funktion, indem sie das Amazon CloudWatch Observability EKS Add-on auf Version 7.0.1 oder höher installieren oder aktualisieren, entweder über eksctl, Helm oder Terraform.
- Kostenkontext: Die bereitgestellten Kostenzahlen sind operative Schätzungen zur Entscheidungsfindung, keine maßgeblichen Abrechnungsdaten, die weiterhin über AWS Cost Explorer verfügbar sind.
Warum es wichtig ist
Für Software-Ingenieure und Infrastruktur-Leads liegt der Hauptwert darin, vom reaktiven Löschen von Bränden zur proaktiven Optimierung überzugehen. Zuvor konnte eine einzelne defekte GPU ein Team dazu zwingen, eine gesamte Acht-GPU-Instanz neu zu starten, wodurch gesunde Ressourcen verschwendet wurden und man auf knappe Kapazitäten warten musste. Mit der Sichtbarkeit auf Geräteebene können Teams nur die fehlerhafte Hardware isolieren und ersetzen, während die Verfügbarkeit des restlichen Workloads erhalten bleibt. Diese Präzision reduziert Ausfallzeiten und verhindert kaskadierende Verzögerungen, die oft großskalige Trainings-Jobs plagen.
Darüber hinaus hilft die Fähigkeit, Hardware-Telemetrie mit Anwendungsleistung zu korrelieren, Entwicklern dabei, ihren Code zu optimieren. Indem sie Inferenz-Endpoints identifizieren, die unterausgelastet sind, oder Trainings-Jobs mit niedriger Model Flops Utilization (MFU), können Teams Konfigurationen anpassen, um mehr Wert aus ihrer vorhandenen Hardware zu ziehen. Dies ist entscheidend, da die Kosten für Beschleuniger weiter steigen und Effizienz zu einem wichtigen Hebel wird, um Infrastrukturausgaben zu kontrollieren, ohne die Leistung zu opfern.
Was Sie tun können
- Aktualisieren Sie Ihr Amazon CloudWatch Observability EKS Add-on auf Version 7.0.1 oder später, um die Erfassung von Beschleuniger-Daten zu aktivieren.
- Installieren Sie das Add-on mit den in der AWS-Dokumentation bereitgestellten eksctl- oder Helm-Befehlen, um sofort OpenTelemetry-Daten zu streamen.
- Öffnen Sie CloudWatch Omni, um Ihre Inferenz-Workloads neben Beschleuniger-Gesundheitsmetriken und identifizierten Verschwendungskategorien anzuzeigen.
- Überprüfen Sie die Accelerator Health View, um spezifische Pods oder Namespaces zu identifizieren, die unverhältnismäßig viele Ressourcen verbrauchen oder Fehler erfahren.
- Konfigurieren Sie den AWS DevOps Agent, um Gesundheitsereignisse zu empfangen, und testen Sie seine Diagnosefähigkeiten an unkritischen Workloads, bevor Sie die automatische Behebung aktivieren.
- Nutzen Sie die Kostenschätzungen für Verschwendung, um Möglichkeiten zum Right-Sizing für Trainings-Jobs zu identifizieren, die im Verhältnis zur tatsächlichen Hardware-Nutzung überdimensioniert sind.



