Amazon CloudWatch ajoute la visibilité sur les GPU et accélérateurs pour les clusters EKS
AWS lance des insights sur le calcul accéléré pour offrir une observabilité au niveau du périphérique, la détection des gaspillages de coûts et une remédiation automatisée pour les charges de travail GPU et accélérateurs IA sur Amazon EKS.
Traduit automatiquement depuis l'original anglais.
Amazon Web Services a introduit les insights sur le calcul accéléré d'Amazon CloudWatch, une nouvelle capacité conçue pour apporter une granularité accrue à la visibilité de l'utilisation des GPU et des accélérateurs IA au sein des clusters Amazon Elastic Kubernetes Service (EKS). Lancé lors de KubeCon North America 2026, cet outil répond aux angles morts opérationnels croissants auxquels sont confrontées les équipes de plateforme lorsqu'elles gèrent des parcs coûteux d'accélérateurs partagés.
Ce qui s'est passé
Les accélérateurs tels que les GPU sont devenus le composant le plus coûteux des budgets d'infrastructure modernes, mais de nombreuses organisations manquent de la visibilité nécessaire pour les gérer efficacement. Dans les environnements de clusters partagés, les équipes de plateforme ont souvent du mal à identifier quelles équipes ou quelles charges de travail consomment des ressources spécifiques, ce qui entraîne une utilisation inefficace et des coûts inattendus. Lorsque les performances se dégradent en raison de pannes matérielles ou d'une limitation thermique, les équipes ne découvrent souvent le problème qu'après l'échec d'un job ou la réception de la facture mensuelle, les obligeant à redémarrer des instances entières plutôt qu'à isoler les périphériques défaillants individuels.
Pour résoudre ce problème, AWS a publié les insights sur le calcul accéléré, qui offrent une vue opérationnelle unifiée de chaque accélérateur dans un parc EKS. Le service prend en charge les GPU NVIDIA, AWS Trainium et AWS Inferentia, normalisant les métriques provenant de ces différents types de matériel dans un schéma commun. Cela permet aux équipes gérant des parcs mixtes de surveiller la santé, l'utilisation et le gaspillage des coûts depuis un seul tableau de bord, sans avoir besoin d'outils distincts pour chaque fournisseur de matériel.
Ce lancement s'appuie sur une série de mises à jour en matière d'observabilité qu'AWS a déployées pour EKS tout au long de 2025 et 2026, notamment OTel Container Insights et Application Performance Monitoring. En ajoutant une télémétrie spécifique aux accélérateurs à cette pile existante, AWS vise à combler le fossé entre la surveillance de l'infrastructure et les performances des applications pour les charges de travail IA.
Comment cela fonctionne
Le système fonctionne en convergeant les chemins de collecte vers l'API CloudWatch Metrics. Pour les GPU NVIDIA, l'agent CloudWatch et NVIDIA Exporter collectent les métriques au niveau du périphérique, tandis qu'une couche unifiée de santé des accélérateurs normalise les données provenant à la fois des GPU et des puces Inferentia. Ces données normalisées sont ingérées dans le stockage centralisé de CloudWatch via l'endpoint OpenTelemetry (OTLP), sans nécessiter de configuration par nœud ni de pipelines de collecte personnalisés de la part de l'utilisateur.
Une fois les données transmises, le service enrichit les métriques des accélérateurs avec les métadonnées Kubernetes, y compris le pod, l'espace de noms, le nœud et les étiquettes personnalisées telles que le nom de l'équipe ou de l'application. Il détecte automatiquement les partitions Multi-Instance GPU (MIG) et d'autres schémas d'allocation de ressources comme l'allocation dynamique de ressources Kubernetes (DRA). Ce contexte permet au système d'attribuer l'utilisation et la consommation mémoire à des charges de travail spécifiques, permettant un suivi précis de qui utilise quelles ressources.
Pour le dépannage, l'outil s'intègre à CloudWatch Omni et à l'AWS DevOps Agent. Omni fournit une vue centrée sur l'application, reliant directement les performances des charges de travail d'inférence à la santé des accélérateurs. L'Agent DevOps peut analyser la télémétrie, les journaux et les modifications récentes pour distinguer les modes de défaillance, par exemple une erreur mémoire nécessitant un remplacement matériel contre un problème de pilote résolu par un redémarrage. Il présente ensuite un plan d'action basé sur des preuves pour approbation ou, si configuré, exécute les remédiations automatiquement.
Détails clés
- Matériel pris en charge : Le service prend en charge les GPU NVIDIA, AWS Trainium et AWS Inferentia, avec des métriques normalisées dans une seule vue de santé des accélérateurs.
- Détection du gaspillage : Il identifie trois types de gaspillage récupérable : opportunités de dimensionnement correct, écarts d'efficacité de formation basés sur l'utilisation des cœurs tensoriels et endpoints d'inférence fonctionnant en dessous de la capacité matérielle.
- Intégration Kubernetes : Les données des accélérateurs sont enrichies avec les métadonnées de pod, d'espace de noms et de nœud, et elles détectent automatiquement les partitions MIG et les schémas DRA sans configuration manuelle.
- Remédiation automatisée : L'AWS DevOps Agent peut diagnostiquer les causes profondes et proposer ou exécuter des corrections, telles que le redémarrage des pilotes ou le remplacement des nœuds, sur la base de runbooks prédéfinis.
- Installation : Les utilisateurs activent la fonctionnalité en installant ou en mettant à niveau le module complémentaire d'observabilité Amazon CloudWatch EKS vers la version 7.0.1 ou supérieure via eksctl, Helm ou Terraform.
- Contexte des coûts : Les chiffres de coûts fournis sont des estimations opérationnelles destinées à orienter la prise de décision, et non des données de facturation officielles, qui restent disponibles via AWS Cost Explorer.
Pourquoi c'est important
Pour les ingénieurs logiciels et les responsables d'infrastructure, la valeur principale réside dans le passage d'une intervention réactive à une optimisation proactive. Auparavant, un seul GPU défaillant pouvait obliger une équipe à faire tourner une instance entière de huit GPU, gaspillant des ressources saines et attendant le retour d'une capacité rare. Avec une visibilité au niveau du périphérique, les équipes peuvent isoler et remplacer uniquement le matériel défaillant, maintenant ainsi la disponibilité du reste de la charge de travail. Cette précision réduit les temps d'arrêt et empêche les retards en cascade qui affectent souvent les jobs de formation à grande échelle.
De plus, la capacité de corréler la télémétrie matérielle avec les performances des applications aide les développeurs à optimiser leur code. En identifiant les endpoints d'inférence sous-utilisés ou les jobs de formation ayant une faible utilisation des flops du modèle (MFU), les équipes peuvent ajuster leurs configurations pour tirer davantage de valeur de leur matériel existant. Ceci est crucial alors que les coûts des accélérateurs continuent d'augmenter, faisant de l'efficacité un levier clé pour maîtriser les dépenses d'infrastructure sans sacrifier les performances.
Ce que vous pouvez faire
- Mettez à niveau votre module complémentaire d'observabilité Amazon CloudWatch EKS vers la version 7.0.1 ou ultérieure pour activer la collecte de données des accélérateurs.
- Installez le module complémentaire à l'aide des commandes eksctl ou Helm fournies dans la documentation AWS pour commencer à diffuser des données OpenTelemetry immédiatement.
- Ouvrez CloudWatch Omni pour visualiser vos charges de travail d'inférence aux côtés des métriques de santé des accélérateurs et des catégories de gaspillage identifiées.
- Examinez la vue Santé des accélérateurs pour identifier les pods ou espaces de noms spécifiques consommant des ressources disproportionnées ou rencontrant des erreurs.
- Configurez l'AWS DevOps Agent pour recevoir des événements de santé et testez ses capacités de diagnostic sur des charges de travail non critiques avant d'activer la remédiation automatisée.
- Utilisez les estimations de gaspillage de coûts pour identifier les opportunités de dimensionnement correct pour les jobs de formation surdimensionnés par rapport à leur utilisation réelle du matériel.



