Cloud et infrastructure

Partagez les GPU sur Amazon EKS avec le fractionnement NVIDIA Run:ai

Une démonstration technique explique comment utiliser l'opérateur open-source NVIDIA Run:ai GPU Fractioning pour partager un seul GPU A10G entre plusieurs pods sur Amazon EKS.

Illustration d'une puce GPU divisée en deux blocs mémoire partagés
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Amazon Web Services a publié le 19 novembre 2026 un guide technique détaillant la mise en œuvre du partage de GPU sur Amazon Elastic Kubernetes Service (EKS) à l'aide du logiciel NVIDIA Run:ai, désormais open source. La démonstration se concentre sur l'opérateur GPU Fractioning, qui permet à plusieurs charges de travail de partager un GPU physique unique en imposant des limites mémoire strictes par pod. Cette approche cible les scénarios où l'allocation complète d'un GPU est inefficace, comme les notebooks interactifs ou les petits services d'inférence.

Ce qui s'est passé

NVIDIA a annoncé la publication open source de sa plateforme Run:ai le 13 octobre 2026. En réponse, AWS a publié un guide d'implémentation validé montrant comment intégrer deux composants spécifiques de cette suite — le KAI Scheduler et l'opérateur GPU Fractioning — dans un cluster Amazon EKS. Le guide répond à un goulot d'étranglement courant dans l'infrastructure IA : lorsqu'un GPU dispose de mémoire disponible mais reste bloqué parce qu'une tâche précédente a réservé l'intégralité du périphérique.

La démonstration utilise une instance Amazon EC2 g5.xlarge unique équipée d'un GPU NVIDIA A10G Tensor Core. Dans une configuration standard, un seul pod peut accéder à ce GPU à la fois, même s'il n'utilise qu'une fraction des 23 028 MiB de mémoire disponibles. En installant l'opérateur GPU Fractioning, le système active le partage basé sur le logiciel. Cela permet à deux pods distincts de s'exécuter simultanément sur le même GPU physique, chacun étant contraint par un contrat mémoire défini.

Cette solution est distincte du partitionnement au niveau matériel comme le Multi-Instance GPU (MIG), qui nécessite un matériel spécifique pris en charge. Elle repose plutôt sur le Multi-Process Service (MPS) et ajoute une planification et une application natives Kubernetes. Le guide souligne que cette méthode convient aux GPU ne prenant pas en charge MIG ou lorsque une dimensionnement flexible de la mémoire est préférable aux partitions matérielles rigides.

Comment cela fonctionne

Le mécanisme central repose sur l'opérateur GPU Fractioning, qui s'intègre au planificateur Kubernetes pour gérer l'allocation des ressources. Contrairement aux plugins de périphériques standards qui exposent un GPU comme une ressource binaire unique, cet opérateur introduit le concept de contrats mémoire. Chaque pod demande une quantité spécifique de mémoire GPU, telle que 8 GiB, plutôt que le périphérique entier. L'opérateur veille ensuite à ce que la somme de ces contrats ne dépasse pas les limites physiques du GPU.

En interne, le système utilise un démon appelé fractiond, intégré via l'interface Node Resource Interface (NRI). Ce composant communique avec le pilote NVIDIA pour imposer les limites mémoire et isoler les charges de travail. Il exploite également MPS pour permettre l'exécution concurrente de processus CUDA issus de différents conteneurs sur le même GPU. Alors que MPS gère la concurrence de calcul, l'opérateur gère la logique de planification et l'application des limites mémoire, fournissant des métriques pour l'utilisation de chaque pod.

L'implémentation nécessite une image Amazon Linux 2023 personnalisée car les images optimisées EKS standard n'incluaient pas encore la branche de pilote R615 nécessaire au moment de la validation. La version du pilote 615.71.10 est cruciale pour prendre en charge les fonctionnalités de fractionnement. Une fois l'image personnalisée construite et déployée, le KAI Scheduler prend en charge le placement des pods, garantissant que les pods ayant des demandes mémoire compatibles sont co-localisés sur le même nœud GPU.

Détails clés

  • Matériel validé : Le guide valide spécifiquement la configuration sur un GPU NVIDIA A10G au sein d'une instance EC2 g5.xlarge dans la région us-east-2.
  • Versions logicielles : Le test utilise Amazon EKS version 1.36, le pilote NVIDIA 615.71.10 et l'opérateur GPU Fractioning version 0.1.7.
  • Contrats mémoire : Dans la démo, deux pods demandent chacun une limite mémoire de 8 GiB. Les deux allouent avec succès 6 GiB de mémoire réelle, laissant de la place pour la surcharge d'exécution.
  • Application des limites : Lorsqu'un pod tente d'allouer 9 GiB contre un contrat de 8 GiB, l'allocation échoue avec une erreur de mémoire insuffisante, prouvant que la limite est bien appliquée.
  • AMI personnalisée requise : Les utilisateurs doivent construire une Amazon Machine Image (AMI) personnalisée avec la branche de pilote R615, car l'image NVIDIA AL2023 EKS par défaut utilisait les anciennes branches R580/R595.
  • Aucune garantie de sécurité : Le guide indique explicitement que si la mémoire est limitée, le confinement des pannes n'est pas une garantie de sécurité. Les charges de travail partagent un domaine d'erreur selon le mode de calcul.

Pourquoi c'est important

Pour les équipes d'ingénierie développant des produits IA, les coûts des GPU représentent une part significative du budget infrastructure. La mémoire GPU inoccupée représente des dépenses gaspillées. En activant le fractionnement, les organisations peuvent augmenter la densité des charges de travail sur des instances GPU coûteuses. Cela est particulièrement précieux pour les environnements de développement, où les data scientists exécutent des notebooks Jupyter qui peuvent rester inactifs pendant de longues périodes, ou pour les jobs d'évaluation par lots nécessitant peu de ressources GPU.

Cependant, cette approche introduit une complexité dans la gestion des clusters. Les ingénieurs doivent abandonner les modèles mentaux simples « un pod par GPU » et commencer à gérer des contrats mémoire. Cela nécessite une surveillance minutieuse pour garantir que les demandes mémoire cumulatives ne conduisent pas à une contention dégradant les performances de toutes les charges de travail partagées. Cela exige également un contrôle de version strict des pilotes et des opérateurs, comme le montre la nécessité d'une AMI personnalisée.

De plus, cette solution comble un vide pour le matériel ne prenant pas en charge MIG. De nombreuses instances GPU existantes dans les environnements cloud ne disposent pas des capacités MIG. Le fractionnement basé sur le logiciel offre une voie vers une meilleure utilisation de ces dispositifs hérités ou non compatibles MIG sans nécessiter de mises à niveau matérielles. Il offre un juste milieu entre l'isolement de MIG et le partage incontrôlé du time-slicing basique.

Ce que vous pouvez faire

  • Évaluer les profils de charge de travail : Identifiez les charges de travail avec une utilisation mémoire GPU faible ou intermittente, telles que les scripts d'évaluation de modèles ou les notebooks de développement, comme candidats au fractionnement.
  • Valider la compatibilité des pilotes : Vérifiez si vos instances GPU actuelles prennent en charge la branche de pilote NVIDIA R615 requise ou une version plus récente avant de tenter l'implémentation.
  • Construire des AMIs personnalisées : Préparez un pipeline pour construire et maintenir des images Amazon Linux 2023 personnalisées avec les versions correctes du pilote NVIDIA et de la boîte à outils de conteneurs.
  • Tester les limites mémoire : Commencez avec des contrats mémoire conservateurs. Mesurez l'utilisation maximale de vos applications et ajoutez une marge avant de définir la limite dans la spécification du pod.
  • Surveiller les métriques par pod : Implémentez une surveillance pour la métrique gpu_fractioning_gpu_memory_used_bytes afin de suivre l'utilisation réelle par rapport aux limites contractuelles.
  • Utiliser des environnements jetables : Testez la configuration dans un cluster temporaire d'abord, car la configuration implique des interactions complexes entre le planificateur, l'opérateur et le pilote.
  • #aws
  • #kubernetes
  • #gpu
  • #nvidia
  • #mlops

Outils de la Boutique Bytechap

Continuer la lecture

Tous les articles