Compartir GPUs en Amazon EKS con la fragmentación de NVIDIA Run:ai
Una guía técnica demuestra cómo utilizar el Operador de Fragmentación de GPU de código abierto de NVIDIA Run:ai para compartir una única GPU A10G entre múltiples pods en Amazon EKS.
Traducido automáticamente del original en inglés.
Amazon Web Services publicó el 19 de noviembre de 2026 una guía técnica que detalla cómo implementar el uso compartido de GPU en Amazon Elastic Kubernetes Service (EKS) utilizando el software NVIDIA Run:ai, recién liberado como código abierto. La guía se centra en el Operador de Fragmentación de GPU, que permite que múltiples cargas de trabajo compartan una única GPU física mediante la aplicación estricta de límites de memoria por pod. Este enfoque está dirigido a escenarios donde la asignación completa de la GPU es ineficiente, como notebooks interactivos o pequeños servicios de inferencia.
Qué ocurrió
NVIDIA anunció el lanzamiento de código abierto de su plataforma Run:ai el 13 de octubre de 2026. En respuesta, AWS publicó una guía de implementación validada que muestra cómo integrar dos componentes específicos de esta suite—el KAI Scheduler y el Operador de Fragmentación de GPU—en un clúster de Amazon EKS. La guía aborda un cuello de botella común en la infraestructura de IA: cuando una GPU tiene memoria disponible pero está bloqueada porque un trabajo anterior reservó todo el dispositivo.
La demostración utiliza una única instancia Amazon EC2 g5.xlarge equipada con una GPU NVIDIA A10G Tensor Core. En una configuración estándar, solo un pod puede acceder a esta GPU a la vez, incluso si utiliza solo una fracción de los 23.028 MiB de memoria disponibles. Al instalar el Operador de Fragmentación de GPU, el sistema habilita el uso compartido basado en software. Esto permite que dos pods separados se ejecuten simultáneamente en la misma GPU física, cada uno restringido por un contrato de memoria definido.
Esta solución es distinta de la partición a nivel de hardware como Multi-Instance GPU (MIG), que requiere hardware específico compatible. En su lugar, se basa en Multi-Process Service (MPS) y añade programación y aplicación nativas de Kubernetes. La guía enfatiza que este método es adecuado para GPUs que no soportan MIG o cuando se prefiere un dimensionamiento flexible de memoria sobre particiones de hardware rígidas.
Cómo funciona
El mecanismo central depende del Operador de Fragmentación de GPU, que se integra con el planificador de Kubernetes para gestionar la asignación de recursos. A diferencia de los plugins de dispositivos estándar que exponen una GPU como un único recurso binario, este operador introduce el concepto de contratos de memoria. Cada pod solicita una cantidad específica de memoria de GPU, como 8 GiB, en lugar de todo el dispositivo. El operador luego asegura que la suma de estos contratos no exceda los límites físicos de la GPU.
Internamente, el sistema utiliza un daemon llamado fractiond integrado a través de Node Resource Interface (NRI). Este componente se comunica con el controlador de NVIDIA para aplicar límites de memoria y aislar las cargas de trabajo. También aprovecha MPS para permitir que procesos CUDA concurrentes de diferentes contenedores se ejecuten en la misma GPU. Mientras MPS maneja la concurrencia de cómputo, el operador gestiona la lógica de programación y la aplicación de memoria, proporcionando métricas para el uso de cada pod.
La implementación requiere una imagen personalizada de Amazon Linux 2023 porque las imágenes optimizadas estándar de EKS aún no incluían la rama de controlador R615 necesaria en el momento de la validación. La versión del controlador 615.71.10 es crítica para soportar las características de fragmentación. Una vez que la imagen personalizada se construye y despliega, el KAI Scheduler asume la colocación de pods, asegurando que los pods con solicitudes de memoria compatibles estén co-localizados en el mismo nodo de GPU.
Detalles clave
- Hardware Validado: La guía valida específicamente la configuración en una GPU NVIDIA A10G dentro de una instancia EC2 g5.xlarge en la región us-east-2.
- Versiones de Software: La prueba utiliza Amazon EKS versión 1.36, controlador NVIDIA 615.71.10 y Operador de Fragmentación de GPU versión 0.1.7.
- Contratos de Memoria: En la demo, dos pods solicitan cada uno un límite de memoria de 8 GiB. Ambos asignan exitosamente 6 GiB de memoria real, dejando espacio para la sobrecarga de tiempo de ejecución.
- Aplicación: Cuando un pod intenta asignar 9 GiB contra un contrato de 8 GiB, la asignación falla con un error de falta de memoria, demostrando que el límite se aplica.
- AMI Personalizada Requerida: Los usuarios deben construir una Amazon Machine Image (AMI) personalizada con la rama de controlador R615, ya que la imagen NVIDIA AL2023 predeterminada de EKS utilizaba ramas más antiguas R580/R595.
- Sin Garantía de Seguridad: La guía establece explícitamente que, aunque la memoria está limitada, la contención de fallos no es una garantía de seguridad. Las cargas de trabajo comparten un dominio de error dependiendo del modo de cómputo.
Por qué importa
Para los equipos de ingeniería que construyen productos de IA, los costos de GPU representan una parte significativa del presupuesto de infraestructura. La memoria de GPU ociosa representa gasto desperdiciado. Al habilitar la fragmentación, las organizaciones pueden aumentar la densidad de cargas de trabajo en instancias de GPU costosas. Esto es particularmente valioso para entornos de desarrollo, donde los científicos de datos ejecutan notebooks Jupyter que pueden permanecer ociosos durante largos períodos, o para trabajos de evaluación por lotes que requieren recursos mínimos de GPU.
Sin embargo, este enfoque introduce complejidad en la gestión del clúster. Los ingenieros deben alejarse de los modelos mentales simples de "un pod por GPU" y comenzar a gestionar contratos de memoria. Esto requiere una monitorización cuidadosa para asegurar que las solicitudes acumuladas de memoria no conduzcan a una contención que degrade el rendimiento para todas las cargas de trabajo compartidas. También exige un control estricto de versiones sobre los controladores y operadores, como se ve en la necesidad de una AMI personalizada.
Además, esta solución cubre una brecha para el hardware que no soporta MIG. Muchas instancias de GPU existentes en entornos de nube carecen de capacidades MIG. La fragmentación basada en software proporciona un camino hacia una mejor utilización para estos dispositivos heredados o sin capacidad MIG sin requerir actualizaciones de hardware. Ofrece un punto medio entre el aislamiento de MIG y el uso compartido descontrolado del time-slicing básico.
Qué puedes hacer
- Evaluar Perfiles de Carga de Trabajo: Identificar cargas de trabajo con uso bajo o intermitente de memoria de GPU, como scripts de evaluación de modelos o notebooks de desarrollo, como candidatos para la fragmentación.
- Validar Compatibilidad de Controladores: Verificar si tus instancias de GPU actuales soportan la rama de controlador NVIDIA R615 requerida o más nueva antes de intentar la implementación.
- Construir AMIs Personalizadas: Preparar un pipeline para construir y mantener imágenes personalizadas de Amazon Linux 2023 con las versiones correctas del controlador NVIDIA y el toolkit de contenedores.
- Probar Límites de Memoria: Comenzar con contratos de memoria conservadores. Medir el pico de uso de tus aplicaciones y añadir sobrecarga antes de establecer el límite en la especificación del pod.
- Monitorizar Métricas por Pod: Implementar monitorización para la métrica
gpu_fractioning_gpu_memory_used_bytespara rastrear el uso real versus los límites contratados. - Usar Entornos Desechables: Probar la configuración primero en un clúster temporal, ya que la configuración implica interacciones complejas entre el planificador, el operador y el controlador.


