NVIDIA AICR simplifica el despliegue de Dynamo en Kubernetes

NVIDIA ha presentado NVIDIA AI Cluster Runtime (AICR) para agilizar el despliegue de su framework de inferencia distribuida Dynamo en Kubernetes. Lanzado como parte de la plataforma DSX AI Factory, esta herramienta empaqueta recetas de infraestructura validadas que gestionan dependencias complejas como los controladores de GPU, la asignación de recursos y la monitorización. Su objetivo es ofrecer a los equipos de plataforma una base repetible y consistente para servir modelos de lenguaje de gran tamaño.

Qué ha ocurrido

Desplegar modelos de inferencia de IA en Kubernetes implica más que simplemente ejecutar contenedores. Los ingenieros deben garantizar que los controladores de GPU, las señales de salud de los nodos, la asignación dinámica de recursos y el enrutamiento de red funcionen correctamente de forma conjunta. Tradicionalmente, resolver estas dependencias consume mucho tiempo e introduce variabilidad entre entornos. NVIDIA aborda esto integrando Dynamo 1.4.2 y su infraestructura de soporte en AICR, que ofrece configuraciones prevalidadas para entornos específicos de hardware y nube.

El runtime captura requisitos críticos como las semánticas de programación en bloque (gang scheduling), la integración de métricas Prometheus y los mecanismos de descubrimiento de GPU. Al fijar las versiones de los componentes y definir restricciones de compatibilidad, AICR garantiza que el estado del clúster subyacente coincida con las expectativas de la carga de trabajo de inferencia. Este enfoque separa la complejidad de la configuración del runtime del proceso de despliegue de la aplicación, permitiendo a los desarrolladores centrarse en el comportamiento del modelo en lugar de en la depuración de la infraestructura.

AICR admite dos rutas principales de enrutamiento para Dynamo: el router nativo Dynamo Frontend y la Extensión de API de Gateway para Inferencia (GAIE) con un Plugin Selector de Endpoint (EPP). La elección depende de si el equipo gestiona endpoints específicos del modelo o un ingreso compartido de Kubernetes. Ambas rutas aprovechan la conciencia de caché KV para optimizar la generación de tokens, pero difieren en cómo se reenvía y gestiona el tráfico dentro de la topología del clúster.

Cómo funciona

Dynamo 1.4.2 separa el plano de solicitudes del plano de eventos de caché KV. Utiliza TCP para solicitudes estándar y ZeroMQ (ZMQ) para eventos de caché KV. Cada worker vLLM publica eventos de caché sin procesar localmente, que el runtime de Dynamo normaliza y republica. Esto permite que ambas rutas de enrutamiento tomen decisiones conscientes de la caché, dirigiendo las solicitudes a workers que ya mantienen prefijos de prompt relevantes en memoria. Este mecanismo reduce la necesidad de reprocesar tokens, mejorando la latencia y el rendimiento para flujos de trabajo agénticos.

El flujo de despliegue de AICR sigue cinco pasos distintos. Primero, los ingenieros capturan una instantánea del estado actual del clúster, registrando etiquetas y taints de los nodos. Segundo, AICR genera una receta de inferencia Dynamo basada en el hardware detectado y la distribución de Kubernetes. Tercero, renderiza un paquete de despliegue con versiones fijadas. Cuarto, el runtime se despliega utilizando Helmfile o herramientas GitOps. Finalmente, el sistema valida el runtime instalado antes de programar cualquier carga de trabajo de aplicación, asegurando que la infraestructura esté lista para el tráfico de producción.

Detalles clave

• AICR empaqueta Dynamo 1.4.2 con el chart dynamo-platform, reemplazando la anterior API v1alpha1 por v1beta1.
• La ruta de enrutamiento predeterminada utiliza el router Dynamo Frontend, mientras que la ruta GAIE/EPP se integra con el ingreso compartido de Kubernetes mediante recursos de la API de Gateway.
• NATS ya no se instala por defecto en el chart dynamo-platform, aunque sigue disponible como componente opcional para despliegues específicos.
• Los componentes de infraestructura admitidos incluyen NVIDIA GPU Operator, KAI Scheduler, Grove para orquestación y NVSentinel para comprobaciones de salud de nodos.
• Dynamo 1.5 introducirá un EPP nativo en Rust para reemplazar el actual puente Go/CGO, reduciendo la sobrecarga por solicitud en la ruta GAIE.
• Las recetas de validación fijan versiones específicas, como NVIDIA GPU Operator v26.7.1 y Kube Prometheus Stack 84.4.0 para configuraciones de Amazon EKS.

Por qué importa

Para los ingenieros de infraestructura, el principal beneficio es la reproducibilidad. Configurar manualmente operadores de GPU, planificadores y stacks de monitorización suele provocar deriva y incompatibilidades sutiles. Las recetas validadas de AICR eliminan este riesgo al proporcionar una configuración conocida y fiable para hardware específico como el NVIDIA GB200 NVL72. Esto reduce la carga operativa y acelera el tiempo desde el aprovisionamiento del clúster hasta el servicio del modelo.

Los desarrolladores se benefician de características de rendimiento consistentes. Al garantizar que los eventos de caché KV se enruten correctamente y que se aplique la programación en bloque, el runtime minimiza los picos de latencia causados por fallos de caché o contención de recursos. Esta fiabilidad es crucial para construir aplicaciones de IA responsivas, especialmente aquellas que involucran sesiones agénticas de larga duración donde la retención de contexto es vital.

Qué puedes hacer

• Instala NVIDIA AI Cluster Runtime para generar recetas validadas para tu entorno específico de Kubernetes.
• Evalúa si tu caso de uso requiere la simplicidad del router Dynamo Frontend o las capacidades de ingreso compartido de GAIE/EPP.
• Actualiza los despliegues existentes de Dynamo para usar la versión de API v1beta1 y alinearse con los últimos estándares del operador.
• Configura los workers de vLLM para habilitar el almacenamiento en caché de prefijos y los eventos de caché KV basados en ZMQ para un rendimiento óptimo de enrutamiento.
• Utiliza la función de instantánea de AICR para auditar el estado actual de tu clúster antes de generar nuevas recetas de inferencia.
• Supervisa la transición a Dynamo 1.5 para aprovechar el próximo EPP nativo en Rust y reducir la sobrecarga de la puerta de enlace.