La arquitectura NVIDIA Rubin maximiza el rendimiento de inferencia de IA mediante co-diseño

NVIDIA ha delineado una estrategia integral para maximizar la eficiencia de las cargas de trabajo de inferencia de IA mediante un estrecho co-diseño de hardware y software. Publicado el 5 de noviembre de 2026, este análisis técnico profundo explica cómo el próximo sistema Vera Rubin NVL72 logra hasta 30 veces más rendimiento por megavatio en comparación con la generación anterior GB300. Este salto en el rendimiento no se debe a un aumento de la capacidad de memoria, que permanece en 288 GB por GPU, sino a una mejora significativa en cómo se utiliza cada byte de la memoria de alto ancho de banda (HBM).

Qué sucedió

El desafío central abordado en esta actualización es el cuello de botella de la HBM en las modernas fábricas de IA. A medida que los modelos crecen y las ventanas de contexto se expanden, la HBM se convierte en el recurso más costoso y disputado. NVIDIA argumenta que simplemente añadir más memoria es insuficiente; en cambio, el enfoque debe centrarse en garantizar que cada byte contribuya directamente a la generación de tokens en lugar de permanecer inactivo o almacenar datos redundantes. La empresa demuestra que el rendimiento agéntico por megavatio ha crecido mucho más rápido que la capacidad bruta, lo que indica un cambio fundamental en las prioridades arquitectónicas.

Para resolver esto, NVIDIA introdujo cinco palancas específicas de co-diseño que abarcan la arquitectura de la GPU, las interconexiones, el software de servicio, las CPU y el almacenamiento. Estas innovaciones trabajan conjuntamente para reducir la huella de los modelos, optimizar la distribución de pesos, gestionar las cachés clave-valor (KV) como un recurso a nivel de flota, aprovechar la memoria de la CPU para contextos inactivos y extender los niveles de almacenamiento a través de pods completos. El resultado es un sistema capaz de manejar flujos de trabajo agénticos complejos y de largo contexto con mucha mayor concurrencia y menor latencia.

Cómo funciona

La primera palanca es NVFP4, un nuevo formato de precisión que reduce la huella de los pesos del modelo aproximadamente 3,5 veces en comparación con FP16 y 1,8 veces en comparación con FP8. Al utilizar un elemento de 4 bits con dos niveles de escalado, NVFP4 preserva la precisión mientras libera una cantidad significativa de HBM para las cachés KV y lotes más grandes. Este formato también se aplica a la propia caché KV, reduciendo su huella hasta un 50 % en relación con FP8, lo que permite que permanezca residente en el dispositivo el doble de contexto. Esta reducción minimiza las expulsiones (evictions) y el consumo de ancho de banda durante la decodificación.

En segundo lugar, el paralelismo amplio de expertos en TensorRT-LLM distribuye los pesos de los modelos de mezcla de expertos (MoE) entre ocho o más GPUs. Este enfoque deja más HBM disponible por GPU para el almacenamiento en caché y aumenta la intensidad aritmética reutilizando los pesos entre más tokens. En tercer lugar, NVIDIA Dynamo trata la caché KV como un recurso compartido en toda la flota. Utiliza enrutamiento consciente de KV para colocar las solicitudes donde ya existe el contexto relevante, servicio desagregado para separar las cargas de trabajo de prellenado (prefill) y decodificación, y un Ejecutor de Caché KV (KV Cache Runner) para clasificar bloques entre GPU, CPU y almacenamiento utilizando la biblioteca NIXL.

La cuarta y quinta palancas implican expandir la jerarquía de memoria más allá de la GPU. La CPU NVIDIA Vera cuenta con 88 núcleos Olympus y hasta 1,5 TB de memoria LPDDR5X conectada coherentemente a la GPU mediante NVLink-C2C a 1,8 TB/s. Esto permite que las cachés KV inactivas se almacenen temporalmente en la memoria de la CPU durante las llamadas a herramientas, evitando su expulsión de la HBM. Finalmente, NVIDIA CMX añade un nivel de almacenamiento G3.5 a nivel de pod construido sobre BlueField-4 STX y redes Spectrum-X. Este nivel permite compartir y reutilizar la caché KV entre nodos, asegurando que el contexto sobreviva más allá de sesiones individuales o fallos de GPU.

Detalles clave

• NVFP4 reduce la huella de los pesos del modelo en ~3,5x frente a FP16 y ~1,8x frente a FP8 manteniendo la precisión.
• Vera Rubin NVL72 ofrece hasta 30x el rendimiento por megavatio de GB300 NVL72 a pesar de tener la misma HBM de 288 GB por GPU.
• El paralelismo amplio de expertos distribuye los expertos MoE entre 8+ GPUs, aumentando la disponibilidad de HBM para la caché KV y mejorando la reutilización de pesos.
• NVIDIA Dynamo habilita el enrutamiento consciente de KV y el servicio desagregado, tratando la caché KV como un recurso a nivel de flota en lugar de un artefacto local de la GPU.
• La CPU Vera proporciona 1,5 TB de memoria LPDDR5X conectada a 1,8 TB/s, permitiendo la descarga eficiente de cachés KV inactivas durante las llamadas a herramientas.
• NVIDIA CMX introduce un nivel de almacenamiento G3.5 que utiliza BlueField-4 STX y Spectrum-X para compartir la caché KV entre nodos mediante flash conectada por Ethernet.

Por qué importa

Para los líderes de infraestructura e ingenieros de ML, estos desarrollos señalan un alejamiento del escalado por fuerza bruta hacia una gestión inteligente de recursos. La capacidad de manejar contextos más grandes y mayor concurrencia sin aumentos proporcionales en el costo de la HBM es crítica para desplegar aplicaciones de IA agéntica económicamente viables. Al reducir la huella de los pesos y las cachés, las organizaciones pueden ejecutar modelos más complejos bajo las restricciones de hardware existentes o lograr rendimientos significativamente más altos en nuevos despliegues.

La integración de los niveles de CPU y almacenamiento en el pipeline de inferencia también cambia cómo se diseñan los sistemas. Los desarrolladores ya no pueden ver la GPU como una unidad de cómputo aislada; en su lugar, deben diseñar sistemas que aprovechen el acceso coherente a la memoria entre CPUs y redes de almacenamiento compartidas rápidas. Este enfoque de co-diseño reduce la penalización del tiempo inactivo durante las llamadas a herramientas y asegura que el valioso contexto no se pierda debido a la presión de memoria, lo que conduce a agentes de IA más receptivos y eficientes.

Qué puede hacer

• Evalúe la precisión NVFP4 para sus modelos actuales para reducir la huella de memoria y aumentar los tamaños de lote sin sacrificar la precisión.
• Implemente el paralelismo amplio de expertos en TensorRT-LLM si está ejecutando modelos MoE grandes para optimizar el uso de HBM y la intensidad aritmética.
• Explore NVIDIA Dynamo para el enrutamiento consciente de KV y el servicio desagregado para mejorar las tasas de aciertos de caché y reducir los costos de recálculo.
• Considere arquitecturas que aprovechen la memoria de la CPU para almacenar temporalmente cachés KV inactivas, especialmente para cargas de trabajo con llamadas a herramientas frecuentes o pausas.
• Investigue soluciones de almacenamiento a nivel de pod como NVIDIA CMX para habilitar el intercambio de caché KV entre nodos para sesiones de larga duración o multiagente.
• Monitoree de cerca las métricas de utilización de HBM para identificar oportunidades de optimización de caché y compresión de pesos en sus pipelines de inferencia.