NVIDIA DGX Spark escala a ocho nodos para modelos de IA de vanguardia locales

NVIDIA ha ampliado su estrategia de hardware de IA para escritorio al admitir oficialmente clústeres de ocho nodos para el sistema DGX Spark. Anunciado en GTC Berlín en octubre de 2026, esta actualización escala la memoria unificada a 1 TB, permitiendo a los desarrolladores ejecutar modelos masivos de clase vanguardista (frontier) localmente. El lanzamiento incluye nuevas optimizaciones de software para comunicación colectiva y orquestación multi-modelo, con el objetivo de llevar patrones de infraestructura a gran escala a estaciones de trabajo individuales.

Qué ocurrió

El avance principal es la capacidad de vincular ocho unidades DGX Spark en un único clúster coherente. Cada unidad proporciona 128 GB de memoria unificada, por lo que una configuración de ocho nodos ofrece 1 TB de memoria total direccionable. Esta capacidad permite la ejecución local de modelos que anteriormente requerían centros de datos basados en la nube, como el modelo completo GLM 5.3 (753B parámetros) de Z.ai. NVIDIA afirma que esta configuración puede servir la variante GLM 5.3 Flash a aproximadamente 80 tokens por segundo, haciendo viable el desarrollo interactivo con arquitecturas de vanguardia in situ.

Para gestionar estos clústeres, NVIDIA Sync incluirá soporte de Cluster Assistant para la gestión y configuración de dispositivos antes de fin de año. El hardware depende de tarjetas de interfaz de red ConnectX-7 de baja latencia y RDMA sobre Ethernet Convergente (RoCE) para manejar el intercambio de tensores entre nodos. Esta base de red admite tanto topologías conectadas por switch para una partición flexible de cargas de trabajo como conexiones directas en anillo para configuraciones rentables.

Cómo funciona

Una innovación clave de software es RoCEnante, un backend colectivo optimizado para Spark diseñado para reducir la latencia durante las operaciones de decodificación paralela de tensores. En los algoritmos estándar de all-reduce en anillo, los datos pasan secuencialmente entre rangos vecinos, lo que puede introducir latencia para mensajes pequeños. RoCEnante utiliza un intercambio todos-a-todos donde cada rango comparte la entrada directamente con todos los demás rangos, seguido de una reducción local. Este enfoque minimiza los pasos de comunicación para conteos modestos de rangos, aunque aumenta el movimiento total de datos. Está integrado en FlashInfer y recurre a la biblioteca estándar de comunicaciones colectivas de NVIDIA (NCCL) si las pruebas de inicio fallan.

Para la gestión de cargas de trabajo, NVIDIA NeMo Switchyard habilita la orquestación multi-modelo en clústeres compartidos. Un clasificador ligero, como MiniCPM5 2B de OpenBMB, inspecciona las solicitudes entrantes y las enruta hacia pools de modelos apropiados. Las tareas simples se envían a modelos más pequeños y rápidos, mientras que las consultas complejas se dirigen a modelos más grandes como Qwen3.8 Flash Next. Este enrutamiento ocurre sobre clústeres conectados por switch, que proporcionan la conectividad cualquier-a-cualquier necesaria para grupos de modelos independientes. El sistema utiliza un archivo de política basado en YAML, permitiendo a los desarrolladores ajustar las divisiones de tráfico según sus necesidades específicas.

Detalles clave

• Ocho nodos DGX Spark proporcionan 1 TB de memoria unificada, habilitando la ejecución local del modelo GLM 5.3 de 753 mil millones de parámetros.
• El backend RoCEnante ofrece una aceleración de decodificación de 4.43x en ocho nodos en comparación con 3.05x sin él, específicamente para topologías conectadas por switch.
• El rendimiento de decodificación para Qwen3.8-27B escala desde aproximadamente 12 tokens por segundo en un nodo hasta 52 tokens por segundo en ocho nodos.
• NeMo Switchyard puede aumentar el rendimiento agregado hasta 3x enrutando la mayor parte del tráfico a modelos más pequeños mientras mantiene la calidad en benchmarks de uso de herramientas.
• El preentrenamiento de un modelo nanochat en ocho nodos logra una aceleración de 7.79x con una eficiencia de escalado del 97.4%, demostrando un rendimiento casi lineal.
• Las topologías físicas en anillo ofrecen una opción de menor costo para la inferencia de cuatro nodos, mientras que los switches son necesarios para clústeres de ocho nodos o asignaciones divididas.

Por qué importa

Para ingenieros de software y fundadores técnicos, este desarrollo desplaza el límite de lo posible en hardware local. Ejecutar un modelo de 753 mil millones de parámetros localmente elimina los costos de salida de datos y la latencia asociada con las APIs de la nube, abordando también las preocupaciones de privacidad para conjuntos de datos sensibles. La capacidad de escalar la memoria a 1 TB significa que los equipos pueden experimentar con arquitecturas de mezcla de expertos (mixture-of-experts) y ventanas de contexto grandes sin aprovisionar instancias remotas. Esto democratiza el acceso a modelos de vanguardia, permitiendo iteración rápida y depuración en un entorno controlado.

La introducción de backends colectivos optimizados y herramientas de orquestación multi-modelo también destaca un ecosistema maduro para la computación distribuida local. Los desarrolladores ya no necesitan gestionar manualmente pilas de red complejas ni escribir lógica de enrutamiento personalizada para equilibrar costo y rendimiento. Herramientas como Switchyard y RoCEnante abstrae estas complejidades, permitiendo a los equipos centrarse en el comportamiento del modelo y la lógica de aplicación en lugar de en el ajuste de la infraestructura. Esto reduce la sobrecarga operativa de mantener clústeres de IA de alto rendimiento in situ.

Qué puedes hacer

• Revisa la guía de compatibilidad de modelos para identificar qué modelos de vanguardia caben dentro del límite de memoria de 1 TB de un clúster de ocho nodos.
• Configura un clúster DGX Spark de dos nodos utilizando la guía de redes proporcionada para probar cargas de trabajo distribuidas antes de escalar.
• Implementa NeMo Switchyard con una política YAML de ejemplo para enrutar solicitudes entre diferentes tamaños de modelos según la complejidad.
• Realiza pruebas de referencia de tus cargas de trabajo de inferencia actuales usando vLLM en múltiples nodos Spark para medir las ganancias de rendimiento del paralelismo de tensores.
• Explora el código de preentrenamiento de nanochat en GitHub para entender cómo se aplica el escalado casi lineal al entrenar modelos pequeños desde cero.
• Evalúa si una topología en anillo sin switch satisface tus necesidades para despliegues de cuatro nodos para reducir los costos de hardware.