Servir GLM-5.3 en dos estaciones DGX con vLLM y RDMA
Una guía técnica detalla cómo servir el modelo GLM-5.3 de 753 mil millones de parámetros en dos NVIDIA DGX Stations utilizando paralelismo de tensores, RDMA y vLLM.
Traducido automáticamente del original en inglés.
NVIDIA ha publicado un tutorial técnico detallado sobre cómo servir el masivo modelo de mezcla de expertos (mixture-of-experts) GLM-5.3 NVFP4 en dos unidades de hardware separadas. La guía demuestra cómo conectar dos NVIDIA DGX Stations mediante conexiones RDMA de alta velocidad para crear un único punto de acceso de inferencia unificado. Este enfoque permite a los ingenieros ejecutar modelos que superan la capacidad de memoria de una sola GPU manteniendo un rendimiento de baja latencia.
Qué ocurrió
El modelo GLM-5.3 NVFP4 presenta un desafío significativo de infraestructura debido a su tamaño. Con 753 mil millones de parámetros totales y 40 mil millones activados por token, el modelo requiere aproximadamente 464 GB de memoria de GPU para almacenar sus pesos. Esta demanda supera ampliamente los 252 GB de memoria HBM3e disponibles en una sola GPU NVIDIA GB300. Para abordar esto, el tutorial describe un método para dividir el modelo entre dos DGX Stations, cada una equipada con una GPU GB300, duplicando efectivamente el pool de memoria disponible para el almacenamiento de pesos.
La solución se basa en el paralelismo de tensores, donde los tensores del modelo se dividen equitativamente entre las dos GPUs. Una estación actúa como nodo principal alojando la API, mientras que la segunda sirve como nodo trabajador. Se comunican a través de un riel de red RDMA ConnectX-8, garantizando que la transferencia de datos entre nodos no se convierta en un cuello de botella. Toda la configuración se gestiona a través de vLLM, que orquesta el servicio distribuido y lo expone mediante un endpoint estándar compatible con OpenAI.
Esta configuración habilita optimizaciones avanzadas de inferencia como la predicción multi-token y el almacenamiento de caché KV en FP8. Al mantener todos los pesos en la memoria de la GPU y desactivar el descargue a CPU (CPU offload), el sistema maximiza el rendimiento para solicitudes concurrentes. El tutorial proporciona instrucciones paso a paso para la validación del hardware, la descarga del modelo y el despliegue del servicio, ofreciendo un plano reproducible para ejecutar modelos de escala frontera localmente.
Cómo funciona
El paralelismo de tensores es el mecanismo central que habilita este despliegue entre nodos. En lugar de replicar el modelo completo en cada GPU, el sistema divide los tensores internos del modelo entre los dos dispositivos. Cuando llega una solicitud, ambas GPUs calculan simultáneamente sus respectivas partes de la operación. Intercambian resultados parciales a través de la conexión RDMA de alto ancho de banda para completar el cálculo de cada token. Esto garantiza que ninguna GPU necesite contener todo el checkpoint de 464 GB, ya que cada una solo almacena aproximadamente la mitad de los pesos.
vLLM gestiona el entorno de ejecución distribuido lanzando contenedores idénticos en ambas estaciones. Utiliza variables de entorno específicas para definir el rol de cada nodo, como el rango (rank) y la dirección maestra. El sistema aprovecha la Predicción Multi-Token (MTP), una técnica de decodificación especulativa donde el modelo genera múltiples tokens en un solo paso. vLLM luego verifica estos borradores contra el modelo completo, aceptando secuencias válidas para acelerar la generación. Además, la cuantización FP8 para la caché KV reduce el uso de memoria a la mitad en comparación con el almacenamiento estándar de 16 bits, permitiendo retener más contexto durante conversaciones largas.
Detalles clave
- El modelo GLM-5.3 NVFP4 tiene 753 mil millones de parámetros, con 40 mil millones activados por token, requiriendo unos 464 GB de memoria de GPU.
- Dos NVIDIA DGX Stations con GPUs GB300 están conectadas vía RDMA ConnectX-8 para compartir la carga computacional.
- El paralelismo de tensores con un factor de 2 (TP=2) divide los pesos y la computación del modelo entre las dos GPUs.
- vLLM maneja el servicio distribuido, habilitando funciones como predicción multi-token, caché KV en FP8 y caché de prefijos.
- Las pruebas de referencia en el conjunto de datos SPEED-Bench Coding mostraron un rendimiento máximo de 607,8 tokens por segundo a una concurrencia de 16.
- A niveles de concurrencia más altos de 32, el rendimiento cayó a 385,0 tokens por segundo con una latencia media de 453,5 segundos.
Por qué importa
Para ingenieros de infraestructura y desarrolladores de IA, este tutorial aborda la creciente brecha entre el tamaño del modelo y los límites de memoria de una sola GPU. A medida que los modelos de mezcla de expertos se vuelven más comunes, la capacidad de distribuir pesos eficientemente entre múltiples nodos sin sacrificar velocidad es crítica. El uso de RDMA asegura que la comunicación entre nodos siga siendo lo suficientemente rápida para soportar la inferencia en tiempo real, evitando las penalizaciones de latencia asociadas a menudo con la computación distribuida basada en red.
El impacto práctico se extiende a la eficiencia de costos y recursos. Al maximizar la utilización de la memoria de la GPU y emplear técnicas como el caché FP8, las organizaciones pueden servir modelos más grandes en configuraciones de hardware existentes en lugar de esperar soluciones de chip único de próxima generación. Los benchmarks proporcionados ofrecen una expectativa realista del rendimiento bajo carga, ayudando a los equipos a planificar la capacidad para entornos de producción donde las solicitudes de usuarios concurrentes son la norma.
Qué puedes hacer
- Valida tu configuración de hardware utilizando el playbook "Conectar dos estaciones DGX" antes de intentar el despliegue.
- Asegúrate de que ambas estaciones tengan al menos 464 GB de espacio libre en disco para almacenar copias locales del checkpoint del modelo.
- Configura el acceso SSH sin contraseña entre las dos estaciones para facilitar transferencias de archivos automatizadas y comandos remotos.
- Usa la plantilla de archivo de entorno proporcionada para configurar correctamente el rango, las direcciones IP y los identificadores de dispositivo RDMA para cada nodo.
- Inicia el servicio vLLM primero en el nodo trabajador, seguido del nodo principal, para garantizar una inicialización correcta del clúster.
- Ejecuta benchmarks AIPerf con prompts personalizados para determinar el nivel óptimo de concurrencia para tus requisitos específicos de carga de trabajo.



