Servir GLM-5.3 sur deux stations DGX avec vLLM et RDMA
Un guide technique détaille comment servir le modèle GLM-5.3 de 753 milliards de paramètres sur deux NVIDIA DGX Stations en utilisant le parallélisme tensoriel, RDMA et vLLM.
Traduit automatiquement depuis l'original anglais.
NVIDIA a publié un tutoriel technique détaillé sur la façon de servir l'immense modèle à mélange d'experts (MoE) GLM-5.3 NVFP4 sur deux unités matérielles distinctes. Le guide démontre comment connecter deux NVIDIA DGX Stations via des connexions RDMA haute vitesse pour créer un point de terminaison d'inférence unique et unifié. Cette approche permet aux ingénieurs d'exécuter des modèles dépassant la capacité mémoire d'un seul GPU tout en maintenant une performance à faible latence.
Ce qui s'est passé
Le modèle GLM-5.3 NVFP4 pose un défi infrastructurel majeur en raison de sa taille. Avec 753 milliards de paramètres au total et 40 milliards activés par token, le modèle nécessite environ 464 Go de mémoire GPU pour stocker ses poids. Cette demande dépasse largement les 252 Go de mémoire HBM3e disponibles sur un seul GPU NVIDIA GB300. Pour y remédier, le tutoriel expose une méthode permettant de diviser le modèle entre deux DGX Stations, chacune équipée d'un GPU GB300, doublant ainsi effectivement le pool mémoire disponible pour le stockage des poids.
La solution repose sur le parallélisme tensoriel, où les tenseurs du modèle sont divisés équitablement entre les deux GPU. Une station agit comme nœud principal hébergeant l'API, tandis que la seconde sert de nœud worker. Ils communiquent via un rail réseau ConnectX-8 RDMA, garantissant que le transfert de données entre les nœuds ne devienne pas un goulot d'étranglement. L'ensemble de la configuration est géré par vLLM, qui orchestre le service distribué et l'expose via un point de terminaison standard compatible OpenAI.
Cette configuration permet des optimisations avancées d'inférence telles que la prédiction multi-tokens et le stockage du cache KV en FP8. En gardant tous les poids dans la mémoire GPU et en désactivant le déchargement vers le CPU, le système maximise le débit pour les requêtes concurrentes. Le tutoriel fournit des instructions étape par étape pour la validation matérielle, le téléchargement du modèle et le déploiement du service, offrant un plan reproductible pour exécuter des modèles à l'échelle de pointe localement.
Comment cela fonctionne
Le parallélisme tensoriel est le mécanisme central permettant ce déploiement inter-nœuds. Au lieu de répliquer le modèle complet sur chaque GPU, le système divise les tenseurs internes du modèle entre les deux appareils. Lorsqu'une requête arrive, les deux GPU calculent simultanément leurs portions respectives de l'opération. Ils échangent des résultats partiels via la connexion RDMA à haut débit pour compléter le calcul de chaque token. Cela garantit qu'aucun GPU n'a besoin de conserver l'intégralité du checkpoint de 464 Go, car chacun ne stocke qu'environ la moitié des poids.
vLLM gère l'environnement d'exécution distribué en lançant des conteneurs identiques sur les deux stations. Il utilise des variables d'environnement spécifiques pour définir le rôle de chaque nœud, tel que le rang et l'adresse maître. Le système exploite la Prédiction Multi-Tokens (MTP), une technique de décodage spéculatif où le modèle rédige plusieurs tokens en une seule étape. vLLM vérifie ensuite ces brouillons contre le modèle complet, acceptant les séquences valides pour accélérer la génération. De plus, la quantification FP8 pour le cache KV réduit l'utilisation mémoire de moitié par rapport au stockage standard en 16 bits, permettant de conserver plus de contexte lors de conversations longues.
Détails clés
- Le modèle GLM-5.3 NVFP4 compte 753 milliards de paramètres, dont 40 milliards activés par token, nécessitant environ 464 Go de mémoire GPU.
- Deux NVIDIA DGX Stations équipées de GPU GB300 sont connectées via RDMA ConnectX-8 pour partager la charge de calcul.
- Le parallélisme tensoriel avec un facteur de 2 (TP=2) divise les poids du modèle et le calcul entre les deux GPU.
- vLLM gère le service distribué, permettant des fonctionnalités telles que la prédiction multi-tokens, le cache KV FP8 et la mise en cache préfixée.
- Les benchmarks sur le jeu de données SPEED-Bench Coding ont montré un débit maximal de 607,8 tokens par seconde à une concurrence de 16.
- À des niveaux de concurrence plus élevés de 32, le débit a chuté à 385,0 tokens par seconde avec une latence moyenne de 453,5 secondes.
Pourquoi c'est important
Pour les ingénieurs d'infrastructure et les développeurs IA, ce tutoriel répond à l'écart croissant entre la taille des modèles et les limites mémoire des GPU uniques. Alors que les modèles à mélange d'experts deviennent plus courants, la capacité de distribuer efficacement les poids sur plusieurs nœuds sans sacrifier la vitesse est critique. L'utilisation de RDMA garantit que la communication inter-nœuds reste assez rapide pour soutenir l'inférence en temps réel, évitant les pénalités de latence souvent associées au calcul distribué basé sur le réseau.
L'impact pratique s'étend à l'efficacité des coûts et des ressources. En maximisant l'utilisation de la mémoire GPU et en employant des techniques comme la mise en cache FP8, les organisations peuvent servir des modèles plus grands sur des configurations matérielles existantes plutôt que d'attendre les solutions monocristalines de prochaine génération. Les benchmarks fournis offrent une attente réaliste des performances sous charge, aidant les équipes à planifier la capacité pour les environnements de production où les requêtes utilisateurs concurrentes sont la norme.
Ce que vous pouvez faire
- Validez votre configuration matérielle en utilisant le playbook « Connect Two DGX Stations » avant de tenter le déploiement.
- Assurez-vous que les deux stations disposent d'au moins 464 Go d'espace disque libre pour stocker les copies locales du checkpoint du modèle.
- Configurez l'accès SSH sans mot de passe entre les deux stations pour faciliter les transferts de fichiers automatisés et les commandes distantes.
- Utilisez le modèle de fichier d'environnement fourni pour définir correctement le rang, les adresses IP et les identifiants de périphériques RDMA pour chaque nœud.
- Lancez le service vLLM sur le nœud worker en premier, suivi du nœud principal, pour assurer une initialisation correcte du cluster.
- Exécutez les benchmarks AIPerf avec des prompts personnalisés pour déterminer le niveau de concurrence optimal pour vos exigences de charge de travail spécifiques.



