NVIDIA DGX Spark évolue vers des clusters de huit nœuds pour les modèles d'IA de pointe en local

NVIDIA a élargi sa stratégie matérielle d'IA de bureau en officialisant la prise en charge des clusters à huit nœuds pour le système DGX Spark. Annoncée lors de GTC Berlin en octobre 2026, cette mise à jour porte la mémoire unifiée à 1 To, permettant aux développeurs d'exécuter localement des modèles massifs de classe frontière (frontier-class). La version inclut de nouvelles optimisations logicielles pour la communication collective et l'orchestration multi-modèles, visant à apporter des infrastructures à grande échelle sur des postes de travail individuels.

Ce qui s'est passé

L'avancée majeure réside dans la capacité de relier huit unités DGX Spark en un seul cluster cohérent. Chaque unité fournit 128 Go de mémoire unifiée, ce qui offre 1 To de mémoire adressable totale pour une configuration à huit nœuds. Cette capacité permet l'exécution locale de modèles nécessitant auparavant des centres de données cloud, tels que le modèle complet GLM 5.3 (753 milliards de paramètres) de Z.ai. NVIDIA indique que cette configuration peut servir la variante GLM 5.3 Flash à environ 80 jetons par seconde, rendant possible le développement interactif avec des architectures de pointe sur site.

Pour gérer ces clusters, NVIDIA Sync inclura le support de Cluster Assistant pour la gestion et la configuration des appareils d'ici la fin de l'année. Le matériel repose sur des cartes d'interface réseau ConnectX-7 à faible latence et RDMA over Converged Ethernet (RoCE) pour gérer les échanges de tenseurs entre les nœuds. Cette base réseau prend en charge à la fois les topologies connectées par commutateur pour une partitionnement flexible des charges de travail et les connexions directes en anneau pour des configurations économiques.

Comment cela fonctionne

Une innovation logicielle clé est RoCEnante, un backend collectif optimisé pour Spark conçu pour réduire la latence lors des opérations de décodage parallèle de tenseurs. Dans les algorithmes standard d'all-reduce en anneau, les données transitent séquentiellement entre les rangs voisins, ce qui peut introduire de la latence pour les petits messages. RoCEnante utilise un échange tous-à-tous où chaque rang partage directement son entrée avec tous les autres rangs, suivi d'une réduction locale. Cette approche minimise les étapes de communication pour un nombre modeste de rangs, bien qu'elle augmente le volume total de données déplacées. Elle est intégrée dans FlashInfer et revient à la bibliothèque NVIDIA Collective Communications Library (NCCL) standard si les tests de démarrage échouent.

Pour la gestion des charges de travail, NVIDIA NeMo Switchyard permet l'orchestration multi-modèles sur des clusters partagés. Un classificateur léger, tel que MiniCPM5 2B d'OpenBMB, inspecte les requêtes entrantes et les route vers les pools de modèles appropriés. Les tâches simples sont dirigées vers des modèles plus petits et rapides, tandis que les requêtes complexes sont orientées vers des modèles plus grands comme Qwen3.8 Flash Next. Ce routage s'effectue via des clusters connectés par commutateur, qui fournissent la connectivité tout-à-tout nécessaire pour des groupes de modèles indépendants. Le système utilise un fichier de politique basé sur YAML, permettant aux développeurs d'ajuster la répartition du trafic selon leurs besoins spécifiques.

Détails clés

• Huit nœuds DGX Spark fournissent 1 To de mémoire unifiée, permettant l'exécution locale du modèle GLM 5.3 à 753 milliards de paramètres.
• Le backend RoCEnante offre une accélération du décodage de 4,43x sur huit nœuds par rapport à 3,05x sans lui, spécifiquement pour les topologies connectées par commutateur.
• Le débit de décodage pour Qwen3.8-27B passe d'environ 12 jetons par seconde sur un nœud à 52 jetons par seconde sur huit nœuds.
• NeMo Switchyard peut augmenter le débit agrégé jusqu'à 3x en dirigeant la majorité du trafic vers des modèles plus petits tout en maintenant la qualité sur les benchmarks d'utilisation d'outils.
• Le pré-entraînement d'un modèle nanochat sur huit nœuds atteint une accélération de 7,79x avec une efficacité de mise à l'échelle de 97,4 %, démontrant une performance quasi linéaire.
• Les topologies physiques en anneau offrent une option moins coûteuse pour l'inférence à quatre nœuds, tandis que les commutateurs sont requis pour les clusters à huit nœuds ou les allocations divisées.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, ce développement repousse les limites de ce qui est possible sur du matériel local. L'exécution locale d'un modèle de 753 milliards de paramètres élimine les coûts de sortie de données et la latence associés aux API cloud, tout en répondant aux préoccupations de confidentialité pour les jeux de données sensibles. La capacité de faire évoluer la mémoire jusqu'à 1 To signifie que les équipes peuvent expérimenter avec des architectures mixture-of-experts et de grandes fenêtres de contexte sans provisionner d'instances distantes. Cela démocratise l'accès aux modèles de pointe, permettant une itération rapide et le débogage dans un environnement contrôlé.

L'introduction de backends collectifs optimisés et d'outils d'orchestration multi-modèles souligne également la maturité croissante de l'écosystème pour le calcul distribué local. Les développeurs n'ont plus besoin de gérer manuellement des piles réseau complexes ni d'écrire une logique de routage personnalisée pour équilibrer coût et performance. Des outils comme Switchyard et RoCEnante abstraitent ces complexités, permettant aux équipes de se concentrer sur le comportement des modèles et la logique applicative plutôt que sur l'ajustement de l'infrastructure. Cela réduit la charge opérationnelle liée à la maintenance de clusters IA haute performance sur site.

Ce que vous pouvez faire

• Consultez le guide de compatibilité des modèles pour identifier quels modèles de frontière tiennent dans la limite de 1 To de mémoire d'un cluster à huit nœuds.
• Configurez un cluster DGX Spark à deux nœuds en utilisant le guide réseau fourni pour tester les charges de travail distribuées avant de passer à l'échelle supérieure.
• Implémentez NeMo Switchyard avec un exemple de politique YAML pour router les requêtes entre différentes tailles de modèles selon leur complexité.
• Effectuez des benchmarks de vos charges de travail d'inférence actuelles en utilisant vLLM sur plusieurs nœuds Spark pour mesurer les gains de débit issus du parallélisme de tenseurs.
• Explorez le code de pré-entraînement nanochat sur GitHub pour comprendre comment la mise à l'échelle quasi linéaire s'applique à l'entraînement de petits modèles depuis zéro.
• Évaluez si une topologie en anneau sans commutateur répond à vos besoins pour des déploiements à quatre nœuds afin de réduire les coûts matériels.