NVIDIA DGX Spark skaliert auf acht Knoten für lokale Frontier-KI-Modelle

NVIDIA hat seine Strategie für Desktop-KI-Hardware erweitert, indem es offiziell Acht-Knoten-Cluster für das DGX-Spark-System unterstützt. Diese Aktualisierung wurde im Oktober 2026 auf der GTC Berlin angekündigt und skaliert den einheitlichen Speicher auf 1 TB, sodass Entwickler große Modelle der Spitzenklasse lokal ausführen können. Das Release umfasst neue Softwareoptimierungen für die kollektive Kommunikation und Multi-Modell-Orchestrierung, um großskalige Infrastruktur-Muster auf einzelne Workstations zu bringen.

Was passiert ist

Der zentrale Fortschritt besteht in der Möglichkeit, acht DGX-Spark-Einheiten zu einem einzigen kohärenten Cluster zu verbinden. Jede Einheit bietet 128 GB einheitlichen Speicher, sodass eine Acht-Knoten-Konfiguration insgesamt 1 TB adressierbaren Speicher bereitstellt. Diese Kapazität ermöglicht die lokale Ausführung von Modellen, die zuvor Cloud-Rechenzentren erforderten, wie etwa das vollständige GLM 5.3 (753B) Parametermodell von Z.ai. NVIDIA gibt an, dass diese Konfiguration die GLM 5.3 Flash-Variante mit ungefähr 80 Token pro Sekunde bedienen kann, was interaktive Entwicklung mit Architekturmodellen der Spitzenklasse vor Ort (On-Premises) machbar macht.

Zur Verwaltung dieser Cluster wird NVIDIA Sync bis Ende des Jahres Unterstützung für den Cluster Assistant für Geräteverwaltung und Setup enthalten. Die Hardware basiert auf Netzwerkinterface-Karten vom Typ ConnectX-7 mit geringer Latenz und RDMA über Converged Ethernet (RoCE), um Tensor-Austausch zwischen den Knoten zu handhaben. Diese Netzwerkgrundlage unterstützt sowohl Switch-basierte Topologien für flexible Arbeitslastaufteilung als auch direkte Ringverbindungen für kosteneffektive Setups.

Wie es funktioniert

Eine wichtige Softwareinnovation ist RoCEnante, ein Spark-optimiertes kollektives Backend, das entwickelt wurde, um die Latenz bei tensorparallelen Decode-Operationen zu reduzieren. Bei Standard-Ring-All-Reduce-Algorithmen werden Daten sequenziell zwischen benachbarten Rängen weitergegeben, was bei kleinen Nachrichten Latenzen verursachen kann. RoCEnante nutzt einen All-to-All-Austausch, bei dem jeder Rang Eingaben direkt mit jedem anderen Rang teilt, gefolgt von einer lokalen Reduktion. Dieser Ansatz minimiert die Kommunikationschritte bei moderater Anzahl von Rängen, erhöht jedoch den gesamten Datentransfer. Er ist in FlashInfer integriert und fällt auf die standardmäßige NVIDIA Collective Communications Library (NCCL) zurück, wenn Starttests fehlschlagen.

Für das Management der Arbeitslasten ermöglicht NVIDIA NeMo Switchyard Multi-Modell-Orchestrierung auf geteilten Clustern. Ein leichtgewichtiger Klassifizierer, wie etwa MiniCPM5 2B von OpenBMB, untersucht eingehende Anfragen und leitet sie an geeignete Modellpools weiter. Einfache Aufgaben gehen an kleinere, schnellere Modelle, während komplexe Abfragen an größere Modelle wie Qwen3.8 Flash Next gerichtet werden. Dieses Routing erfolgt über Switch-verbundene Cluster, die die erforderliche Any-to-Any-Konnektivität für unabhängige Modellgruppen bereitstellen. Das System verwendet eine YAML-basierte Policy-Datei, damit Entwickler Traffic-Aufteilungen basierend auf ihren spezifischen Anforderungen anpassen können.

Wichtige Details

• Acht DGX-Spark-Knoten bieten 1 TB einheitlichen Speicher und ermöglichen die lokale Ausführung des 753B-Parameter-Modells GLM 5.3.
• Das RoCEnante-Backend liefert bei acht Knoten einen 4,43-fachen Decode-Geschwindigkeitszuwachs im Vergleich zu 3,05-fach ohne dieses Feature, speziell für Switch-basierte Topologien.
• Der Decode-Durchsatz für Qwen3.8-27B skaliert von etwa 12 Token pro Sekunde auf einem Knoten auf 52 Token pro Sekunde auf acht Knoten.
• NeMo Switchyard kann den aggregierten Durchsatz um bis zu das Dreifache erhöhen, indem der meiste Traffic an kleinere Modelle geleitet wird, während die Qualität bei Tool-Nutzungs-Benchmarks erhalten bleibt.
• Das Vorabtraining eines Nanochat-Modells über acht Knoten hinweg erreicht einen 7,79-fachen Geschwindigkeitszuwachs mit einer Skalierungseffizienz von 97,4 %, was nahezu lineare Leistung demonstriert.
• Physische Ring-Topologien bieten eine kostengünstigere Option für Vier-Knoten-Inferenz, während Switches für Acht-Knoten-Cluster oder Aufteilungs-Zuweisungen erforderlich sind.

Warum das wichtig ist

Für Software-Ingenieure und technische Gründer verschiebt diese Entwicklung die Grenzen dessen, was auf lokaler Hardware möglich ist. Die lokale Ausführung eines 753B-Parameter-Modells eliminiert Kosten für Datenexporte und Latenzen im Zusammenhang mit Cloud-APIs und adressiert gleichzeitig Datenschutzbedenken bei sensiblen Datensätzen. Die Fähigkeit, den Speicher auf 1 TB zu skalieren, bedeutet, dass Teams mit Mixture-of-Experts-Architekturen und großen Kontextfenstern experimentieren können, ohne Remote-Instanzen bereitzustellen. Dies demokratisiert den Zugang zu Spitzenmodellen und ermöglicht schnelles Iterieren und Debugging in einer kontrollierten Umgebung.

Die Einführung optimierter kollektiver Backends und Multi-Modell-Orchestrierungs-Tools unterstreicht zudem ein reifendes Ökosystem für verteiltes lokales Computing. Entwickler müssen keine komplexen Netzwerkstacks mehr manuell verwalten oder eigene Routing-Logik schreiben, um Kosten und Leistung auszubalancieren. Tools wie Switchyard und RoCEnante abstrahieren diese Komplexitäten und ermöglichen es Teams, sich auf Modellverhalten und Anwendungslogik statt auf Infrastruktur-Tuning zu konzentrieren. Dies reduziert den operativen Aufwand für die Wartung von Hochleistungs-KI-Clustern vor Ort.

Was Sie tun können

• Prüfen Sie den Leitfaden zur Modellkompatibilität, um zu identifizieren, welche Spitzenmodelle innerhalb des 1-TB-Speicherlimits eines Acht-Knoten-Clusters Platz finden.
• Richten Sie einen Zwei-Knoten-DGX-Spark-Cluster anhand des bereitgestellten Netzwerk-Leitfadens ein, um verteilte Arbeitslasten zu testen, bevor Sie skalieren.
• Implementieren Sie NeMo Switchyard mit einer Beispiel-YAML-Policy, um Anfragen basierend auf ihrer Komplexität zwischen verschiedenen Modellgrößen zu routen.
• Benchmarken Sie Ihre aktuellen Inferenz-Workloads mit vLLM über mehrere Spark-Knoten hinweg, um die Durchsatzgewinne durch Tensor-Parallelismus zu messen.
• Erkunden Sie den Code für das Nanochat-Vorabtraining auf GitHub, um zu verstehen, wie nahezu lineare Skalierung auf das Training kleiner Modelle von Grund auf angewendet wird.
• Evaluieren Sie, ob eine switchlose Ring-Topologie Ihren Anforderungen für Vier-Knoten-Bereitstellungen entspricht, um Hardwarekosten zu senken.