Mit KI entwickeln

Bereitstellung von GLM-5.3 über zwei DGX-Stationen mit vLLM und RDMA

Ein technischer Leitfaden erläutert, wie das 753-Milliarden-Parameter-Modell GLM-5.3 über zwei NVIDIA-DGX-Stationen hinweg bereitgestellt wird, unter Einsatz von Tensor-Parallelität, RDMA und vLLM.

Zwei Serverschränke, verbunden durch leuchtende Kabel, mit einer holografischen Netzbrücke dazwischen.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

NVIDIA hat ein detailliertes technisches Tutorial zur Bereitstellung des umfangreichen Mixture-of-Experts-Modells GLM-5.3 NVFP4 auf zwei separaten Hardware-Einheiten veröffentlicht. Der Leitfaden demonstriert, wie zwei NVIDIA-DGX-Stationen über Hochgeschwindigkeits-RDMA-Verbindungen gekoppelt werden, um einen einzigen, einheitlichen Inferenz-Endpunkt zu schaffen. Dieser Ansatz ermöglicht es Ingenieuren, Modelle auszuführen, die die Speicherkapazität einer einzelnen GPU überschreiten, während gleichzeitig eine niedrige Latenzleistung beibehalten wird.

Was passiert ist

Das Modell GLM-5.3 NVFP4 stellt aufgrund seiner Größe eine erhebliche Infrastrukturherausforderung dar. Mit insgesamt 753 Milliarden Parametern und 40 Milliarden aktivierten Parametern pro Token benötigt das Modell etwa 464 GB GPU-Speicher zur Speicherung der Gewichte. Diese Anforderung übersteigt deutlich die 252 GB HBM3e-Speicher, die auf einer einzelnen NVIDIA-GB300-GPU verfügbar sind. Um dies zu lösen, skizziert das Tutorial eine Methode zur Aufteilung des Modells auf zwei DGX-Stationen, die jeweils mit einer GB300-GPU ausgestattet sind, wodurch der verfügbare Speicherpool für die Gewichtsspeicherung effektiv verdoppelt wird.

Die Lösung basiert auf Tensor-Parallelität, bei der die Tensoren des Modells gleichmäßig zwischen den beiden GPUs aufgeteilt werden. Eine Station fungiert als primärer Knoten, der die API hostet, während die zweite als Worker-Knoten dient. Sie kommunizieren über eine ConnectX-8-RDMA-Netzwerkschiene, sodass der Datentransfer zwischen den Knoten nicht zum Engpass wird. Das gesamte Setup wird durch vLLM verwaltet, das den verteilten Dienst orchestriert und ihn über einen standardmäßigen OpenAI-kompatiblen Endpunkt verfügbar macht.

Diese Konfiguration ermöglicht fortgeschrittene Inferenzoptimierungen wie Multi-Token-Vorhersage und FP8-KV-Cache-Speicherung. Durch das Halten aller Gewichte im GPU-Speicher und das Deaktivieren des CPU-Offloads maximiert das System den Durchsatz für gleichzeitige Anfragen. Das Tutorial bietet schrittweise Anweisungen für die Hardwarevalidierung, den Modell-Download und die Dienstbereitstellung und stellt damit eine reproduzierbare Blaupause für die lokale Ausführung von Modellen in Frontier-Skala dar.

Wie es funktioniert

Tensor-Parallelität ist der Kernmechanismus, der diese Cross-Node-Bereitstellung ermöglicht. Anstatt das vollständige Modell auf jeder GPU zu replizieren, teilt das System die internen Tensoren des Modells auf die beiden Geräte auf. Wenn eine Anfrage eingeht, berechnen beide GPUs ihre jeweiligen Teile der Operation gleichzeitig. Sie tauschen Teilergebnisse über die hochbandbreitenfähige RDMA-Verbindung aus, um die Berechnung für jedes Token abzuschließen. Dies stellt sicher, dass keine GPU den gesamten 464-GB-Checkpoint halten muss, da jede nur etwa die Hälfte der Gewichte speichert.

vLLM verwaltet die verteilte Ausführungsumgebung, indem identische Container auf beiden Stationen gestartet werden. Es verwendet spezifische Umgebungsvariablen, um die Rolle jedes Knotens zu definieren, wie z. B. Rang und Master-Adresse. Das System nutzt Multi-Token Prediction (MTP), eine spekulative Dekodierungstechnik, bei der das Modell mehrere Tokens in einem einzigen Schritt entwirft. vLLM verifiziert diese Entwürfe anschließend gegen das vollständige Modell und akzeptiert gültige Sequenzen, um die Generierungsgeschwindigkeit zu steigern. Zusätzlich reduziert die FP8-Quantisierung für den KV-Cache den Speicherverbrauch im Vergleich zur Standard-16-Bit-Speicherung um die Hälfte, was es ermöglicht, mehr Kontext während langer Konversationen beizubehalten.

Wichtige Details

  • Das Modell GLM-5.3 NVFP4 verfügt über 753 Milliarden Parameter, wobei 40 Milliarden pro Token aktiviert werden; es werden etwa 464 GB GPU-Speicher benötigt.
  • Zwei NVIDIA-DGX-Stationen mit GB300-GPUs sind über ConnectX-8 RDMA verbunden, um die Rechenlast zu teilen.
  • Die Tensor-Parallelität mit einem Faktor von 2 (TP=2) teilt die Modellgewichte und die Berechnung auf die beiden GPUs auf.
  • vLLM übernimmt das verteilte Serving und ermöglicht Funktionen wie Multi-Token-Vorhersage, FP8-KV-Cache und Prefix-Caching.
  • Benchmarks auf dem SPEED-Bench-Coding-Datensatz zeigten einen Spitzen-Durchsatz von 607,8 Tokens pro Sekunde bei einer Parallelität von 16.
  • Bei höheren Parallelitätsstufen von 32 sank der Durchsatz auf 385,0 Tokens pro Sekunde bei einer mittleren Latenz von 453,5 Sekunden.

Warum es wichtig ist

Für Infrastruktur-Ingenieure und KI-Entwickler adressiert dieses Tutorial die wachsende Lücke zwischen Modellgröße und den Speicherlimits einzelner GPUs. Da Mixture-of-Experts-Modelle immer verbreiteter werden, ist die Fähigkeit, Gewichte effizient über mehrere Knoten zu verteilen, ohne Geschwindigkeitseinbußen hinzunehmen, entscheidend. Der Einsatz von RDMA stellt sicher, dass die Kommunikation zwischen den Knoten schnell genug bleibt, um Echtzeit-Inferenz zu unterstützen, und vermeidet die Latenzstrafen, die oft mit netzwerkbasierten verteilten Computing-Ansätzen verbunden sind.

Die praktischen Auswirkungen erstrecken sich auf Kosten- und Ressourceneffizienz. Durch die Maximierung der GPU-Speichernutzung und den Einsatz von Techniken wie FP8-Caching können Organisationen größere Modelle auf bestehenden Hardwarekonfigurationen bereitstellen, anstatt auf Single-Chip-Lösungen der nächsten Generation zu warten. Die bereitgestellten Benchmarks bieten eine realistische Erwartungshaltung an die Leistung unter Last und helfen Teams, die Kapazitäten für Produktionsumgebungen zu planen, in denen gleichzeitige Benutzeranfragen der Normalfall sind.

Was Sie tun können

  • Validieren Sie Ihr Hardware-Setup anhand des Playbooks „Connect Two DGX Stations“, bevor Sie mit der Bereitstellung beginnen.
  • Stellen Sie sicher, dass beide Stationen mindestens 464 GB freien Festplattenspeicher haben, um lokale Kopien des Modell-Checkpoints zu speichern.
  • Konfigurieren Sie passwortlosen SSH-Zugriff zwischen den beiden Stationen, um automatisierte Dateiübertragungen und Remote-Befehle zu erleichtern.
  • Verwenden Sie die Vorlage für die Umgebungsdatei, um Rang, IP-Adressen und RDMA-Geräte-IDs für jeden Knoten korrekt einzustellen.
  • Starten Sie den vLLM-Dienst zuerst auf dem Worker-Knoten, gefolgt vom primären Knoten, um eine ordnungsgemäße Cluster-Initialisierung sicherzustellen.
  • Führen Sie AIPerf-Benchmarks mit benutzerdefinierten Prompts durch, um die optimale Parallelitätsstufe für Ihre spezifischen Arbeitslastanforderungen zu bestimmen.
  • #nvidia
  • #vllm
  • #inference
  • #distributed systems
  • #glm-5.3

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel