NVIDIA-Rubin-Architektur maximiert AI-Inferenz-Durchsatz durch Co-Design

NVIDIA hat eine umfassende Strategie vorgestellt, um die Effizienz von KI-Inferenz-Workloads durch eng abgestimmtes Hardware- und Software-Co-Design zu maximieren. Der am 5. November 2026 veröffentlichte technische Tiefgang erklärt, wie das kommende Vera Rubin NVL72-System bis zu 30-mal den Durchsatz pro Megawatt im Vergleich zur vorherigen GB300-Generation erreicht. Dieser Leistungssprung wird nicht durch eine Erhöhung der Speicherkapazität erzielt, die bei 288 GB pro GPU bleibt, sondern durch eine erhebliche Verbesserung der Nutzung jedes Bytes High-Bandwidth Memory (HBM).

Was passiert ist

Die zentrale Herausforderung, die in diesem Update adressiert wird, ist der HBM-Engpass in modernen KI-Fabriken. Da Modelle größer werden und sich die Kontextfenster erweitern, wird HBM zur teuersten und am stärksten umkämpften Ressource. NVIDIA argumentiert, dass es nicht ausreicht, einfach mehr Speicher hinzuzufügen; stattdessen muss der Fokus darauf liegen, sicherzustellen, dass jedes Byte direkt zur Token-Generierung beiträgt, anstatt ungenutzt zu bleiben oder redundante Daten zu speichern. Das Unternehmen zeigt, dass der agentische Durchsatz pro Megawatt deutlich schneller gewachsen ist als die Rohkapazität, was auf einen grundlegenden Wandel der architektonischen Prioritäten hindeutet.

Um dies zu lösen, hat NVIDIA fünf spezifische co-designete Hebel eingeführt, die GPU-Architektur, Interconnects, Serving-Software, CPUs und Storage umfassen. Diese Innovationen arbeiten zusammen, um Modell-Footprints zu reduzieren, die Gewichtsverteilung zu optimieren, Key-Value-(KV)-Caches als flottenweite Ressource zu verwalten, CPU-Speicher für inaktive Kontexte zu nutzen und Storage-Tiers über gesamte Pods hinweg zu erweitern. Das Ergebnis ist ein System, das komplexe, langkontextuelle agentische Workflows mit viel höherer Parallelität und geringerer Latenz bewältigen kann.

Wie es funktioniert

Der erste Hebel ist NVFP4, ein neues Präzisionsformat, das den Footprint der Modellgewichte im Vergleich zu FP16 um etwa das 3,5-fache und im Vergleich zu FP8 um das 1,8-fache reduziert. Durch die Verwendung eines 4-Bit-Elements mit zwei Skalierungsstufen bewahrt NVFP4 die Genauigkeit, während gleichzeitig erheblicher HBM für KV-Caches und größere Batches freigesetzt wird. Dieses Format wird auch auf den KV-Cache selbst angewendet, wodurch sein Footprint im Vergleich zu FP8 um bis zu 50 % sinkt, sodass doppelt so viel Kontext auf dem Gerät resident bleiben kann. Diese Reduzierung minimiert Evictions und Bandbreitenverbrauch während des Decodings.

Zweitens verteilt Wide Expert Parallelism in TensorRT-LLM die Gewichte von Mixture-of-Experts-(MoE)-Modellen auf acht oder mehr GPUs. Dieser Ansatz lässt pro GPU mehr HBM für Caching verfügbar und erhöht die arithmetische Intensität durch Wiederverwendung der Gewichte über mehr Tokens hinweg. Drittens behandelt NVIDIA Dynamo den KV-Cache als gemeinsame Ressource über die gesamte Flotte hinweg. Es nutzt KV-aware Routing, um Anfragen dort zu platzieren, wo relevanter Kontext bereits existiert, disaggregated Serving, um Prefill- und Decode-Workloads zu trennen, sowie einen KV Cache Runner, der Blöcke über GPU, CPU und Storage hinweg unter Verwendung der NIXL-Bibliothek tiered.

Der vierte und fünfte Hebel betreffen die Erweiterung der Speicherhierarchie über die GPU hinaus. Die NVIDIA Vera CPU verfügt über 88 Olympus-Kerne und bis zu 1,5 TB LPDDR5X-Speicher, der kohärent über NVLink-C2C mit einer Geschwindigkeit von 1,8 TB/s mit der GPU verbunden ist. Dies ermöglicht es, inaktive KV-Caches während Tool-Aufrufe im CPU-Speicher zu zwischenspeichern und so Evictions aus dem HBM zu verhindern. Schließlich fügt NVIDIA CMX eine Pod-Level-G3.5-Speichertier hinzu, die auf BlueField-4 STX und Spectrum-X-Networking basiert. Diese Ebene ermöglicht das Teilen und Wiederverwenden von KV-Caches über Knoten hinweg und stellt sicher, dass der Kontext über einzelne Sitzungen oder GPU-Ausfälle hinaus erhalten bleibt.

Wichtige Details

• NVFP4 reduziert den Footprint der Modellgewichte um ~3,5x gegenüber FP16 und ~1,8x gegenüber FP8, während die Genauigkeit erhalten bleibt.
• Vera Rubin NVL72 liefert bis zu 30x den Durchsatz pro Megawatt von GB300 NVL72, obwohl es denselben 288 GB HBM pro GPU besitzt.
• Wide Expert Parallelism verteilt MoE-Experten auf 8+ GPUs, erhöht die Verfügbarkeit von HBM für KV-Caches und verbessert die Wiederverwendung der Gewichte.
• NVIDIA Dynamo ermöglicht KV-aware Routing und disaggregated Serving und behandelt den KV-Cache als flottenweite Ressource statt als lokales GPU-Artefakt.
• Die Vera CPU bietet 1,5 TB LPDDR5X-Speicher, der mit 1,8 TB/s verbunden ist, und ermöglicht so ein effizientes Auslagern inaktiver KV-Caches während Tool-Aufrufen.
• NVIDIA CMX führt eine G3.5-Speichertier ein, die BlueField-4 STX und Spectrum-X nutzt, um KV-Caches über Knoten hinweg via Ethernet-attached Flash zu teilen.

Warum das wichtig ist

Für Infrastruktur-Leiter und ML-Ingenieure signalisieren diese Entwicklungen einen Weg weg vom Brute-Force-Scaling hin zum intelligenten Ressourcenmanagement. Die Fähigkeit, größere Kontexte und höhere Parallelität ohne proportional steigende HBM-Kosten zu bewältigen, ist entscheidend für die Bereitstellung wirtschaftlich tragfähiger agentischer KI-Anwendungen. Durch die Reduzierung des Footprints von Gewichten und Caches können Organisationen komplexere Modelle auf vorhandener Hardware betreiben oder bei neuen Bereitstellungen deutlich höheren Durchsatz erzielen.

Die Integration von CPU- und Storage-Ebenen in die Inferenz-Pipeline verändert auch, wie Systeme architektonisch aufgebaut werden. Entwickler können die GPU nicht mehr als isolierte Recheneinheit betrachten; stattdessen müssen sie Systeme entwerfen, die kohärenten Speicherzugriff über CPUs hinweg und schnelle, geteilte Storage-Netzwerke nutzen. Dieser Co-Design-Ansatz reduziert die Strafe für Leerlaufzeiten während Tool-Aufrufen und stellt sicher, dass wertvoller Kontext nicht aufgrund von Speicherdruck verloren geht, was zu reaktionsschnelleren und effizienteren KI-Agenten führt.

Was Sie tun können

• Bewerten Sie die NVFP4-Präzision für Ihre aktuellen Modelle, um den Speicherfootprint zu reduzieren und Batch-Größen zu erhöhen, ohne die Genauigkeit zu opfern.
• Implementieren Sie Wide Expert Parallelism in TensorRT-LLM, wenn Sie große MoE-Modelle betreiben, um die HBM-Nutzung und die arithmetische Intensität zu optimieren.
• Erkunden Sie NVIDIA Dynamo für KV-aware Routing und disaggregated Serving, um Cache-Hit-Rates zu verbessern und Recomputation-Kosten zu senken.
• Erwägen Sie Architekturen, die CPU-Speicher für das Zwischenspeichern inaktiver KV-Caches nutzen, insbesondere für Workloads mit häufigen Tool-Aufrufen oder Pausen.
• Untersuchen Sie Pod-Level-Storage-Lösungen wie NVIDIA CMX, um das Cross-Node-Sharing von KV-Caches für langlaufende oder Multi-Agent-Sitzungen zu ermöglichen.
• Überwachen Sie HBM-Nutzungs-Metriken genau, um Chancen für Cache-Optimierung und Gewichtskompression in Ihren Inferenz-Pipelines zu identifizieren.