NVIDIA Snapshot reduziert die Startzeit von GPU-Workloads von Minuten auf Sekunden

NVIDIA hat Snapshot veröffentlicht, ein Open-Source-System für Checkpointing und Restore, das darauf abzielt, GPU-Workloads auf Kubernetes zu beschleunigen. Das am 10. November 2026 vorgestellte Tool erfasst den vollständig initialisierten Zustand des CPU- und GPU-Speichers, sodass Inferenz-Replikate in Sekunden statt in Minuten starten können. Es adressiert den Engpass der Cold Starts beim Serving großer Sprachmodelle, wo die Initialisierung von Gewichten und die Kompilierung von Kernels oft die Skalierung verzögern.

Was passiert ist

Das Kernproblem, das Snapshot löst, ist die Latenz beim Online-Bringen neuer Inferenz-Replikate. Wenn die Nachfrage steigt oder ein Node ausfällt, müssen Infrastruktur-Teams neue Pods bereitstellen. Dieser als Cold Start bekannte Prozess umfasst das Laden von Container-Images, das Starten der Inferenz-Engine, das Lesen der Modellgewichte in den GPU-Speicher, das Kompilieren von Code mit Tools wie torch.compile sowie das Erfassen von CUDA Graphs. Bei großen Modellen kann diese Sequenz mehrere Minuten dauern, währenddessen verfügbare GPUs untätig bleiben, anstatt Anfragen zu bearbeiten.

Snapshot ändert diesen Workflow, indem es den initialisierten Workload als wiederverwendbares Artefakt behandelt. Sobald ein Pod vollständig bereit ist, erfasst Snapshot seinen gesamten Speicherzustand. Wenn ein neues Replikat benötigt wird, stellt das System diesen Zustand direkt auf kompatibler Hardware wieder her. Dies umgeht den ressourcenintensiven Vorgang des Ladens von Gewichten und der Kompilierung. Das System unterstützt komplexe Parallelisierungsstrategien, darunter Tensor Parallelism, Data und Expert Parallelism sowie Decode Context Parallelism. Es verarbeitet Checkpoints bis zu 1 TB über acht GPUs hinweg, was es für große Mixture-of-Experts-Modelle geeignet macht.

Frühe Anwender berichten von erheblichen Verbesserungen. Crusoe, ein Mitwirkender am Projekt, reduzierte die Bereitstellungszeit für GLM-5.3-Pods von etwa acht Minuten auf 31 Sekunden auf NVIDIA HGX B300-Hardware. Ebenso verkürzte Saturn Cloud die vLLM-Startzeiten von einer Spanne zwischen zwei und 8,5 Minuten auf sechs bis 34 Sekunden. Diese Ergebnisse zeigen, dass die Technologie für Produktionsumgebungen mit Anforderungen an schnelle Scale-from-Zero-Funktionen praktikabel ist.

Wie es funktioniert

Snapshot arbeitet über zwei primäre Aktionen: Checkpoint und Restore. Beide werden über Kubernetes Custom Resources verwaltet. Um einen Checkpoint zu erstellen, definieren Benutzer eine PodSnapshot-Ressource für einen laufenden Pod oder einen SnapshotJob, um einen Pod sofort nach seiner Bereitschaft zu checkpointen. Das System pausiert den Workload kurzzeitig, um den CPU- und GPU-Speicherzustand in ein portables Artefakt zu erfassen. Dieses Artefakt enthält die initialisierten Modellgewichte, kompilierten Kernels und Runtime-Buffer, schließt jedoch den Key-Value-Cache aus, der vor der Erfassung geleert wird.

Die Wiederherstellung wird ausgelöst, indem eine spezifische Annotation, nvidia.com/restore-from, zur neuen Pod-Spezifikation hinzugefügt wird. Der Snapshot-Agent auf dem Ziel-Node lokalisiert das Artefakt und beginnt den Wiederherstellungsprozess. Dabei wird Checkpoint/Restore in Userspace (CRIU) verwendet, um den CPU-Prozesszustand neu zu laden, sowie ein spezialisierter CUDA-Restore-Mechanismus, um den GPU-Zustand zurück in den Videospeicher zu kopieren. Der Workload führt dann einen schnellen Handshake durch, um sich an den neuen Node anzupassen und das Serving fortzusetzen. Dieser Prozess überspringt die Phasen der anfänglichen Engine-Startsequenz, des Gewichtsladens und der Graph-Erfassung vollständig.

Wichtige Details

• Die Wiederherstellungszeiten reichen von 3,6 bis 42,7 Sekunden über getestete Konfigurationen hinweg, was einer Beschleunigung von 8x bis 36x gegenüber Cold Starts entspricht.
• Die Erstellung eines Checkpoints dauert zwischen 15 Sekunden und 5,5 Minuten, abhängig von der Modellgröße; diese Kosten amortisieren sich jedoch über mehrere Wiederherstellungen.
• Die kombinierte Zeit für Checkpointing und Restore ist in jeder getesteten Konfiguration kürzer als ein einzelner Cold Start.
• Bei großen Acht-GPU-Mixture-of-Experts-Modellen macht die Wiederherstellung des GPU-Zustands 18 bis 29 Sekunden der gesamten Wiederherstellungszeit aus.
• Die Wiederherstellung des CPU-Prozesses via CRIU dauert 4,2 bis 10,8 Sekunden, was darauf hindeutet, dass die Übertragung des GPU-Zustands der dominierende Faktor bei großen Wiederherstellungen ist.
• Das System unterstützt vLLM 0.31.0, SGLang 0.5.21 und NVIDIA TensorRT LLM 1.3.0 auf NVIDIA B200 GPUs mit VAST NFS Storage.

Warum es wichtig ist

Für Engineering-Teams, die AI-Infrastrukturen aufbauen, ist die Lücke zwischen der Bereitstellung einer GPU und dem Bearbeiten von Traffic ein erheblicher Effizienzverlust. Cold Starts zwingen Teams dazu, Kapazitäten zu überdimensionieren, um plötzliche Lastspitzen zu bewältigen, da sie sich nicht auf schnelles Skalieren verlassen können. Indem Snapshot die Startzeit auf unter 45 Sekunden reduziert, ermöglicht er aggressivere Autoscaling-Richtlinien. Das bedeutet, dass Cluster in Zeiten geringer Nachfrage schlanker bleiben und sich schnell ausweiten können, wenn der Traffic ansteigt, was die allgemeine Ressourcennutzung verbessert und Cloud-Kosten senkt.

Darüber hinaus vereinfacht diese Technologie die Fehlerwiederherstellung. Wenn ein Node ausfällt, erfordert der Ersatz der verlorenen Kapazität kein Warten von mehreren Minuten mehr, bis neue Pods initialisiert sind. Die wiederhergestellten Pods sind sofort bereit, Anfragen anzunehmen, wodurch Service Level Agreements effektiver eingehalten werden. Dies ist besonders kritisch für große Mixture-of-Experts-Modelle, bei denen die Initialisierungskomplexität mit der Modellgröße wächst. Die Fähigkeit, Terabyte-große Zustände zu checkpointen und wiederherzustellen, macht das Management dieser massiven Modelle betrieblich machbarer.

Was Sie tun können

• Besuchen Sie das NVIDIA Snapshot Repository, um Installationsanweisungen und Nutzungsleitfäden für Ihren Kubernetes-Cluster zu erhalten.
• Prüfen Sie den NVIDIA Dynamo User Guide, um zu erfahren, wie Sie Snapshot mit Inferenz-Workern für automatisierte Wiederherstellungen integrieren.
• Testen Sie die bereitgestellten Beispiele für vLLM, SGLang und TensorRT LLM, um die Kompatibilität mit Ihrem aktuellen Stack zu bewerten.
• Stellen Sie sicher, dass Ihre Hardware die Anforderungen erfüllt, insbesondere dass die GPU-Modelle und Treiber zwischen Checkpoint- und Restore-Nodes übereinstimmen.
• Treten Sie dem NVIDIA Dynamo Slack Workspace bei und nehmen Sie am #snapshot-dev Channel teil, um Integrationsprobleme zu diskutieren.
• Führen Sie Benchmarks Ihrer spezifischen Workloads durch, um die optimale Checkpoint-Frequenz basierend auf dem Erzeugungsfenster von 15 Sekunden bis 5,5 Minuten zu bestimmen.