Erkennung stiller GPU-Fehler beim großskaligen LLM-Training auf SageMaker
Amazon stellt eine Methode zur Erkennung stiller Datenkorruption in SageMaker HyperPod vor, indem drei Prüfungen in PyTorch-Trainingsschleifen integriert werden, um verschwendete Rechenleistung durch fehlerhafte Hardware zu verhindern.
Automatisch aus dem englischen Original übersetzt.
Amazon Web Services hat einen technischen Leitfaden zur Erkennung stiller Datenkorruption (Silent Data Corruption, SDC) während des Trainings großer Sprachmodelle auf SageMaker HyperPod veröffentlicht. Der Ansatz integriert drei spezifische Validierungsprüfungen in die PyTorch DistributedDataParallel-Schleifen, um Hardwarefehler zu identifizieren, die von Standard-Monitoring-Tools übersehen werden. Diese Methode ermöglicht es Ingenieuren, korrupte Knoten zu isolieren und Trainingsjobs wiederherzustellen, bevor erhebliche Rechenressourcen verschwendet werden.
Was passiert ist
Stille Datenkorruption tritt auf, wenn Hardwarekomponenten wie GPUs falsche, aber plausible numerische Ergebnisse liefern, ohne Fehlermeldungen auszulösen. In verteilten Trainingsumgebungen propagieren diese fehlerhaften Werte über Gradienten und Gewichte hinweg zu allen Modellreplikaten. Da die Verlustmetriken stundenlang normal erscheinen können, entdecken Teams das Problem oft erst, nachdem sie unerklärliche Modelldivergenzen oder schlechte Leistung feststellen – zu einem Zeitpunkt, an dem bereits erhebliche Rechenkosten angefallen sind.
Das Ausmaß dieses Problems ist beträchtlich. Während einer 54-tägigen Vortrainingsphase für Llama 3 405B auf bis zu 16.000 H100-GPUs führte Meta 6 von 419 unerwarteten Jobunterbrechungen auf stille Datenkorruption zurück. Dies waren nur die Fälle, die sofortige Jobausfälle verursachten und erfolgreich auf SDC zurückgeführt werden konnten. Standardfunktionen von SageMaker HyperPod, wie automatischer Knotenersatz und tiefgehende Gesundheitsprüfungen, erfassen SDC nicht, da die Hardware keine Fehler meldet.
Um dies anzugehen, haben AWS-Ingenieure eine Lösung entwickelt, die Erkennungslogik direkt in den Trainingsjob integriert. Wenn eine Prüfung potenzielle Korruption identifiziert, ordnet das System den verdächtigen Prozessrang seinem physischen Knoten zu, begrenzt das Problem und veranlasst SageMaker HyperPod, die fehlerhafte Hardware auszutauschen. Dies verschiebt die Verantwortung für die Erkennung vom Infrastrukturmonitoring auf die Trainingsanwendung selbst.
Wie es funktioniert
Die Lösung basiert auf drei unterschiedlichen Prüfungen innerhalb der Trainingsschleife, die jeweils verschiedene Stadien adressieren, in denen Korruption auftreten kann. Erstens überwacht eine Prüfung auf nicht-endliche Gradienten NaN- oder Infinity-Werte in lokalen Gradienten vor und nach der All-Reduce-Operation. Dies erfasst Fehler, die zu numerischem Überlauf im Forward- oder Backward-Pass führen. Zweitens führt ein Ring-Replay-Audit Mikro-Batches anderer Knoten bei Audit-Schritten neu berechnend aus, vergleicht Verlustwerte bitweise und Gradienten-Fingerabdrücke, um endliche, aber falsche Werte im Compute-Pfad zu erkennen. Drittens überprüft ein Gewichts-Fingerabdruck-Vergleich, ob alle Replikate nach dem Optimizer-Schritt identische Gewichte besitzen, um Korruption in gespeicherten Gewichten oder im Update-Prozess zu erfassen.
Diese Prüfungen verwenden effiziente Fingerabdruckverfahren, anstatt vollständige Tensoren zu übertragen. Jeder Tensor wird auf zwei 64-Bit-Summen reduziert: eine einfache Summe der Rohbitmuster und eine positions-gewichtete Summe. Diese Methode erkennt Änderungen an einzelnen Elementen, während der Kommunikationsaufwand minimiert wird. Die positions-gewichtete Summe ist entscheidend, um vertauschte Werte zu erfassen, die die einfache Summe unverändert lassen könnten. Wenn eine Prüfung fehlschlägt, identifiziert das System den spezifischen GPU-Rang, der verantwortlich ist.
Sobald ein verdächtiger Rang identifiziert ist, nutzt das System die Integration mit Amazon Elastic Kubernetes Service (EKS), um den Rang einer bestimmten Instanz-ID zuzuordnen. Der Job wird gestoppt, der Knoten abgesperrt (cordoned) und GPU-Metriken über die Observability-Dashboards von SageMaker HyperPod überprüft. Bei Bestätigung wird der Knoten ersetzt und das Training von einem Checkpoint fortgesetzt, der vor dem vermuteten Korruptionsfenster gespeichert wurde.
Wichtige Details
- Stille Datenkorruption resultiert aus Fertigungsdefekten oder Silizium-Alterung in Recheneinheiten, insbesondere in Multiplizieren-Akkumulieren-Lanes der Tensor Cores, die keinen ECC-Schutz bieten.
- Standard-Integritätsprüfungen wie ECC, Xid-Fehler und DCGM-Gesundheitschecks übersehen SDC, da sie Speicher, Treiberfehler oder Transportschichten schützen, nicht aber das Rechenergebnis selbst.
- Die Lösung erfordert mindestens drei GPU-Knoten, um Mehrheitsentscheidungen für Gewichtsvergleiche und Ring-Replay-Audits zu ermöglichen.
- Vergleiche der lokalen Gradientennormen sind unwirksam zur Erkennung endlicher SDC, da gesunde Varianz zwischen Replikaten Fehlersignale um Größenordnungen übertreffen kann.
- Die Implementierung ist für PyTorch DistributedDataParallel konzipiert und verlässt sich auf deterministische Kernels für genaue Gradienten-Fingerabdrücke.
- Der vollständige Code für die Lösung ist in einem begleitenden GitHub-Repository verfügbar, das von AWS bereitgestellt wird.
Warum es wichtig ist
Für Ingenieure, die große KI-Modelle entwickeln, stellt stille Datenkorruption eine versteckte Kostenquelle dar, die Monate des Trainings zunichtemachen kann. Traditionelles Infrastrukturmonitoring ist gegenüber diesen Fehlern blind, da die Hardware gesund erscheint, während sie falsche Berechnungen liefert. Durch die Verlagerung der Erkennung in die Trainingsschleife können Teams die Propagation schlechter Gewichte verhindern und vermeiden, Tausende von GPU-Stunden für kompromittierte Jobs zu verschwenden. Dies ist besonders kritisch, da Modellgrößen wachsen und Trainingsläufe Wochen oder Monate dauern.
Der Ansatz hebt auch die Grenzen hervor, sich ausschließlich auf hardwareseitige Diagnosen zu verlassen. Wenn Silizium unter hoher thermischer und Spannungsbelastung altert, können marginale Defekte entstehen, die sich nur unter bestimmten Arbeitslastmustern manifestieren. Anwendungsebene Verifizierung bietet ein notwendiges Sicherheitsnetz, das sicherstellt, dass die mathematische Integrität des Trainingsprozesses unabhängig von Eigenheiten der zugrunde liegenden Hardware gewahrt bleibt. Diese Methode ermöglicht robustere Fehlertoleranzstrategien für produktive ML-Systeme.
Was Sie tun können
- Implementieren Sie Prüfungen auf nicht-endliche Gradienten in Ihren PyTorch-DDP-Hooks, um NaN- oder Inf-Werte zu erfassen, bevor sie sich über All-Reduce verbreiten.
- Fügen Sie periodische Ring-Replay-Audits zu Ihrer Trainingsschleife hinzu, um Mikro-Batches von Peer-Knoten neu zu berechnen und Gradienten-Fingerabdrücke zu überprüfen.
- Vergleichen Sie Gewichts-Fingerabdrücke über alle Replikate hinweg nach Optimizer-Schritten, um Korruption in gespeicherten Parametern zu erkennen.
- Stellen Sie sicher, dass Ihr SageMaker-HyperPod-Cluster mit EKS orchestriert wird und das Observability-Add-on für Knotenzuordnung und Metrik-Korrelation aktiviert ist.
- Verwenden Sie geimpfte Sampler (seeded samplers) in Ihrer Datenpipeline, um die deterministische Rekonstruktion von Mikro-Batches für Audit-Zwecke zu ermöglichen.
- Speichern Sie Checkpoints auf gemeinsam genutztem Speicher wie Amazon FSx for Lustre oder S3, um eine schnelle Wiederherstellung nach dem Knotenersatz zu erleichtern.



