Détection des erreurs silencieuses du GPU lors de l'entraînement à grande échelle de LLM sur SageMaker
Amazon détaille une méthode pour détecter la corruption silencieuse des données dans SageMaker HyperPod en ajoutant trois vérifications aux boucles d'entraînement PyTorch, évitant ainsi le gaspillage de ressources de calcul sur un matériel défectueux.
Traduit automatiquement depuis l'original anglais.
Amazon Web Services a publié un guide technique sur la détection de la corruption silencieuse des données (SDC) lors de l'entraînement de grands modèles de langage sur SageMaker HyperPod. Cette approche intègre trois vérifications de validation spécifiques dans les boucles PyTorch DistributedDataParallel afin d'identifier les défauts matériels que les outils de surveillance standard ne détectent pas. Cette méthode permet aux ingénieurs d'isoler les nœuds corrompus et de reprendre les tâches d'entraînement avant que des ressources de calcul significatives ne soient gaspillées.
Ce qui s'est passé
La corruption silencieuse des données survient lorsque des composants matériels, tels que les GPU, renvoient des résultats numériques incorrects mais plausibles sans déclencher de drapeaux d'erreur. Dans les environnements d'entraînement distribués, ces valeurs erronées se propagent à travers les gradients et les poids de toutes les répliques du modèle. Comme les métriques de perte peuvent sembler normales pendant des heures, les équipes ne découvrent souvent le problème qu'après avoir constaté une divergence inexplicable du modèle ou une mauvaise performance, moment auquel des coûts de calcul substantiels ont déjà été engagés.
L'ampleur de ce problème est significative. Durant une période de pré-entraînement de 54 jours pour Llama 3 405B sur jusqu'à 16 000 GPU H100, Meta a attribué 6 interruptions inattendues de tâches sur 419 à la corruption silencieuse des données. Il ne s'agissait que des cas ayant provoqué des échecs immédiats des tâches et ayant pu être retracés avec succès jusqu'à la SDC. Les fonctionnalités standard de SageMaker HyperPod, telles que le remplacement automatique des nœuds et les diagnostics approfondis, ne parviennent pas à détecter la SDC car le matériel ne signale aucun défaut.
Pour remédier à cela, les ingénieurs d'AWS ont développé une solution qui ajoute une logique de détection directement dans la tâche d'entraînement. Lorsqu'une vérification identifie une corruption potentielle, le système associe le rang du processus suspect à son nœud physique, contient le problème et déclenche le remplacement du matériel défectueux par SageMaker HyperPod. Cela transfère la responsabilité de la détection de la surveillance de l'infrastructure vers l'application d'entraînement elle-même.
Comment cela fonctionne
La solution repose sur trois vérifications distinctes au sein de la boucle d'entraînement, chacune ciblant différentes étapes où la corruption peut survenir. Premièrement, une vérification des gradients non finis surveille les valeurs NaN ou Infinity dans les gradients locaux avant et après l'opération all-reduce. Cela permet de détecter les erreurs causant un débordement numérique dans les passes avant ou arrière. Deuxièmement, un audit de rejeu en anneau recalcule les micro-lots provenant d'autres nœuds lors des étapes d'audit, en comparant les valeurs de perte bit par bit et les empreintes digitales des gradients pour détecter les valeurs finies incorrectes dans le chemin de calcul. Troisièmement, une comparaison des empreintes digitales des poids vérifie que toutes les répliques possèdent des poids identiques après l'étape de l'optimiseur, détectant ainsi la corruption dans les poids stockés ou le processus de mise à jour.
Ces vérifications utilisent des empreintes digitales efficaces plutôt que la transmission de tenseurs complets. Chaque tenseur est réduit à deux sommes de 64 bits : une somme simple des motifs bruts de bits et une somme pondérée par la position. Cette méthode détecte les modifications apportées aux éléments individuels tout en minimisant la surcharge de communication. La somme pondérée par la position est cruciale pour détecter les valeurs échangées qui pourraient laisser la somme simple inchangée. Si une vérification échoue, le système identifie le rang GPU spécifique responsable.
Une fois un rang suspect identifié, le système exploite l'intégration avec Amazon Elastic Kubernetes Service (EKS) pour associer le rang à un ID d'instance spécifique. La tâche est arrêtée, le nœud est mis en quarantaine (cordoned), et les métriques GPU sont examinées via les tableaux de bord d'observabilité de SageMaker HyperPod. Si le défaut est confirmé, le nœud est remplacé et l'entraînement reprend à partir d'un point de contrôle sauvegardé avant la fenêtre de corruption suspectée.
Détails clés
- La corruption silencieuse des données provient de défauts de fabrication ou du vieillissement du silicium dans les unités de calcul, en particulier les voies de multiplication-accumulation dans les cœurs tensoriels, qui ne disposent pas de protection ECC.
- Les vérifications d'intégrité standard telles que ECC, les erreurs Xid et les diagnostics de santé DCGM manquent la SDC car elles protègent la mémoire, les fautes de pilote ou les couches de transport, et non le résultat de calcul lui-même.
- La solution nécessite au moins trois nœuds GPU pour permettre le vote majoritaire pour les comparaisons de poids et les audits de rejeu en anneau.
- Les comparaisons de normes de gradients locales sont inefficaces pour détecter la SDC finie, car la variance saine entre les répliques peut dépasser les signaux de défaut de plusieurs ordres de grandeur.
- L'implémentation est conçue pour PyTorch DistributedDataParallel et repose sur des noyaux déterministes pour une empreinte digitale précise des gradients.
- Le code complet de la solution est disponible dans un dépôt GitHub accompagnant fourni par AWS.
Pourquoi c'est important
Pour les ingénieurs construisant des modèles d'IA à grande échelle, la corruption silencieuse des données représente un coût caché pouvant faire dérailler des mois d'entraînement. La surveillance traditionnelle de l'infrastructure est aveugle à ces erreurs car le matériel semble sain tout en produisant des calculs incorrects. En déplaçant la détection dans la boucle d'entraînement, les équipes peuvent empêcher la propagation de mauvais poids et éviter de gaspiller des milliers d'heures GPU sur des tâches compromises. Ceci est particulièrement critique alors que la taille des modèles augmente et que les sessions d'entraînement s'étendent sur des semaines ou des mois.
Cette approche met également en évidence les limites de la dépendance exclusive aux diagnostics au niveau matériel. À mesure que le silicium vieillit sous de fortes contraintes thermiques et de tension, des défauts marginaux peuvent émerger qui ne se manifestent que sous des schémas de charge de travail spécifiques. La vérification au niveau de l'application fournit un filet de sécurité nécessaire, garantissant que l'intégrité mathématique du processus d'entraînement est maintenue indépendamment des particularités du matériel sous-jacent. Cette méthode permet des stratégies de tolérance aux pannes plus robustes pour les systèmes ML de production.
Ce que vous pouvez faire
- Implémentez des vérifications de gradients non finis dans vos hooks PyTorch DDP pour détecter les valeurs NaN ou Inf avant qu'elles ne se propagent via all-reduce.
- Ajoutez des audits périodiques de rejeu en anneau à votre boucle d'entraînement, recalculant les micro-lots provenant des nœuds pairs pour vérifier les empreintes digitales des gradients.
- Comparez les empreintes digitales des poids entre toutes les répliques après les étapes de l'optimiseur pour détecter la corruption dans les paramètres stockés.
- Assurez-vous que votre cluster SageMaker HyperPod est orchestré avec EKS et que le module complémentaire d'observabilité est activé pour la cartographie des nœuds et la corrélation des métriques.
- Utilisez des échantillonneurs initialisés (seeded samplers) dans votre pipeline de données pour permettre une reconstruction déterministe des micro-lots à des fins d'audit.
- Stockez les points de contrôle sur un stockage partagé comme Amazon FSx for Lustre ou S3 pour faciliter une récupération rapide après le remplacement d'un nœud.



