Construir con IA

Detección de errores silenciosos de GPU en el entrenamiento de LLM a gran escala en SageMaker

Amazon detalla un método para detectar la corrupción silenciosa de datos en SageMaker HyperPod mediante la incorporación de tres comprobaciones en los bucles de entrenamiento de PyTorch, evitando así el desperdicio de recursos computacionales en hardware defec

Ilustración de un chip de GPU con un defecto sutil que afecta al flujo de datos, protegido por un escudo de seguridad.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Amazon Web Services ha publicado una guía técnica sobre la detección de la corrupción silenciosa de datos (SDC) durante el entrenamiento de modelos de lenguaje grandes (LLM) en SageMaker HyperPod. Este enfoque integra tres comprobaciones de validación específicas en los bucles de DistributedDataParallel de PyTorch para identificar fallos de hardware que las herramientas estándar de monitorización pasan por alto. Este método permite a los ingenieros aislar nodos corruptos y recuperar trabajos de entrenamiento antes de que se desperdicien recursos computacionales significativos.

Qué ocurrió

La corrupción silenciosa de datos ocurre cuando componentes de hardware, como las GPUs, devuelven resultados numéricos incorrectos pero plausibles sin activar ninguna bandera de error. En entornos de entrenamiento distribuido, estos valores erróneos se propagan a través de los gradientes y pesos entre todas las réplicas del modelo. Dado que las métricas de pérdida pueden parecer normales durante horas, los equipos suelen descubrir el problema solo después de notar una divergencia inexplicable del modelo o un rendimiento deficiente, momento en el cual ya se han incurrido en costes computacionales sustanciales.

La magnitud de este problema es significativa. Durante un periodo de preentrenamiento de 54 días para Llama 3 405B utilizando hasta 16.000 GPUs H100, Meta atribuyó 6 de las 419 interrupciones inesperadas de trabajos a la corrupción silenciosa de datos. Estos fueron solo los casos que provocaron fallos inmediatos de los trabajos y que pudieron rastrearse con éxito hasta la SDC. Las funciones estándar de SageMaker HyperPod, como el reemplazo automático de nodos y las comprobaciones profundas de salud, no detectan la SDC porque el hardware no informa de ningún fallo.

Para abordar esto, los ingenieros de AWS desarrollaron una solución que añade lógica de detección directamente en el trabajo de entrenamiento. Cuando una comprobación identifica una posible corrupción, el sistema asigna el rango del proceso sospechoso a su nodo físico, contiene el problema y activa SageMaker HyperPod para reemplazar el hardware defectuoso. Esto desplaza la responsabilidad de la detección desde la monitorización de la infraestructura hacia la propia aplicación de entrenamiento.

Cómo funciona

La solución se basa en tres comprobaciones distintas dentro del bucle de entrenamiento, cada una dirigida a diferentes etapas donde puede ocurrir la corrupción. Primero, una comprobación de gradientes no finitos monitorea valores NaN o Infinity en los gradientes locales antes y después de la operación all-reduce. Esto captura errores que causan desbordamiento numérico en los pases forward o backward. Segundo, una auditoría de repetición en anillo recalcula micro-lotes de otros nodos en pasos de auditoría, comparando los valores de pérdida bit a bit y las huellas digitales de los gradientes para detectar valores finitos incorrectos en la ruta de cálculo. Tercero, una comparación de huellas digitales de pesos verifica que todas las réplicas tengan pesos idénticos después del paso del optimizador, capturando la corrupción en los pesos almacenados o en el proceso de actualización.

Estas comprobaciones utilizan huellas digitales eficientes en lugar de transmitir tensores completos. Cada tensor se reduce a dos sumas de 64 bits: una suma simple de patrones de bits brutos y otra ponderada por posición. Este método detecta cambios en elementos individuales mientras minimiza la sobrecarga de comunicación. La suma ponderada por posición es crucial para capturar valores intercambiados que podrían dejar la suma simple sin cambios. Si alguna comprobación falla, el sistema identifica el rango específico de GPU responsable.

Una vez identificado un rango sospechoso, el sistema aprovecha la integración con Amazon Elastic Kubernetes Service (EKS) para asignar el rango a un ID de instancia específico. Se detiene el trabajo, se marca el nodo como inservible (cordon) y se revisan las métricas de GPU a través de los paneles de observabilidad de SageMaker HyperPod. Si se confirma, se reemplaza el nodo y el entrenamiento se reanuda desde un punto de control guardado previamente a la ventana de corrupción sospechosa.

Detalles clave

  • La corrupción silenciosa de datos proviene de defectos de fabricación o envejecimiento del silicio en las unidades de cálculo, particularmente en los carriles de multiplicación-acumulación de los núcleos tensoriales, que carecen de protección ECC.
  • Las comprobaciones de integridad estándar como ECC, errores Xid y comprobaciones de salud DCGM pasan por alto la SDC porque protegen la memoria, los fallos del driver o las capas de transporte, no el resultado del cálculo en sí.
  • La solución requiere al menos tres nodos GPU para habilitar la votación mayoritaria para las comparaciones de pesos y las auditorías de repetición en anillo.
  • Las comparaciones de normas de gradientes locales son ineficaces para detectar SDC finita, ya que la varianza saludable entre réplicas puede superar las señales de fallo por órdenes de magnitud.
  • La implementación está diseñada para PyTorch DistributedDataParallel y depende de kernels deterministas para una huella digital precisa de los gradientes.
  • El código completo de la solución está disponible en un repositorio de GitHub adjunto proporcionado por AWS.

Por qué importa

Para los ingenieros que construyen modelos de IA a gran escala, la corrupción silenciosa de datos representa un coste oculto que puede descarrilar meses de entrenamiento. La monitorización tradicional de la infraestructura es ciega ante estos errores porque el hardware parece sano mientras produce cálculos incorrectos. Al mover la detección al bucle de entrenamiento, los equipos pueden prevenir la propagación de pesos malos y evitar desperdiciar miles de horas de GPU en trabajos comprometidos. Esto es especialmente crítico a medida que crecen los tamaños de los modelos y las ejecuciones de entrenamiento se extienden durante semanas o meses.

El enfoque también destaca las limitaciones de depender únicamente de diagnósticos a nivel de hardware. A medida que el silicio envejece bajo estrés térmico y de voltaje intenso, pueden surgir defectos marginales que solo se manifiestan bajo patrones específicos de carga de trabajo. La verificación a nivel de aplicación proporciona una red de seguridad necesaria, asegurando que la integridad matemática del proceso de entrenamiento se mantenga independientemente de las peculiaridades del hardware subyacente. Este método permite estrategias más robustas de tolerancia a fallos para sistemas de ML en producción.

Qué puedes hacer

  • Implementa comprobaciones de gradientes no finitos en tus hooks de PyTorch DDP para capturar valores NaN o Inf antes de que se propaguen vía all-reduce.
  • Añade auditorías periódicas de repetición en anillo a tu bucle de entrenamiento, recalculando micro-lotes de nodos pares para verificar las huellas digitales de los gradientes.
  • Compara las huellas digitales de los pesos entre todas las réplicas después de los pasos del optimizador para detectar corrupción en los parámetros almacenados.
  • Asegúrate de que tu clúster de SageMaker HyperPod esté orquestado con EKS y tenga habilitado el complemento de observabilidad para la asignación de nodos y la correlación de métricas.
  • Utiliza muestreadores con semilla en tu pipeline de datos para permitir la reconstrucción determinista de micro-lotes con fines de auditoría.
  • Almacena puntos de control en almacenamiento compartido como Amazon FSx for Lustre o S3 para facilitar la recuperación rápida tras el reemplazo de nodos.
  • #aws
  • #sagemaker
  • #llm training
  • #gpu
  • #fault tolerance

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos