Construir con IA

Optimización de la memoria para el ajuste fino de modelos de pesos abiertos con contexto largo

Un análisis técnico profundo sobre cómo reducir el tiempo de entrenamiento y el uso de memoria al ajustar Qwen3.6-27B en ejemplos de 70K tokens utilizando FSDP, LoRA y conjuntos de instrucciones compartidos.

Ilustración de capas de red neuronal conectadas a un documento
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Hardik Meisheri detalló recientemente un riguroso proceso de optimización para el ajuste fino de Qwen3.6-27B, un modelo de visión-lenguaje de pesos abiertos, en tareas que requieren entradas de hasta 70.000 tokens. Al abordar los cuellos de botella de memoria en el entrenamiento con Paralelismo de Datos Totalmente Fragmentado (FSDP) y eliminar el cálculo redundante para las indicaciones del sistema compartidas, redujo los ciclos experimentales de semanas a menos de 20 horas.

Qué ocurrió

Meisheri tenía como objetivo ajustar el modelo en una tarea multimodal donde cada ejemplo de entrenamiento incluía una larga indicación del sistema con instrucciones, reglas y ejemplos resueltos. Estas indicaciones representaban aproximadamente 64.000 de los 70.000 tokens por ejemplo. Dado que las instrucciones evolucionaban con el tiempo, mantenerlas en la indicación en lugar de integrarlas en los pesos permitía actualizaciones más fáciles sin provocar un olvido catastrófico. Sin embargo, entrenar con secuencias tan largas consumía una enorme cantidad de memoria de GPU, ya que la fase hacia atrás requería retener resultados intermedios para cada posición de token.

Los intentos iniciales de entrenar ejemplos individuales en GPUs H100 de 80 GiB fallaron debido a errores de falta de memoria. Los tensores de activación solos para una secuencia de 70.000 tokens ocupaban aproximadamente 43 GiB antes de considerar la sobrecarga de recomputación. Además, técnicas estándar de optimización como la Adaptación de Bajo Rango (LoRA) introdujeron picos inesperados de memoria cuando se aplicaba dropout a capas de proyección específicas. Las suspensiones en la comunicación colectiva bajo FSDP estancaron aún más el progreso, causadas por incompatibilidades de versión y rutas de ejecución divergentes entre los rangos de GPU.

Tras resolver estos problemas de infraestructura y memoria, Meisheri implementó un método para compartir el cálculo de la indicación del sistema entre múltiples ejemplos. Como la indicación es idéntica para muchos elementos, sus representaciones de la fase hacia adelante podían calcularse una sola vez y reutilizarse. Este enfoque aprovechaba la naturaleza causal del transformador, donde los tokens anteriores no dependen de los posteriores. El resultado fue una aceleración significativa, pasando de flujos de trabajo de cinco a siete días a ejecuciones nocturnas, aunque la aceleración exacta variaba debido a diferencias en las mezclas de datos.

Cómo funciona

El desafío principal radica en cómo los transformadores manejan las secuencias largas durante la retropropagación. En una configuración estándar, los gradientes fluyen hacia atrás a través de todas las 70.000 posiciones porque la salida objetivo depende de todo el contexto. La comprobación de activaciones ayuda almacenando solo las entradas de capa y recomputando los intermedios durante la fase hacia atrás, pero esto sigue dejando grandes tensores en memoria. Para Qwen3.6-27B, que utiliza una mezcla de atención completa y capas recurrentes Gated DeltaNet, se requirió un ajuste específico del kernel. El autotuner de Triton inicialmente falló en las GPUs H100 porque intentó evaluar tamaños de mosaico para un bucket de longitud de secuencia que nunca había encontrado, consumiendo la memoria libre restante. Fijar una configuración predeterminada resolvió este problema.

El uso de memoria se optimizó aún más ajustando los adaptadores LoRA. Aplicar dropout a la capa down_proj creaba grandes tensores temporales para la máscara y la entrada con dropout, añadiendo 3,4 GiB por capa. Eliminar el adaptador de esta proyección específica eliminó el pico. Para habilitar el procesamiento paralelo de indicaciones compartidas, Meisheri evitó las máscaras de atención estándar, que son ignoradas por las capas recurrentes del modelo. En su lugar, estructuró los datos para que múltiples continuaciones bifurcaran desde un único búfer de indicación calculada, asegurando que cada ejemplo permaneciera aislado mientras se reutilizaba el cálculo inicial.

Detalles clave

  • Modelo y Hardware: Qwen3.6-27B ajustado en GPUs NVIDIA H100 con 80 GiB de memoria usando precisión BF16.
  • Longitud de Secuencia: Los ejemplos de entrenamiento alcanzaron 70.000 tokens, con 64.000 tokens dedicados a indicaciones estáticas del sistema.
  • Optimización de Memoria: La comprobación de activaciones redujo las necesidades de almacenamiento, pero la recomputación de intermedios de feed-forward aún requería una gestión cuidadosa de los búferes temporales.
  • Ajuste de Kernel: Los kernels de Flash Linear Attention requirieron configuraciones predeterminadas precalculadas para evitar fallos del autotuner de Triton durante la primera fase hacia atrás.
  • Configuración de LoRA: Se aplicaron adaptadores a las proyecciones de consulta, clave, valor, salida y puerta, pero se eliminaron de down_proj para evitar el uso excesivo de memoria por las máscaras de dropout.
  • Cálculo Compartido: Las indicaciones del sistema se procesaron una vez para grupos de 75 a 90 ejemplos, reduciendo el tiempo total de entrenamiento de días a menos de 20 horas para dos épocas.

Por qué importa

Para los ingenieros que trabajan con modelos de pesos abiertos, este estudio de caso destaca que los ahorros teóricos de memoria de técnicas de fragmentación como FSDP no siempre se traducen directamente a la práctica cuando las longitudes de secuencia son extremas. Las activaciones permanecen locales a cada GPU, lo que significa que duplicar el número de GPUs reduce a la mitad el almacenamiento de pesos, pero no reduce la huella de activación por dispositivo. Comprender esta distinción es crítico para planificar los requisitos de hardware para tareas de contexto largo.

Los hallazgos también demuestran la fragilidad de las configuraciones de entrenamiento distribuido. Pequeñas incompatibilidades de versión en dependencias como Transformers pueden causar suspensiones silenciosas donde las GPUs parecen estar ocupadas pero no realizan ningún trabajo útil. Monitorear tanto la utilización como el consumo de energía proporciona una señal diagnóstica más fiable que solo los registros. Además, la interacción entre dropout, rangos de LoRA y asignación de memoria muestra que los valores predeterminados de la biblioteca estándar pueden no ser óptimos para secuencias muy largas, requiriendo intervención manual para prevenir errores de falta de memoria.

Qué puedes hacer

  • Fijar configuraciones de kernel: Si usas kernels personalizados como Flash Linear Attention, ejecuta previamente benchmarks cortos para generar configuraciones predeterminadas y desactiva el autotuning en tiempo de ejecución para secuencias largas.
  • Auditar ubicaciones de LoRA: Evita aplicar dropout a capas de proyección de alta dimensión como down_proj si la memoria es escasa, ya que la máscara y las copias temporales consumen espacio significativo.
  • Verificar consistencia colectiva: Asegúrate de que todos los nodos importen versiones idénticas de bibliotecas y sigan la misma ruta de ejecución para evitar suspensiones de FSDP durante operaciones all-gather.
  • Habilitar gradientes de entrada: Llama a model.enable_input_require_grads() antes de preparar el modelo para asegurar que los gradientes fluyan correctamente a través de embeddings congelados.
  • Desactivar autocast de precisión mixta: Cuando uses comprobación de activaciones con pesos BF16, desactiva la precisión mixta automática para evitar incompatibilidades de tipo de dato durante la recomputación.
  • Monitorear potencia y utilización: Usa herramientas como py-spy y nvidia-smi para distinguir entre computación genuina y suspensiones de comunicación colectiva.
  • #fine-tuning
  • #llm
  • #memory-optimization
  • #fsdp
  • #lora

Herramientas de la Tienda de Bytechap

$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos