Optimisation de la mémoire pour le fine-tuning à contexte long des modèles open-weight
Analyse technique approfondie sur la réduction du temps d'entraînement et de l'utilisation mémoire lors du fine-tuning de Qwen3.6-27B sur des exemples de 70K tokens, en utilisant FSDP, LoRA et des jeux d'instructions partagés.
Traduit automatiquement depuis l'original anglais.
Hardik Meisheri a récemment détaillé un processus rigoureux d'optimisation pour le fine-tuning de Qwen3.6-27B, un modèle vision-langage open-weight, sur des tâches nécessitant des entrées allant jusqu'à 70 000 tokens. En traitant les goulots d'étranglement mémoire dans l'entraînement Fully Sharded Data Parallel (FSDP) et en éliminant les calculs redondants pour les prompts système partagés, il a réduit les cycles d'expérience de plusieurs semaines à moins de 20 heures.
Ce qui s'est passé
Meisheri visait à affiner le modèle sur une tâche multimodale où chaque exemple d'entraînement incluait un prompt système long contenant des instructions, des règles et des exemples résolus. Ces prompts représentaient environ 64 000 des 70 000 tokens par exemple. Comme les instructions évoluaient avec le temps, les conserver dans le prompt plutôt que de les intégrer aux poids permettait des mises à jour plus faciles sans oubli catastrophique. Cependant, l'entraînement sur de telles séquences longues consommait énormément de mémoire GPU, car la rétropropagation nécessitait de conserver les résultats intermédiaires pour chaque position de token.
Les premières tentatives d'entraînement d'exemples uniques sur des GPUs H100 de 80 GiB ont échoué en raison d'erreurs de mémoire insuffisante. Les tenseurs d'activation seuls pour une séquence de 70 000 tokens occupaient environ 43 GiB avant même de prendre en compte la surcharge de recalcul. De plus, des techniques d'optimisation standard comme Low-Rank Adaptation (LoRA) introduisaient des pics mémoire inattendus lorsque le dropout était appliqué à certaines couches de projection. Des blocages de communication collective sous FSDP ont également ralenti les progrès, causés par des incompatibilités de versions et des chemins d'exécution divergents entre les rangs GPU.
Après avoir résolu ces problèmes d'infrastructure et de mémoire, Meisheri a mis en œuvre une méthode pour partager le calcul du prompt système entre plusieurs exemples. Puisque le prompt est identique pour de nombreux éléments, ses représentations de passe avant pouvaient être calculées une seule fois et réutilisées. Cette approche exploitait la nature causale du transformer, où les tokens précédents ne dépendent pas des suivants. Le résultat fut une accélération significative, passant de flux de travail de cinq à sept jours à des exécutions nocturnes, bien que l'accélération exacte varie selon les mélanges de données.
Comment cela fonctionne
Le défi principal réside dans la manière dont les transformers gèrent les séquences longues lors de la rétropropagation. Dans une configuration standard, les gradients remontent à travers les 70 000 positions car la sortie cible dépend de tout le contexte. L'checkpointing d'activation aide en stockant uniquement les entrées de couche et en recalculant les intermédiaires lors de la passe arrière, mais cela laisse encore de grands tenseurs en mémoire. Pour Qwen3.6-27B, qui utilise un mélange d'attention complète et de couches récurrentes Gated DeltaNet, un autotuning spécifique des kernels était nécessaire. L'autotuner de Triton a initialement échoué sur les GPUs H100 car il tentait de benchmarker des tailles de tuiles pour un bucket de longueur de séquence jamais rencontré, consommant la mémoire libre restante. Épingler une configuration par défaut a résolu ce problème.
L'utilisation mémoire a été davantage optimisée en ajustant les adaptateurs LoRA. L'application du dropout à la couche down_proj créait de grands tenseurs temporaires pour le masque et l'entrée dropée, ajoutant 3,4 GiB par couche. La suppression de l'adaptateur de cette projection spécifique a éliminé le pic. Pour permettre le traitement parallèle des prompts partagés, Meisheri a évité les masques d'attention standards, qui sont ignorés par les couches récurrentes du modèle. Il a plutôt structuré les données afin que plusieurs continuations se branchent sur un seul buffer de prompt calculé, garantissant que chaque exemple reste isolé tout en réutilisant le calcul initial.
Détails clés
- Modèle et matériel : Qwen3.6-27B affiné sur des GPUs NVIDIA H100 avec 80 GiB de mémoire en précision BF16.
- Longueur de séquence : Les exemples d'entraînement atteignaient 70 000 tokens, dont 64 000 dédiés aux prompts système statiques.
- Optimisation mémoire : L'checkpointing d'activation a réduit les besoins de stockage, mais le recalcul des intermédiaires feed-forward nécessitait toujours une gestion prudente des buffers temporaires.
- Tuning des kernels : Les kernels Flash Linear Attention nécessitaient des configurations par défaut pré-calculées pour éviter les plantages de l'autotuner Triton lors de la première passe arrière.
- Configuration LoRA : Les adaptateurs étaient appliqués aux projections query, key, value, output et gate, mais retirés de
down_projpour éviter une utilisation excessive de mémoire due aux masques de dropout. - Calcul partagé : Les prompts système étaient traités une fois pour des groupes de 75 à 90 exemples, réduisant le temps total d'entraînement de plusieurs jours à moins de 20 heures pour deux époques.
Pourquoi c'est important
Pour les ingénieurs travaillant avec des modèles open-weight, cette étude de cas souligne que les économies théoriques de mémoire offertes par des techniques de sharding comme FSDP ne se traduisent pas toujours directement en pratique lorsque les longueurs de séquence sont extrêmes. Les activations restent locales à chaque GPU, ce qui signifie que doubler le nombre de GPUs divise par deux le stockage des poids mais ne réduit pas l'empreinte d'activation par appareil. Comprendre cette distinction est crucial pour planifier les exigences matérielles pour les tâches à contexte long.
Les conclusions démontrent également la fragilité des configurations d'entraînement distribué. De légères incompatibilités de versions dans des dépendances comme Transformers peuvent provoquer des blocages silencieux où les GPUs semblent actifs mais n'effectuent aucun travail utile. Surveiller à la fois l'utilisation et la consommation électrique fournit un signal diagnostique plus fiable que les logs seuls. De plus, l'interaction entre le dropout, les rangs LoRA et l'allocation mémoire montre que les valeurs par défaut des bibliothèques standard peuvent ne pas être optimales pour des séquences très longues, nécessitant une intervention manuelle pour prévenir les erreurs de mémoire insuffisante.
Ce que vous pouvez faire
- Épingler les configurations de kernel : Si vous utilisez des kernels personnalisés comme Flash Linear Attention, lancez au préalable de courts benchmarks pour générer des configurations par défaut et désactivez l'autotuning à l'exécution pour les séquences longues.
- Auditer les placements LoRA : Évitez d'appliquer le dropout aux couches de projection à haute dimensionnalité comme
down_projsi la mémoire est limitée, car le masque et les copies temporaires consomment beaucoup d'espace. - Vérifier la cohérence collective : Assurez-vous que tous les nœuds importent des versions identiques des bibliothèques et suivent le même chemin d'exécution pour prévenir les blocages FSDP lors des opérations all-gather.
- Activer les gradients d'entrée : Appelez
model.enable_input_require_grads()avant de préparer le modèle pour garantir que les gradients circulent correctement à travers les embeddings gelés. - Désactiver l'autocast en précision mixte : Lors de l'utilisation de l'checkpointing d'activation avec des poids BF16, désactivez la précision mixte automatique pour prévenir les incompatibilités de dtype lors du recalcul.
- Surveiller la puissance et l'utilisation : Utilisez des outils comme
py-spyetnvidia-smipour distinguer le calcul réel des blocages de communication collective.



