オープンウェイトモデルの長文脈ファインチューニングにおけるメモリ最適化
FSDP、LoRA、共有指示セットを用いて70KトークンのサンプルでQwen3.6-27Bをファインチューニングする際の、学習時間とメモリ使用量を削減するための技術的な詳細解説。
英語の原文から自動翻訳されました。
Hardik Meisheri氏は最近、入力長が最大70,000トークンに達するタスクでオープンウェイトの視覚言語モデルであるQwen3.6-27Bをファインチューニングするための厳密な最適化プロセスについて詳しく説明しました。Fully Sharded Data Parallel (FSDP) 訓練におけるメモリボトルネックへの対処と、共有システムプロンプトに対する冗長計算の排除により、実験サイクルを数週間から20時間未満へと短縮することに成功しました。
何が起きたか
Meisheri氏は、各トレーニング例に指示、ルール、および実例を含む長いシステムプロンプトが含まれるマルチモーダルタスクでモデルをファインチューニングすることを目指していました。これらのプロンプトは、1例あたり70,000トークンのうち約64,000トークンを占めていました。指示内容は時間とともに変化するため、重みに焼き込むのではなくプロンプト内に保持することで、破滅的忘却(catastrophic forgetting)を引き起こさずに容易に更新できるようにしました。しかし、このような長いシーケンスでの訓練は膨大なGPUメモリを消費しました。バックワードパスでは、すべてのトークン位置に対して中間結果を保持する必要があったためです。
80 GiBのH100 GPUで単一の例を訓練しようとした初期の試みは、メモリ不足エラーにより失敗しました。70,000トークンのシーケンスに対するアクティベーションテンソルだけでも、再計算オーバーヘッドを考慮する前に約43 GiBを占有していました。さらに、Low-Rank Adaptation (LoRA) などの標準的な最適化手法は、特定の投影層にdropoutを適用した場合に予期せぬメモリスパイクを引き起こしました。FSDP下での集合通信のハングも進捗を停滞させました。これは、バージョンの不整合やGPUランク間での実行パスの分岐によって引き起こされました。
これらのインフラストラクチャおよびメモリ関連の問題を解決した後、Meisheri氏は複数の例間でシステムプロンプトの計算を共有する方法を実装しました。多くの項目でプロンプトが同一であるため、そのフォワードパス表現を一度だけ計算して再利用できました。このアプローチは、前のトークンが後のトークンに依存しないというTransformerのカジュアル性(因果性)を利用したものです。その結果、データミックスの違いにより正確な加速率は変動しましたが、5〜7日かかるワークフローが一晩のランに変化するなど、大幅な高速化が実現しました。
仕組み
核心的な課題は、Transformerがバックプロパゲーション中に長いシーケンスをどのように処理するかという点にあります。標準的な設定では、ターゲット出力がコンテキスト全体に依存するため、勾配はすべての70,000位置を介して逆方向に流れます。アクティベーションチェックポインティングは、レイヤーの入力のみを保存し、バックワードパス中に中間値を再計算することで役立ちますが、それでも大きなテンソルがメモリに残ります。完全アテンションと再帰型Gated DeltaNetレイヤーの混合を使用するQwen3.6-27Bの場合、特定のカーネルオートチューニングが必要でした。Tritonのオトチューナーは、初めて遭遇するシーケンス長さバケットに対してタイルサイズをベンチマークしようとしたため、H100 GPU上で当初失敗し、残りの空きメモリを消費してしまいました。デフォルト設定を固定することで、この問題は解決されました。
メモリ使用量は、LoRAアダプターの調整によってもさらに最適化されました。down_proj レイヤーにdropoutを適用すると、マスクとdropoutされた入力用の大きな一時テンソルが作成され、レイヤーごとに3.4 GiBを追加していました。この特定の投影層からアダプターを削除することで、スパイクは解消されました。共有プロンプトの並列処理を可能にするため、Meisheri氏はモデルの再帰型レイヤーによって無視される標準的なアテンションマスクを回避しました。代わりに、彼はデータを構造化し、複数の継続が単一の計算済みプロンプトバッファーから分岐するようにしました。これにより、各例は分離されたまま、初期計算を再利用することができました。
主要な詳細
- モデルとハードウェア: NVIDIA H100 GPU(80 GiBメモリ)上でBF16精度を使用してファインチューニングされたQwen3.6-27B。
- シーケンス長: トレーニング例は70,000トークンに達し、そのうち64,000トークンは静的なシステムプロンプトに割り当てられていました。
- メモリ最適化: アクティベーションチェックポインティングはストレージニーズを削減しましたが、フィードフォワード中間値の再計算には一時バッファーの慎重な管理が依然として必要でした。
- カーネルチューニング: Flash Linear Attentionカーネルは、最初のバックワードパス中にTritonオトチューナーがクラッシュすることを防ぐために、事前に計算されたデフォルト設定を必要としました。
- LoRA構成: アダプターはquery、key、value、output、gate投影層に適用されましたが、dropoutマスクによる過剰なメモリ使用を避けるため
down_projからは削除されました。 - 共有計算: システムプロンプトは75〜90例のグループごとに一度だけ処理され、2エポックの総訓練時間を数日から20時間未満に短縮しました。
なぜ重要なのか
オープンウェイトモデルを扱うエンジニアにとって、このケーススタディは、FSDPのようなシャーディング技術による理論的なメモリ節約効果が、シーケンス長が極端に長い場合、必ずしも実践に直結するわけではないことを浮き彫りにしています。アクティベーションは各GPUにローカルに存在するため、GPU数を倍増させても重みストレージは半減しますが、デバイスあたりのアクティベーションフットプリントは減少しません。この区別を理解することは、長文脈タスクのためのハードウェア要件を計画する上で極めて重要です。
また、この発見は分散訓練セットアップの脆さも示しています。Transformersなどの依存関係における些細なバージョン不整合は、GPUがビジー状態に見えるにもかかわらず有用な仕事を何も行わないようなサイレントハングを引き起こす可能性があります。ログだけでなく、利用率と電力消費の両方を監視することは、より信頼できる診断シグナルを提供します。さらに、dropout、LoRAランク、メモリ割り当て間の相互作用は、標準ライブラリのデフォルト設定が非常に長いシーケンスには最適でない場合があり、メモリ不足エラーを防ぐために手動での介入が必要であることを示しています。
実施可能なこと
- カーネル設定の固定: Flash Linear Attentionなどのカスタムカーネルを使用する場合、短いベンチマークを事前実行してデフォルト設定を生成し、長いシーケンスに対するランタイムオートチューニングを無効にしてください。
- LoRA配置の監査: メモリが逼迫している場合、
down_projのような高次元の投影層にdropoutを適用しないでください。マスクと一時コピーがかなりのスペースを消費します。 - 集合通信の一貫性の検証: すべてのノードが同一のライブラリバージョンをインポートし、同じ実行パスに従うようにして、all-gather操作中のFSDPハングを防いでください。
- 入力勾配の有効化: モデルの準備前に
model.enable_input_require_grads()を呼び出し、凍結された埋め込みを介して勾配が正しく流れるようにしてください。 - 混合精度オートキャストの無効化: BF16重みでアクティベーションチェックポインティングを使用する場合、再計算中のdtype不一致を防ぐために自動混合精度をオフにしてください。
- 電力と利用率の監視:
py-spyやnvidia-smiなどのツールを使用して、実際の計算と集合通信のストールを区別してください。



