Flux.3 Image Klein、モジュール型アーキテクチャでDiffusersに登場

Black Forest Labsは、Hugging Face Diffusersライブラリ内でFlux.3 Image Kleinモデルをリリースし、オープンソースの画像生成ツールにおける重要なアップデートを示しました。このリリースでは、複雑な指示ベースの編集や参照ガイド付き生成に対応するために設計された新しいモジュール式パイプラインアーキテクチャが導入されています。開発者は詳細なベンチマークとトレーニングスクリプトを利用でき、これらの機能をアプリケーションに統合することが可能です。

何が起きたか

今回のリリースの中核は、Flux.3 Image Kleinチェックポイントを標準的なDiffusersエコシステムに統合したことです。これによりエンジニアは、慣れ親しんだPythonインターフェースを使用してモデルを読み込み・実行できるだけでなく、自動CPUオフローディングやコンポーネントごとのdtype管理といった新機能にもアクセスできます。テキストから画像へ（text-to-image）および画像から画像へ（image-to-image）のパイプラインの両方が含まれており、ユーザーはプロンプトからの画像生成や、テキスト指示および参照ビジュアルに基づく既存画像の修正を行うことができます。

推論コードに加え、チームはモデルのカスタマイズ用の包括的なトレーニングリソースも公開しました。これには、さまざまな最適化戦略をサポートするLow-Rank Adaptation (LoRA) 訓練のためのDreamBoothスクリプトが含まれています。開発者は、勾配チェックポインティングによるビデオメモリ使用量の削減、レイテンシキャッシュによる処理速度の向上、8-bit Adamオプティマイザーを用いたファインチューニング時のメモリオーバーヘッド低減などの技術を試すことができます。タロットカードデザインなど特定のスタイル向けの事前学習済みアダプターは、すでにHugging Face Hubで利用可能です。

ドキュメントでは、指示ベースの編集用モデルのトレーニング方法についても詳しく説明されています。これは、参照画像、ターゲット画像、テキスト指示の3つ組を使用することを含みます。システムはプロンプト内の特殊トークンを使って参照画像を指定し、モデルが具体的な変換を学習できるようにします。このアプローチにより、レイアウトやスタイル変更に対する精密な制御が可能になり、ゼロからの生成だけでなく、高忠実度の画像操作を必要とするアプリケーションに適しています。

仕組み

Flux.3は潜在空間フローマッチングモデルとして動作します。これは、一連のステップを通じてランダムノイズをクリーンな画像へと移動させる速度ベクトルを予測することで画像を生成することを意味します。アーキテクチャは、テキスト、ノイズ付き画像レイテンシ、オプションの参照画像という3種類のトークンを処理します。Variational Autoencoder (VAE) は入力画像をレイテンシに圧縮し、各トークンは16x16ピクセルのパッチを表します。この効率的なパッキングにより、1024x1024の画像は64x64のトークングリッドとして表現されます。

トランスフォーマーは独自の2段階アテンションメカニズムを使用します。第1段階では、テキスト、画像、参照ストリームが独立した重みを持つ5つのブロックを通じて個別に処理されます。これにより、相互作用の前に各モダリティが独自の特徴に基づいて精製されることが保証されます。第2段階では、すべてのストリームが連結され、すべてのトークンが他のすべてのトークンにアテンションを払う28の結合ブロックを通じて処理されます。この分離により、モデルは情報をマージする前に文脈を深く理解することが可能になり、最初からクロスアテンションを許可していた以前のバージョンとは異なります。

Flux.3での位置エンコーディングは、タイムステップ、高さ、幅、シーケンス長の4次元を使用します。この4次元Rotary Position Embedding (RoPE) により、モデルはテキストトークン、画像ピクセル、参照場所を正確に区別できます。テキストトークンはシーケンス長軸に沿って整列され、画像および参照トークンは高さと幅の座標を使用します。この構造により、モデルは空間的関係を理解し、例えば参照画像の特定領域を生成出力の対応エリアにマッピングすることが可能になります。

主要な詳細

• モデルはテキストエンコーダーとしてQwen3-VLを使用し、8つの異なる層から隠れ状態を抽出して、豊かな20,480次元のテキストベクトルを作成します。
• メモリ使用量は精度によって異なり、RTX6000上のnvfp4ではピーク時15.3 GiB、H100上のbf16では推論後に20.72 GiBに達します。
• 蒸留済みチェックポイントを使用した場合、単一のNVIDIA H100 GPUでの1024x1024出力のテキストから画像への生成時間は約1.93秒です。
• 画像から画像へのタスクでは、参照トークンによりトランスフォーマーシーケンスに追加の4,096トークンが含まれるため、生成時間が約2倍の3.87秒になります。
• スケジューラーは6.93という大きな時間シフトを使用し、50ステップの生成プロセスの大部分でノイズレベルを高く保つことで安定性を向上させます。
• トレーニングスクリプトは、ハードウェア制約に対応するために、勾配チェックポインティング、レイテンシキャッシュ、8-bit Adam最適化をサポートします。

なぜ重要なのか

画像生成機能を構築するソフトウェアエンジニアにとって、DiffusersにおけるFlux.3のモジュール設計は、リソース制約の管理においてより大きな柔軟性を提供します。異なるデータ型でコンポーネントを読み込み、自動CPUオフローディングを有効にする能力により、開発者は限られたビデオメモリのハードウェアでも強力なモデルを展開できます。これにより、最先端の画像モデルをローカルまたはコスト効率の高いクラウドインスタンスで実行する際の参入障壁が下がります。

2段階アーキテクチャと4次元位置埋め込みは、より正確で制御可能な画像編集のための技術的基盤を提供します。最初にモダリティを分離してからマージすることで、モデルはテキストプロンプトと視覚的参照間の干渉を軽減します。その結果、レイアウト編集やスタイル転送などのタスクを実行する際の忠実度が高まり、これはプロフェッショナルなクリエイティブツールや自動化されたデザインワークフローにとって不可欠です。

さらに、詳細なトレーニングスクリプトと事前学習済みLoRAの利用可能性は、カスタマイズソリューションの開発を加速します。チームはゼロから始めることなく、提供される最適化技術を活用してトレーニングコストを管理しながら、特定のドメイン向けにモデルをファインチューニングできます。このエコシステムサポートは、本番環境での専門的な画像生成機能の迅速な実験と展開を促進します。

できること

• Diffusersの最新バージョンをインストールし、提供されたModularPipelineクラスを使用してFlux.3 Image Kleinパイプラインを読み込んでください。
• ComponentsManagerを初期化し、デバイスに対して有効にすることで、自動CPUオフローディングを試してみてください。これによりVRAM使用量を削減できます。
• より高速な推論のために蒸留済みチェックポイントを使用してください。標準の50ステップと比較して、わずか16ステップで済むことに注意してください。
• DreamBoothトレーニング用に、参照画像、ターゲット画像、テキスト説明の3つ組を用意して、指示ベースの編集を試してみてください。
• ファインチューニングスクリプトで勾配チェックポインティングを有効にし、8-bit Adamオプティマイザーを使用することで、トレーニングメモリを最適化してください。
• Hugging Face Hubにある事前学習済みのタロットスタイルLoRAを探索し、低ランクアダプターが出力品質にどのように影響するかを理解してください。