Hugging Face、エッジデバイス向け20億パラメータのマルチモーダルモデルファミリー「LFM3」を公開

Hugging Faceは、エッジデバイス上での専門的な知能処理に特化した新しいオープンウェイト基盤モデル群「LFM3」をリリースしました。2026年10月下旬に発表されたこの第3世代のLiquid Foundation Modelsは、テキスト、視覚、音声、意思決定機能を共有バックボーンに統合し、20億パラメータの範囲内に収めています。今回のリリースは、クラウドインフラに依存せず、スマートフォンからRaspberry Piユニットに至るまでのハードウェア上で高性能なAIをローカルで実行する必要がある開発者に向けて設計されています。

何が起きたか

今回のリリースの中核となるのは、6つの専用バリアントの出発点となるモデル「LFM3-1.7B-Base」です。従来のイテレーションでは競合性能を達成するためにより多くのパラメータが必要でしたが、LFM3-1.7Bは前世代のLFM2.5-2.6Bと比較してパラメータ数を35%削減しつつ、優れた性能を発揮します。この効率性の向上により、各モダリティ特化型モデルは単一GPUでのファインチューニングやローカル展開が可能になるほど小型化されています。ファミリーには、テキスト、視覚、音声用の専用モデルとオムニモーダルバリアントに加え、特定の出力用に調整された2つの意思決定フォーカスモデルが含まれています。

この世代における大きな変革は、統一されたトレーニングアプローチです。すべての6つのモデルは、22兆トークンで事前学習された同じ1.7Bパラメータベースから分岐しています。最終段階のトレーニングでは、エージェントトレースとツール呼び出しを重視した3.5兆トークンのキュレーション済みデータセットを使用しました。これによりコンテキストウィンドウが25万トークンまで拡張され、複雑な長期ホライズンタスクを完全にオンデバイスで実行できるようになりました。その結果、開発者は入力データタイプに一致するモデルを選択し、独自データでカスタマイズした後、アプリケーションが動作する場所に直接デプロイできるエコシステムが実現されました。

仕組み

LFM3は、14種類のデバイスとバックエンド組み合わせに対するハードウェア・イン・ザ・ループ探索によって発見されたトライハイブリッドアーキテクチャを通じて性能を実現しています。ベースモデルは24層で構成され、3つの異なるメカニズムが混在しています：ゲート付き短距離畳み込み13層、スライディングウィンドウアテンション5層、グローバルアテンション6層です。畳み込みにはカーネルサイズ7が使用されており（LFM2の3から増加）、広範な局所パターンを効率的に捉えます。スライディングウィンドウアテンションは256トークンのウィンドウで直近のコンテキストを処理し、グローバルアテンションは長距離依存関係を管理します。

さらにいくつかの技術的革新により、モデルの量子化と速度が最適化されています。ヘッド別ゲート付きアテンションはシグモイドゲートを使用して各ヘッドの出力をスケーリングし、非アクティブなヘッドをオフにして低ビット精度を乱すことの多い活性化外れ値を削減します。部分的Rotary Positional Embedding (RoPE) は、グローバルアテンションレイヤー内の各ヘッドの高周波数半分にのみ適用され、距離に関係なくコンテンツマッチングの堅牢性を確保します。加えて、サンドイッチ正規化手法により、各ブロックの入力および出力活性化をスケーリングし、推論中の安定性を維持します。

非テキストモダリティについては、Hugging Faceは新たな自社製エンコーダーを導入しました。視覚エンコーダーは畳み込みとアテンションを組み合わせており、同等のエンコーダーと比較して浮動小数点演算量を2.2倍削減しながら精度を維持しています。動画処理では、サンプリングされたフレームペアを単一の時間スライスとして埋め込むことで、シーケンス長を効果的に半減させます。音声エンコーダーは完全因果型であり、ユーザーの話声中でもプリフィルが可能で、最初のトークン生成までの時間はわずか50ミリ秒です。新しいオーディオトークナイザー「LiquidCodec」は、生成されたトークンを音声に変換し、単一CPUスレッドでリアルタイム速度の約87倍のスピードを実現します。

主要な詳細

• LFM3-1.7B-Baseは、畳み込み、スライディングウィンドウアテンション、グローバルアテンションのトライハイブリッド混合を持つ24層で構成されています。
• テキストモデルは4ビット精度で約1 GBのメモリに収まり、モバイル展開に適しています。
• 6つの専用モデルが利用可能です：テキスト、視覚、音声、オムニ、および2つの意思決定モデル（d1-2Bとd1-omni-2B）。
• 視覚エンコーダーはSigLIP2と比較して計算量が3分の1で、Qwen3.5-2Bの視覚エンコーダーの精度を大幅に少ないFLOPsで達成しています。
• 音声処理はLiquidCodecによるストリーミングデコーディングをサポートし、Apple M4 Max CPUでリアルタイム速度の87倍を達成しています。
• WebArena-Verifiedベンチマークにおいて、LFM3-1.7Bは38.42点を記録し、LFM2.5-2.6Bの3.02点を大きく上回るとともに、長いブラウザタスクではQwen3.5-9Bをも凌駕しています。

なぜ重要なのか

オンデバイスAIを構築するソフトウェアエンジニアにとって、LFM3はモデル能力とハードウェア制約間の従来のトレードオフを解消します。有能なマルチモーダルモデルを1 GBのメモリに収めることができるため、インテリジェントエージェントはオフラインで動作でき、ユーザープライバシーを保護するとともに、クラウド往復に伴う遅延を排除できます。これは、機密性の高い環境や接続性が不安定な地域でのアプリケーションにとって特に重要であり、ローカル処理は単なる利便性ではなく必須要件となります。

エージェントワークフローへの注目は、エッジモデルの評価方法の変化も示唆しています。ツール呼び出しと長期コンテキスト保持のために最適化することで、LFM3はローカルエージェントが複雑なビジネスアプリケーションやウェブブラウザを自律的にナビゲートすることを可能にします。開発者は知覚と推論のために個別のモデルを組み合わせる必要がなくなり、代わりに単一のバックボーンをファインチューニングして多段階タスクを処理できます。この簡素化によりエンジニアリングオーバーヘッドが削減され、リソース制約のある環境での専門的なAIソリューションの展開が加速されます。

できること

• transformersライブラリの最新バージョンをインストールして、Python環境でLFM3モデルに直接アクセスしてください。
• 構造化出力やツール統合を必要とするローカルエージェントタスク、特にそれらに対してLFM3-1.7Bを評価してください。
• 単一GPUを使用して独自データセットでベースモデルをファインチューニングし、用語や挙動をドメインに合わせて適応させてください。
• 動画入力で視覚エンコーダーをテストし、短縮された時間シーケンス長を活用して高速処理を実現してください。
• 音声エンコーダーの因果設計を実験し、最小限の遅延でリアルタイム音声インターフェースを構築してください。
• 6つのバリアントそれぞれのモデルカードを確認し、アプリケーションアーキテクチャに最も適した入出力組み合わせを特定してください。