Meta、816BパラメータのマルチモーダルMoEモデル「Muse Spark Open」をリリース

Metaは、複雑なマルチモーダルタスク向けに設計されたフロンティア規模のオープンウェイトモデル「Muse Spark Open」を正式にリリースしました。2026年10月15日に公開されたこのMixture-of-Expertsアーキテクチャは、米国でこれまでにリリースされたオープンウェイトモデルの中で最も高性能であり、コード、メディア、長いコンテキストにわたる高度な推論を必要とする開発者を対象としています。

何が起きたのか

Muse Spark Openは、2026年8月にMetaがリリースした「Muse Glimmer」のフルサイズ版として登場しました。Glimmerがローカル実行に適した小型の密な（dense）モデルである一方、Spark Openはエンタープライズグレードのワークロードを処理するために大幅にスケールアップしています。このモデルは約8160億個の総パラメータを持っていますが、推論時にはトークンごとに約420億個のパラメータのみをアクティブ化します。この設計により、同サイズの従来の密なモデルと比較して計算コストをより効率的に管理しながら、高いパフォーマンスを維持することが可能になります。

今回のリリースの主眼は、エージェント型コーディングにあります。Metaはこのモデルを、複数ファイルのリファクタリング、長時間のデバッグセッション、ツール使用など、実際の開発者ワークフローに基づいて訓練しました。以前のバージョンとは異なり、Muse Spark Openはテキスト、画像、音声、動画を単一のインターフェースに統合しています。つまり、開発者はコードベースに加えてスクリーンショット、ボイスメモ、画面録画をモデルに入力でき、AIが拡張されたタスクにおいて計画、行動、観察、自己修正を行うことが可能になります。また、画像入力を用いたWebブラウジングもサポートしており、静的なコード解析を超えたユーティリティを提供します。

仕組み

Muse Spark Openの中核的な革新は、Mixture-of-Experts（MoE）アーキテクチャにあります。言語モデルは62層で構成され、各層には8192次元の隠れ次元が含まれます。各層で単一の密なフィードフォワードネットワークを使用する代わりに、このモデルは256個の異なるエキスパートを持つMoEブロックを採用しています。ルーター機構により、処理される各トークンに対してこれらのエキスパートのうち8つのみが選択されます。各エキスパートは、データを8192次元から4096次元へ、そして再び戻すフィードフォワードネットワークであり、独自の正規化を適用します。すべての256個のエキスパートをメモリ上に保持する必要があるため、8160億パラメータモデルのストレージフットプリントが必要ですが、トークンあたりの計算負荷は420億パラメータモデルと同等です。この構造は、モデル全体の約97%のパラメータを占めています。

非テキスト入力を処理するために、モデルは専門的なエンコーダーを使用します。18億パラメータを持つ知覚エンコーダーは、画像や動画フレームを14x14のパッチに分割して処理します。ほとんどの層ではスパースアテンションを使用し、4層ごとおよび最終層ではフルアテンションを適用します。音声については、個別のトークナイザーが音声を80ミリ秒ごとに1つ、つまり毎秒12.5トークンのレートでトークンに変換します。これらの音声トークンはチャットテンプレート内でマークされ、さまざまなパッチサイズを通じて時間的フレームを処理する畳み込みピラミッドエンコーダーに入力されます。

モデルは最大100万トークンのコンテキストウィンドウをサポートしており、これにはテキスト、画像、動画、音声のトークンが含まれます。このような長いコンテキストに必要な巨大なキー・バリューキャッシュを管理するため、Muse Spark Openは128個のクエリヘッドと16個のキー・バリューヘッドを持つグループクエリアテンションを使用します。BF16精度では、キャッシュはトークンあたり約250KBを消費し、100万トークンのフルコンテキストでは合計約266GBとなります。モデルは2つのチェックポイント形式で提供されます。BF16形式は、テンソル並列処理を用いた8基のH200 GPUを備えた4ノードを必要とし、NVFP4形式はNVIDIA Blackwell GPU用に最適化された4ビット精度フォーマットで、単一のB200ノードで実行できます。

主要な詳細

• モデル規模: 総パラメータ数は約8160億、トークンあたりのアクティブパラメータ数は420億。
• アーキテクチャ: 62層のMixture-of-Experts。各層に256個のエキスパートを持ち、トークンごとに8個を選択。
• コンテキストウィンドウ: テキスト、画像、音声、動画を含め、最大1,048,576トークンをサポート。
• 入力モダリティ: 専門的なエンコーダーを通じて、テキスト、画像、音声（毎秒12.5トークン）、動画を受け付けます。
• チェックポイント形式: BF16（約1.5 TB）およびNVIDIA Blackwell GPU向けのNVFP4で利用可能。
• 推論要件: BF16はH200 GPU間での32方向テンソル並列処理が必要。NVFP4は単一のB200ノードで実行可能。

なぜ重要なのか

ソフトウェアエンジニアや技術リードにとって、Muse Spark Openはマルチモーダル開発タスクのための統一されたインターフェースを提供します。コードとともにスクリーンショットや画面録画を処理できる能力により、より直感的なデバッグやドキュメント生成が可能になります。エージェント型ワークフローに特化して訓練することで、Metaは複雑なコードベースを自律的にナビゲートできるモデルを作成し、大規模リファクタリングに必要な手作業を削減しました。オープンウェイトnatureによるリリースであるため、組織は閉じたAPIサービスに依存することなく、独自のコードベースでモデルをファインチューニングでき、データセキュリティとカスタマイズ性が向上します。

しかし、インフラ要件は参入障壁となっています。BF16チェックポイントの実行には、特に複数のH200 GPUノードなど、相当なGPUリソースが必要です。最適化されたNVFP4バージョンであっても、次世代のBlackwellハードウェアへのアクセスが必要です。これは、最先端の計算クラスターへのアクセス権を持つ資金力のある企業や研究機関への即時採用を制限します。メモリおよび処理要件は通常のローカル開発環境をはるかに超えているため、開発者はこのモデルのデプロイやファインチューニングを試みる前に、自社のハードウェア能力を慎重に評価する必要があります。

できること

• 公式リポジトリから Muse-Spark-Open-816B-A42B または NVFP4 チェックポイントをダウンロードしてください。
• 提供されている llama.cpp、vLLM、または SGLang のレシピを使用して推論環境を設定してください。
• 画像、音声、動画などのマルチモーダル入力を処理するために MuseSparkProcessor を設定してください。
• 長文書の要約や広範なコードベース分析のために、100万トークンのコンテキストウィンドウを実験的に使用してください。
• テンソル並列およびエキスパート並列用の分散設定を使用して、特定のコーディングタスクでモデルをファインチューニングしてください。
• NVIDIA Blackwell GPUへのアクセスがある場合は、ハードウェア要件を削減するために NVFP4 チェックポイントの評価を行ってください。