MLXでMac Studioクラスタを使い、1兆パラメータ規模のLLMを実行

Apple Machine Learning Researchは、Apple Silicon上でフロンティア級の大規模言語モデル（LLM）をローカル実行するための技術的な詳細解説を公開しました。2026年10月15日にリリースされたこのレポートでは、オープンソースフレームワークであるMLXが、統合メモリと新しいネットワークドライバを活用し、ほぼ1兆パラメータ規模のモデルをどのように処理するかについて詳述されています。

研究チームは、816億パラメータを含む「Muse Spark Open」モデルを、4台のMac Studioコンピュータからなるクラスタ上で正常に動作させることに成功しました。Thunderbolt接続を介したパイプライン並列化およびテンソル並列化戦略を使用することで、低消費電力を維持しながら、人間の読解速度を超える生成スピードを実現しました。

何が起きたか

本研究は、新たに発表されたM5 Ultraチップと、最新バージョンのMLX配列フレームワークの能力に焦点を当てています。過去の作業ではM5アーキテクチャにおけるGPU Neural Acceleratorsが注目されていましたが、今回の投稿では巨大なモデルに対する実用的な推論パフォーマンスを示しています。著者らは、以下の3つの特定のモデルをベンチマークしました：Muse Spark Open（816Bパラメータ）、Mistral Medium 3.5（128Bパラメータ）、Qwen 3.8（27Bパラメータ）。

512GBの統合メモリを搭載した単一のMac Studio上では、より小さい密な（dense）モデルは問題なく収まります。しかし、Muse Spark Openは大幅により多くのメモリを必要とします。4-bit NVFP4精度であっても、モデルのフットプリントは約493GBとなり、中間計算用の余地はほとんどありません。これを解決するため、研究者たちはmacOS 26.2で導入された機能であるThunderbolt 5経由のリモート直接メモリアクセス（RDMA）を使用して、ワークロードを複数のマシンに分散させました。

ベンチマークでは、最初のトークンまでの時間（TTFT）、生成スループット、ピーク時の電力使用量を測定しました。最大のモデルについては、Thunderboltケーブルで接続された4台のMac Studioからなるクラスタを使用しました。この構成により、モデルの層や重みをデバイス間で分割することが可能になり、デスクトップハードウェアでは本来不可能だった推論が可能になりました。

仕組み

MLXは、大規模モデルを複数のコンピュータに分散させるために、主に2つの戦略を使用します：パイプライン並列化とテンソル並列化です。パイプライン並列化はモデルを深さ方向で分割します。つまり、あるマシンがニューラルネットワーク層の前半部分を処理し、その出力を残りの層を処理する次のマシンへ送信します。このアプローチは実装が簡単であり、ノード間では中間出力のみが交換されるため、通信オーバーヘッドも低くなります。

テンソル並列化はモデルを幅方向で分割し、各層の一部をすべてのマシンに分散させます。この方法により計算の並列化が高まりますが、すべてのトークンと層に対して頻繁な通信が必要になります。これを現実的にするために、MLXは低遅延のRDMA-over-Thunderboltドライバの上に構築された通信コレクティブのセットであるjacclに依存しています。これにより、テンソル並列化に必要な小さく頻繁なデータ交換がボトルネックにならないように保証されます。

M5 Ultraチップはこのアーキテクチャにおいて重要な役割を果たします。そのGPU Neural Acceleratorsは行列演算専用のハードウェアを提供し、最初のトークンまでの時間の計算など、計算負荷の高いタスクを加速します。さらに、M5 Ultraは1.2 TB/sの統合メモリ帯域幅を提供しており、これは前世代のM3 Ultraで利用可能だった819 GB/sから大幅な向上です。この帯域幅は、メモリ負荷が高い生成速度を直接改善します。

主要な詳細

• Muse Spark Openは816億パラメータを持つ混合専門家（mixture of experts）モデルであり、NVFP4精度で評価されました。推論時にはアクティブなパラメータは420億のみです。
• M5 Ultraチップを搭載した4台のMac Studioからなるクラスタは、コンテキストサイズ8,192トークンでMuse Spark Openに対し毎秒36トークン以上の性能を達成しました。
• GPU Neural Acceleratorsのおかげで、計算負荷の高いワークロードにおいて、M5 UltraはM3 Ultraと比較して最初のトークンまでの時間が最大4.6倍高速です。
• M5 Ultra搭載のMac StudioでのLLM推論時のピーク電力消費量は約300ワットであり、多くのサーバーグレードの代替品よりも大幅に低いです。
• MLX v0.30.1以降では、Thunderbolt経由のRDMAのためのjacclサポートが含まれており、Mac Studioユニット間の低遅延通信が可能になります。
• パイプライン並列化は、非常に大きなコンテキスト（65,536トークン）のプリフィル処理において、マシン間で計算チャンクをオーバーラップさせることで、単一ノードと比較して最大1.8倍高速になる可能性があります。

なぜ重要なのか

ソフトウェアエンジニアやAI研究者にとって、この進展はフロンティア級のモデルを試すための障壁を下げるものです。816億パラメータのモデルをローカルで実行することは、データがプライベートな環境の外に出ないことを意味し、クラウドベースのAPIに関連する重大なプライバシーおよびセキュリティ懸念に対処します。また、クラウドリソースの割り当てを待ったり、エグレスコストを気にしたりすることなく、ファインチューニングや推論手法に対する迅速な反復開発を可能にします。

Apple Siliconの効率性は、ローカルAIインフラのコスト構造も変えます。ピーク電力使用量が約300ワットであれば、Mac Studioは専門的な冷却設備や電源インフラなしで、標準的なオフィスや家庭環境で運用できます。これにより、小規模なチームや個人開発者が、高性能かつ省エネルギーな推論クラスタを維持することが現実的になります。

さらに、大きなコンテキストウィンドウへのサポートは、エージェント型ワークフローにとって不可欠です。コーディングアシスタントや複雑な推論エージェントは、しばしば65,536トークン以上のコンテキストサイズを必要とします。これらの大きなコンテキストをローカルハードウェア上で高速に処理できる能力は、コードベース全体や長いドキュメントをリアルタイムで理解できる、より洗練された自律エージェントの実現を可能にします。

できること

• Thunderbolt経由のRDMAおよびjacclバックエンドのサポートにアクセスするために、最新のMLXバージョン（v0.30.1以降）をインストールしてください。
• mlx_lm.benchmarkツールを使用して、特定のモデルとコンテキストサイズにおける最初のトークンまでの時間とスループットを測定してください。
• 分散推論のためにリンク帯域幅を2倍にするため、ペアごとに2本のThunderboltケーブルで複数のMac Studioユニットを接続してください。
• 2台のマシン間でモデルを分割する場合、設定が簡単で通信オーバーヘッドが少ないパイプライン並列化を試してみてください。
• 計算の並列化を最大化するために4台のマシンでテンソル並列化を使用し、Thunderboltメッシュが正しく構成されていることを確認してください。
• 分散ジョブ中のCPUとGPU間の通信オーバーヘッドを削減するために、MLX_METAL_FAST_SYNCH=1環境変数を有効にしてください。