Transformersで32GB RAMのMacBook M5にて180BパラメータMoEモデルを実行
ある開発者がHugging Face Transformersを最適化し、MacBook M5上でQwen3.8-Flash-Nextを実行しました。ディスクからエキスパートをストリーミングすることで、ほぼネイティブに近い速度を実現しています。
英語の原文から自動翻訳されました。
あるソフトウェアエンジニアが、統合メモリ32GBを搭載したMacBook M5上で、1800億パラメータを持つQwen3.8-Flash-Nextモデルの実行に成功しました。Hugging Face Transformersライブラリを修正してMixture of Experts(MoE)の重みを直接ディスクからストリーミングすることで、Strataなどの専用エンジンに匹敵する推論速度を達成しました。この実験は、積極的な重みオフローディングとキャッシュ戦略により、コンシューマー向けハードウェアでも大規模モデルを扱えることを示しています。
何が起きたか
著者のTarek Ziadé氏は、クラウドAPIへの依存度を下げるため、大規模言語モデルをローカルで実行することを目指しました。彼のメインワークステーションである「Orthrus」(RTX 4090を2基搭載したPC)は家族のゲーム活動で占有されることが多く、そのため彼は業務用ノートパソコンであるRAM 32GBのMacBook M5でのローカル推論を検討せざるを得ませんでした。llama.appやvLLMといった標準ツールを用いた初期の試みでは、利用可能なメモリを超えるMoEモデルを扱う際に大きな制限があることが明らかになりました。一部のエンジンはCPU RAMへ重みをオフロードできますが、PCIe帯域幅のボトルネックや、スパースなエキスパート活性化に対する効率的なキャッシュ機構の欠如により、パフォーマンスペナルティを被っていました。
Ziadé氏は、従来は実行前にモジュール全体をメモリに読み込むHugging Face Transformersライブラリの最適化に注力しました。Transformersの標準的なオフローディングでは、ルーターがどのエキスパートを選択するかに関わらず、すべてのトークンに対してレイヤー内の全エキスパートをGPUにコピーします。これは、各トークンでアクティブになるエキスパートがごく一部であるMoEモデルにとって非効率です。これを解決するため、彼は必要なエキスパートのみをディスクからデバイスの有界キャッシュへ読み込む新しいストリーミング機構を開発しました。プルリクエスト#50717で詳細が公開されているこの実装により、TransformersはディスクストレージをVRAMの拡張として扱い、物理メモリの容量をはるかに超えるモデルを処理できるようになります。
仕組み
中核となる革新性は、標準的なモジュール読み込みプロセスをスロットベースのキャッシュシステムに置き換えた点にあります。エキスパートバンク全体をGPUにコピーする代わりに、システムはデバイス上に事前割り当てられたテンソルプールを維持します。ルックアップテーブルは、特定のエキスパートIDをこのプールのスロットにマッピングします。モデルのルーターがトークンごとにアクティブなエキスパートを選択すると、システムはそれらが既にキャッシュにあるかどうかを確認します。存在しない場合、複数のI/Oスレッド経由で量子化されたエキスパート重みをディスクから読み取ります。これにより、既存のgrouped_mmカーネルを修正せずにキャッシュ済みスロットで動作させることができ、カスタムの行列乗算実装を作成する必要がなくなります。
データ転送オーバーヘッドをさらに削減するため、エキスパートはオフラインで3ビットに量子化され、121GBあったFP8エキスパートセットがディスク上で49GBに縮小されました。密なレイヤーは8ビットに量子化され、約5.4GBを占めます。51GBのn-gram埋め込みテーブルは別のディスクパスで処理され、必要になったときに行のみを読み取ります。また、システムはプリフェッチも採用しており、現在のレイヤーが計算中にルーターが後続レイヤーのエキスパートを予測することで、ディスク遅延の一部を隠蔽します。macOS上で高速パスを持たないGated DeltaNetやハイパーコネクションなどの操作には、実行時にコンパイルされるMetalカーネルが対応します。
主要な詳細
- この実験では、48層構造で各層に512個のエキスパートを持つ180BパラメータのMoEモデル、Qwen3.8-Flash-Nextを使用しました。
- 推論は32GBの統合メモリを搭載したMacBook M5で実行され、6Kプロンプト使用時のピーク時は約25.4GBのメモリを消費しました。
- エキスパートは3ビットに量子化され、ディスク上のフットプリントを121GBから49GBに削減しました。一方、密なレイヤーは8ビット量子化を使用しました。
- 最適化されたTransformers実装は、短いデコードタスクで毎秒13.9トークンを達成し、Strataの毎秒14.8トークンと比較されました。
- プリフィル速度は4Kプロンプトで毎秒228トークンに達し、Strataの毎秒220トークンをわずかに上回りました。
- このソリューションはC++拡張機能を必要とせず、Python、実行時コンパイルされるMetalシェーダー、およびHubからのプリビルドカーネルに依存しています。
なぜ重要なのか
AIアプリケーションを開発するエンジニアにとって、この取り組みは高価なGPUクラスタなしで最先端モデルを汎用ハードウェア上で実行できる可能性を示しています。大規模MoEモデルには専用の推論エンジンや膨大なVRAMが必要だという前提を覆します。ディスクストリーミングと効率的なキャッシュを活用することで、エンジニアはテスト、デバッグ、プライバシー重視のタスクのために大規模モデルをローカルにデプロイできます。このアプローチは、データのスパース性を活用できる他の領域におけるメモリバウンドなワークロードの最適化のための青写真も提供します。
しかし、結果はNVIDIA製以外のハードウェア上でのPyTorchのような汎用フレームワークの限界も浮き彫りにしています。TransformersとStrata間の残存するパフォーマンスギャップは、主にホスト-GPU同期の問題と、カーネルレベルで計算とI/Oを完全にオーバーラップできないことに起因しています。これは、ソフトウェアの最適化で多くの差を埋めることができる一方で、最大限の効率を得るにはハードウェア固有機能とのより深い統合が必要であることを示唆しています。開発者は推論スタックを選択する際、Transformersの柔軟性と専用エンジンの生性能を天秤にかけるべきです。
やれること
- プルリクエスト#50717からTransformersの実験的ブランチをインストールし、自身のハードウェアでエキスパートストリーミングをテストしてください。
- MoEモデルのエキスパートを低ビット量子化(例:3ビット)に変換し、ディスクI/O要件とキャッシュフットプリントを削減してください。
- ディスクからデバイスメモリへ重みをストリーミングする際の遅延を最小化するために、高速NVMe SSDを使用してください。
- システムは利用可能なRAMの限界近くで動作するため、バックグラウンドアプリケーションを閉じるなど、メモリ使用量を厳密に監視してください。
- マルチレイヤー計算中のディスク読み取り遅延を隠蔽するために、プリフェッチ戦略を試行錯誤してください。
- コード例やベンチマークの詳細を確認し、他のMoEアーキテクチャへアプローチを適応させるために
moe-expert-streamingSpaceをレビューしてください。



