llama.cppのカスタムパッチで1GB RAMのデバイスに16B LLMを実行
smolmaxxingプロジェクトは、フラッシュストレージから重みをストリーミングすることで、利用可能なRAMがわずか1GBしかないデバイスで大規模なMixture-of-Experts(MoE)モデルを実行する方法を示しています。
英語の原文から自動翻訳されました。
「smolmaxxing」という新しいオープンソースプロジェクトにより、現代の大規模言語モデル(LLM)が、かつて時代遅れとされていたハードウェア上で動作することが証明されました。推論エンジンであるllama.cppに特殊なパッチを適用することで、開発者はXiaomi TV Boxおよび2013年製のiPad Air上で、パラメータ数160億のモデルの実行に成功しました。2026年11月にGitHubで公開されたこのプロジェクトは、積極的なメモリ管理とカスタムカーネルを用いて、標準的なハードウェアの制限を回避しています。
何が起きたか
smolmaxxingリポジトリには、ランダムアクセスメモリ(RAM)が極端に制限されたデバイスで、大規模なMixture-of-Experts(MoE)モデルを実行する実験が記録されています。主なテスト対象は、利用可能なRAMが約1GBのXiaomi TV Box S(第3世代)と、利用可能なRAMが約700MBのApple iPad Air(2013年製)です。これらの厳しい制約にもかかわらず、プロジェクトは利用可能なメモリ容量をはるかに超えるモデルに対して、実用的な推論速度を達成しました。
AndroidベースのTV Boxでは、Ling-mini-2.0 16Bモデルが毎秒5.1トークンの速度で実行されました。古いiOSタブレットでは、同じモデルが毎秒2.6〜4.5トークンの速度で動作しました。軽量の日常タスク向けには、TV BoxがQwen3.5-2Bを毎秒7.7トークンで処理し、iPadは1ビット量子化されたBonsai-1.7Bモデルを毎秒24〜26トークンで実行しました。すべての性能指標は、シミュレーションではなく、物理デバイス上で直接測定されたものです。
プロジェクトは、これらの結果が孤立した異常値ではなく、再現性のあるエンジニアリング手法の成果であることを強調しています。著者らは、ストレージメディアがデータをストリーミングするのに十分な速度を持っていれば、この手法はモデルサイズが利用可能なRAMを超えるあらゆるLinuxまたはAndroidデバイスに適用可能だと述べています。今後の拡張では、スマートフォン、シングルボードコンピュータ、ルーターなどが含まれる予定です。
仕組み
核心的な革新は、ローカルでLLMを実行するための人気C++ライブラリであるllama.cppに適用される一連のパッチにあります。標準的な推論エンジンは通常、モデル全体、少なくともアクティブなパラメータすべてをRAM上に保持する必要があります。Smolmaxxingは、フラッシュストレージをメモリの拡張として扱うことで、この要件を打破します。MoEモデルは各トークンごとに少数の「エキスパート」のみをアクティブにするため、システムは頻繁に使用されるエキスパートをRAMに保持し、残りは必要に応じてフラッシュストレージからストリーミングします。また、レイテンシを最小限に抑えるために、次のレイヤーのエキスパートをプリフェッチ(先読み)します。
弱いCPUでもこのストリーミングを実現するため、プロジェクトでは特定のチップアーキテクチャに合わせて調整されたカスタムカーネルを導入しています。TV BoxのCortex-A55プロセッサに対しては、エンジニアは1ビットルックアップテーブルカーネルを実装し、2ビットおよび三値フォーマットを再パックしました。iPadのApple A7チップにはドット積命令がないため、チームは基本的なNEON命令のみを使用するこれらのカーネルの代替バージョンを開発しました。これらの最適化により、演算ごとの計算負荷が軽減され、低速なプロセッサでもストレージからのデータストリーミングに対応できるようになります。
モデルの語彙(ボキャブラリー)をプルーニング(剪定)することでも、さらなるメモリ節約が実現されます。標準的な語彙の大部分は推論中にほとんど使用されないため、プロジェクトでは未使用の出力行を削除してRAMを解放します。TV Boxでは、「ヘッドレス」モードにより、推論中にAndroidランチャーやバックグラウンドのGoogleサービスを無効にし、利用可能なすべてのRAMメガバイトがモデル専用に確保されるようにします。この選択的ロード、カスタムの低レベルコード、システムレベルのリソース削減の組み合わせにより、8Bおよび16Bモデルが1GBのメモリ予算内で動作可能になります。
主要な詳細
- テスト済みハードウェア: Amlogic S7Dチップを搭載したXiaomi TV Box S(第3世代)、およびApple A7チップを搭載したiPad Air(2013年製)。
- メモリ制約: 両デバイスとも、利用可能なRAMは約1GB以下で動作しました。
- ピークパフォーマンス: 16B Ling-mini-2.0モデルは、TV Boxで毎秒5.1トークン、iPadで最大毎秒4.5トークンで実行されました。
- コア技術: Mixture-of-expertsモデルはフラッシュストレージからページングされ、アクティブなエキスパートのみがRAMに保持されます。
- ソフトウェア基盤: すべての変更は、llama.cpp推論エンジンに適用されるパッチです。標準のllama.cppではこれらのモデルを読み込めません。
- 入手可能性: 完成済みのモデルファイルはHugging Faceでホストされており、ARMv8.2 Androidおよび脱獄済みiOS 12デバイス向けのセットアップガイドが提供されています。
なぜ重要なのか
ソフトウェアエンジニアやAI実践者にとって、このプロジェクトは、ローカルでのLLM推論にはハイエンドGPUや大量のRAMが必要という前提を覆します。慎重なシステムプログラミングにより、遊休状態にある消費者向け電子機器から大きな能力を引き出せることを示しています。TV Box、古いタブレット、ルーターなどはしばしば使われずに放置されていますが、ソフトウェアスタックが正しく最適化されていれば、意味のあるAIワークロードを処理できるCPUとフラッシュストレージを備えています。これにより、電力、コスト、スペースの制約により従来のサーバーが導入できない環境において、エッジAIを展開するための道が開けます。
また、この手法はアーキテクチャ固有の最適化の重要性も浮き彫りにします。汎用の量子化は、極端なエッジケースには不十分なことがよくあります。NEONなどの特定の命令セットを活用するカスタムカーネルを作成することで、開発者は汎用ライブラリが見逃しがちな性能を引き出すことができます。このアプローチは、スパースなアクティベーションパターンによりページング戦略に適しているMixture-of-expertsモデルに特に有効です。モデルがさらに大型化するにつれ、効率的なメモリ管理は生の計算能力と同じくらい重要になるでしょう。
あなたができること
- smolmaxxing Hugging Faceリポジトリから、パッチ適用済みのllama.cppバイナリと完成済みモデルファイルをダウンロードしてください。
docs/tv-box-setup.mdのガイドを使用して、ARMv8.2 Androidデバイスでセットアップをテストしてください。ipad-air/ディレクトリ内のスクリプトを使用して、iOS 12.5.7の脱獄済みiPadで実験を行ってください。docs/how-it-works.mdを確認し、各カーネルおよびメモリ最適化技術による具体的な利点を理解してください。tools/ディレクトリのツールを使用して、docs/models.mdの指示に従い、自身のハードウェア向けにモデルを再構築してください。EXPERIMENT.mdを読んで、著者によって記録された160件の実験と失敗事例を分析し、一般的な落とし穴を避けてください。



