新しいカーネルパッチで64GBのCPU環境にて284BパラメータのDeepSeek-V4を実行

「llama-modchip」と呼ばれる一連の新しいカーネルパッチと量子化ツールにより、開発者は標準的な64GBのCPUのみを搭載したマシンで、2840億パラメータを持つDeepSeek-V4-Flashモデルを実行できるようになりました。2026年11月8日に公開されたこのプロジェクトは、大規模なMixture-of-Experts（MoE）アーキテクチャが高価なGPUクラスタを必要とせず、メモリオーバーフローエラーも発生させることなく、システムRAM内で効率的に動作することを実証しています。

何が起きたか

大規模言語モデルにおける最大の課題は、常にメモリ容量でした。DeepSeek-V4-Flashの標準ビルドでは通常76 GiB以上のストレージが必要であり、これは多くの64GB Linuxシステムの使用可能なRAMを超えています。このミスマッチにより、OSは遅いディスクスワップを使用せざるを得なくなったり、アウトオブメモリのクラッシュが発生したりすることが一般的でした。llama-modchipプロジェクトは、モデルチェックポイントを56.56 GiBに圧縮することでこれを解決し、モデル全体とそのコンテキストウィンドウがLinuxの62.5 GiBの使用可能なRAM内に余裕を持って収まるようにします。

モデルをメモリに収めることに加え、このプロジェクトはCPU推論のための重要なパフォーマンス最適化を導入しています。標準的な行列ベクトルループをマルチカラムタイリングスケジュールに置き換え、AVX-512BW命令を活用することで、パッチはプリフィル速度を77%、デコード速度を53%向上させます。16コアのZen 5プロセッサでは、これはプリフィル時に毎秒44.4トークン、生成時に毎秒9.1～14.7トークンの速度に相当し、コンシューマー向けハードウェアでのインタラクティブな利用を可能にします。

また、このプロジェクトはNemotron-3.5-30B-A3Bなどのより小規模なMoEモデルもサポートしており、これらは16～32 GBのRAMを搭載したノートパソコンで実行できます。これらの構成では、システムは毎秒25.0～60.4トークンの速度を達成します。CPUと16 GB GPUを組み合わせたハイブリッド構成の場合、ツールはホットなアテンションレイヤーをGPUにオフロードし、コールドなルーティング済みエキスパートをCPU RAMに保持することで、スループットを毎秒80トークン以上に押し上げます。

仕組み

核心的なイノベーションは、Fractal-64と呼ばれるカスタム量子化手法と、ggmlライブラリ向けの特定のカーネルパッチにあります。Fractal-64はハイブリッドアプローチを採用しており、埋め込みや共有エキスパートなどの敏感なレイヤーはQ4_KやF32などの高精度フォーマットで保持される一方、ルーティングされたMoEエキスパートの大部分はIQ1_SやQ2_0に圧縮されます。これにより、DeepSeek-V4-Flashのモデル品質を大幅に損なうことなく、重みあたりの有効ビット幅を最低1.71ビットまで削減します。

データ移動を効率的に管理するために、システムはStockfish-PVS v2ドラフター（次のトークンを予測する1.64 MBの小さなn-gramモデル）を採用しています。これにより、CPUが複数のトークンを一度に検証する自己投機的デコーディングが可能になります。さらに、カーネルパッチは非一時ストリーミングヒントを使用し、RAMからコールドなエキスパート重みをロードしてもL3キャッシュからホットなキー・バリューキャッシュラインを退避しないようにすることで、アクティブなコンテキストに対する高いヒット率を維持します。

主要な詳細

• DeepSeek-V4-Flashは56.56 GiBのディスクスペースに収まり、64GB Linuxシステム上で57.61 GiBのVmRSS内で実行されます。
• プロジェクトは純粋な64GB CPUセットアップにおいて、プリフィル時毎秒44.4トークン、デコード時毎秒9.1～14.7トークンを達成します。
• Nemotron-3.5-30B-A3Bは16～32 GB RAM搭載ノートパソコンで、毎秒25.0～60.4トークンの速度で実行されます。
• カスタムGGUFテンソルはタイプID 40（GGML_TYPE_Q2_0）を使用しているため、標準的なOllamaやLM Studioなどの未パッチのツールはこれらのモデルを拒否します。
• 40個のツールを含むClaude Codeプロンプトのコンテキスト復元は、/dev/shm KVスロットスナップショットを使用してわずか13.1～32.6ミリ秒で完了します。
• デフォルトの設定では、各レイヤーで6つのルーティング済みエキスパートすべてと1つの共有エキスパートを評価し、エキスパートのドロップはゼロです。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、この進展は最先端AIモデルの導入への参入障壁を下げるものです。多くの推論タスクにおいて高コストなGPUインフラストラクチャの必要性を排除し、チームが既存のサーバーハードウェアや高性能な開発者用ノートパソコンで強力なモデルを実行できるようにします。この変化は、コード分析やドキュメントレビューなど長いコンテキストウィンドウを必要とするアプリケーションの運用コストを大幅に削減し、デプロイパイプラインを簡素化することができます。

256Kコンテキストウィンドウを完全にRAM内で実行できる能力は、開発者がエージェントワークフローに取り組む方法も変えます。即時のコンテキスト復元時間により、エージェントはディスクベースのストレージに関連するレイテンシーペナルティを受けることなく、複数のツール呼び出しにわたって複雑な状態を維持できます。これにより、データの主権と速度が重要な懸念事項であるエンタープライズ環境において、ローカルかつプライベートなAIアシスタントの実現可能性が高まります。

できること

• インストールを試みる前に、提供されているPythonスクリプトを使用して、CPUがAVX-512またはNEONをサポートしているか確認してください。
• 標準的なllama.cppビルドとの互換性問題を避けるために、事前にコンパイルされたllama-server-modchip-linux-x86_64バイナリを使用してください。
• RAMが64 GB未満の場合は、まずNemotron-30Bモデルを開始して、特定のハードウェアでのパフォーマンスをテストしてください。
• DeepSeek-V4-Flashを実行する際は、プリフィックスループットを最大化するために-fa onフラグでFlashAttentionを有効にしてください。
• WebテレメトリHUDを通じてL3キャッシュの使用状況とトークン受容率を監視し、スレッド数を微調整してください。
• 標準的な量子化ツールは使用せず、代わりに./modchip quantizeコマンドを使用してモデルを必要なFractal-64形式に変換してください。