DeepSeek V3アーキテクチャをJAXで190行の実装
ある開発者が、純粋なJAXのみを用いてDeepSeek V3アーキテクチャを再現しました。MacBook Air上で3600万パラメータのモデルを訓練し、MLAやMoEといった主要な仕組みを実証しています。
英語の原文から自動翻訳されました。
Vaibhaav Tiwari氏は、わずか190行の純粋なJAXコードのみを用いたDeepSeek V3アーキテクチャのオープンソース実装を公開しました。2026年11月にGitHubで発表されたこのプロジェクトは、複雑な現代の大規模言語モデル(LLM)構造が、重いフレームワークなしに消費者向けハードウェアでも理解・実行可能であることを示しています。PyTorch、Flax、Equinoxなどのライブラリを取り除くことで、Multi-head Latent Attention(MLA)やMixture of Experts(MoE)といったコンポーネントが根本的なレベルでどのように機能するかを透明に見せるアプローチを提供しています。
何が起きたか
このリリースの中核は、deepseek_v3.pyという単一のPythonファイルであり、モデル定義全体が含まれています。Tiwari氏は、M5チップと24GBメモリを搭載したMacBook Air上で、このモデルを一から訓練しました。訓練データには、約2,170万トークン相当のパブリックドメインの探偵小説207冊を使用しました。このデータセットの選択により、法的な明確性を確保しつつ、モデルが学習するための一貫した言語構造を提供しています。
訓練プロセスは12,000ステップに及び、約2.6時間でおよそ9,800万トークンを処理しました。結果として得られたモデルは3,620万パラメータを含み、スパースなエキスパートルーティングにより、トークンごとにアクティブになるのは1,360万パラメータです。産業用モデルと比較して小規模ですが、この実装は元のDeepSeek-V3技術レポートで説明されているアーキテクチャ上の革新を成功裏に再現しています。プロジェクトにはコードだけでなく、訓練済みチェックポイント、トークナイザー、および結果の再現や新規テキスト生成のためのスクリプトも含まれています。
仕組み
この実装は、通常のJAX関数と配列辞書に依存しており、高レベルの抽象化を避けています。このアプローチにより、エンジニアはコードを上から下まで読み、ネットワーク内でのデータの流れを正確に理解できます。主要なアーキテクチャ特徴には、メモリ節約のためにキー・バリューキャッシュを圧縮するMulti-head Latent Attention(MLA)と、共有エキスパートとルーティングされたエキスパートの組み合わせを使用して計算を効率的に処理するDeepSeekMoEがあります。
注目すべき仕組みの一つは、補助損失フリーのバランス戦略です。複雑な損失項を使ってすべてのエキスパートが均等に負荷を分担するように強制する代わりに、モデルは各エキスパートへのバイアスを適用し、アイドル状態のエキスパートへルーティングを促します。これにより、重みを変更せずに特定のトークンに対してどのエキスパートが選択されるかが変わります。また、コードではMulti-token Prediction(MTP)も実装されており、追加のモジュールが次の次のトークンを予測することで、訓練の安定化に貢献しています。すべての計算はfloat32マスターウェイトの上でbfloat16精度を使用し、更新ステップ中の数値安定性を確保しています。
主要な詳細
- コードベースサイズ: コアモデルロジックは、空白行とコメントを除いた純粋なJAXコード190行に収まります。
- ハードウェア要件: 訓練は24GB RAM搭載のMacBook Air M5で行われ、約10.7k tokens/sの速度を達成しました。
- モデル規模: 総パラメータ数は3,620万で、スパースルーティングによりトークンあたり1,360万がアクティブになります。
- 訓練データ: パブリックドメインの犯罪・探偵小説207冊からの2,170万トークン。
- パフォーマンス: 検証損失は12,000ステップで5.02から3.51に低下しました。
- バランス効果: バイアス使用時のエキスパート負荷は5.7〜6.9%の変動にとどまりましたが、バイアスなしでは0.09〜18.6%と大きく変動しました。
なぜ重要なのか
ソフトウェア開発者や機械学習エンジニアにとって、このプロジェクトは高精度な教育ツールとして機能します。現代のLLMアーキテクチャは、巨大なコードベースやプロプライエタリなインフラストラクチャによって覆い隠されることが多く、MLAやデカップリングされたロータリー埋め込みといった具体的な革新が実際にどのように動作するのかを理解するのが困難です。実装を本質的な数学的演算にまで簡略化することで、Tiwari氏はこれらの概念を解明する参照資料を提供しています。エンジニアはコードを検査して、キャッシュの処理方法やルーティングバイアスの更新方法を正確に確認でき、理論論文と実装の間にあるギャップを埋めることができます。
さらに、ノートパソコン上で代表的なアーキテクチャを訓練できることは、意味のある実験にはクラスタスケールのリソースが必要だという前提を覆します。結果として得られるモデルは最先端システムと競合するものではありませんが、高度な設計の構造的整合性が消費者向けハードウェアで検証可能であることが証明されています。これは、高価なクラウドコンピューティングへのアクセスなしに、エキスパート数の変更や注意機構の調整といったアーキテクチャ修正を試したい研究者や学生にとって、参入障壁を下げるものです。
できること
- リポジトリをクローンし、
uvを使用して固定された依存関係をインストールし、jax-metalとの互換性を確保してください。 - 提供されたテストを実行し、環境がApple Silicon上で必要なJAX操作をサポートしていることを確認してください。
- データ準備スクリプトを実行してパブリックドメインコーパスをダウンロード・トークナイズするか、完全な再現性のために前処理済みバイナリをダウンロードしてください。
- デフォルト設定またはメモリが少ないマシン向けの小さい設定を使用して、モデルをローカルで訓練してください。
- 提供されたチェックポイントを使用してテキストサンプルを生成し、探偵小説のプロンプトに対するモデル出力を観察してください。
deepseek_v3.pyファイルを一行ずつ研究し、MLA、MoEルーティング、マルチトークン予測の実装を理解してください。



