DeepSeek、大規模本番環境向け推論フレームワーク「DeepInfer」を公開

DeepSeekは、同社の大規模な本番サービスを支えるために設計されたオープンソースの推論フレームワーク「DeepInfer」をリリースしました。2026年10月にGitHubで公開されたこのリリースは、大規模なDeepSeek-V4.1-Flashモデルを提供するために必要なコアエンジン機能を提供し、高スループットのオフライン推論能力を必要とするエンジニアを対象としています。

何が起きたか

DeepSeekチームはDeepInferリポジトリを公開しました。すでに開発者コミュニティから大きな注目を集めており、数千ものスターとフォークを獲得しています。このリリースは、内部の本番インフラストラクチャをパブリックなツールセットへ移行することを意味し、外部の開発者がDeepSeek自身のサービスで使用されているのと同じ最適化テクニックを活用できるようにします。このフレームワークは、特にDeepSeek-V4.1-Flashモデルチェックポイント向けに調整されており、ソフトウェアスタックとモデルアーキテクチャ間の密接な統合を保証します。

汎用の推論エンジンとは異なり、DeepInferは特定のハードウェアターゲットを念頭に置いて構築されています。NVIDIA SM100 GPUとHuawei Ascend 950 NPUをサポートしており、ハイエンドアクセラレータアーキテクチャへの戦略的な焦点を示しています。リリースには、大規模展開における低遅延と高スループットを維持するために不可欠な、最適化されたカーネル、並列化戦略、スケジューリングメカニズムが含まれています。現在のリリースはオフライン推論に焦点を当てていますが、より複雑なサービング構成のための基盤を築いています。

仕組み

DeepInferは、カスタムカーネルと高度なスケジューリングアルゴリズムの組み合わせによってパフォーマンスを実現しています。最下層では、FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelectなどの最適化されたカーネルに加え、カスタムのTileLangカーネルを利用しています。これらのコンポーネントは、行列乗算やアテンションメカニズムの重い処理を効率的に扱います。並列化については、フレームワークはAttention Data Parallelism (DP)、バランスの取れたContext Parallelism (CP)、Expert Parallel Load Balancing (EPLB)を備えたMixture of Experts Expert Parallelism (MoE EP)をサポートしています。

DeepInferにおける主要な革新の一つは、デコード加速へのアプローチです。生成を高速化するためにドラフトトークンを使用するDSparkと信頼性ベースの検証スケジュールを実装しています。システムは信頼性レベルを推定して検証ステップをスケジュールし、不要な計算を削減します。さらに、Decoder Sliding Window Attention (SWA) bounded replayを採用しています。この手法は、履歴全体を再処理するのではなく、コンテキストの有界サフィックスのみを再生することでプリフィル作業を削減します。エンジニアは、切り詰めモードと保持するトークン数を定義するために特定の環境変数を設定することにより、これを構成できます。

フレームワークには非同期スケジューリングも特徴としてあり、CPUバッチスケジューリングとデバイス実行を重ね合わせることでオーバーヘッドを排除します。バッチ不変推論（batch-invariant inference）をサポートしており、バッチ構成に関係なくモデル結果が同一であることを保証します。これはデバッグと再現性にとって極めて重要です。決定論的サンプリングも利用可能であり、シーケンスシードを固定することで、同一の入力に対して同一の出力を生成できます。さらに、DeepInferは構造化出力をサポートしており、正規表現、JSONスキーマ、EBNF文法による生成制約を可能にします。

主要な詳細

• サポートされるモデル: DeepSeek-V4.1-Flash (チェックポイント deepseek-ai/DeepSeek-V4.1-Flash-1017)。
• ハードウェアサポート: NVIDIA SM100 GPU および Huawei Ascend 950 NPU。
• 前提条件: Linux、GCC >= 13.0、Python 3.12、CUDA 13 (NVIDIA用)、または CANN 9.2 (Ascend用)。
• 並列化戦略: Attention DP、バランスの取れた CP、EPLB付き MoE EP。
• 最適化技術: 信頼性ベースの検証付き DSpark、SWA bounded replay、非同期スケジューリング。
• ライセンス: Apache License 2.0。

なぜ重要なのか

ソフトウェアエンジニアやMLインフラチームにとって、DeepInferはモダンなハードウェアで大規模言語モデルを効率的に実行するための参照実装を提供します。バッチ不変推論と決定論的サンプリングの組み込みは、テストとコンプライアンスにおいて再現性が不可欠な本番環境での一般的な課題に対処します。これらのツールをオープンソース化することで、DeepSeekはコミュニティが最先端のベースラインに対して自社の展開をベンチマークし、最適化できるようにします。

NVIDIAとHuaweiの両方のハードウェアに対するサポートは、高性能推論へのアクセス性を広げ、多様なインフラ構成に対応します。ただし、開発者はこのリリースがオフライン推論に焦点を当てていることに注意する必要があります。完全な本番サービスには、KVキャッシュシステム、プリフィルとデコードフェーズの分離、レプリカ間の負荷分散など、追加のコンポーネントが依然として必要です。これらの要素は現在のオープンソースパッケージに含まれていないため、チームはDeepInferを既存のサービングスタックに統合するか、欠けている部分を独自に構築する必要があります。

できること

• GitHubからDeepInferリポジトリをクローンし、Python 3.12環境を設定します。
• ハードウェアに応じて、requirements-nvidia.txt または requirements-ascend.txt を使用して必要な依存関係をインストールします。
• 提供されている build.sh スクリプトを使用してソースからフレームワークをビルドし、正しい DEEPINFER_ACCELERATOR 変数をエクスポートしていることを確認します。
• デフォルトのDeepSeek-V4.1-Flashチェックポイントでフレームワークをテストするために、オフライン推論のサンプルを実行します。
• JSONスキーマや正規表現パターンを SamplingParams に渡すことで、構造化出力を試験します。
• サポートされているハードウェア上のパフォーマンス特性を理解するために、eval ディレクトリ内の評価ベンチマークを確認します。