DeepSeek、Huawei Ascend対応の推論エンジン「DeepInfer」をオープンソース化

DeepSeekは、同社のAPIを支えるオープンソースの推論エンジン「DeepInfer」をリリースしました。これは、これまでモデルパラメータのみを公開してきた従来の戦略から大きな転換を示すものです。2026年10月20日に発表されたこのフレームワークにより、開発者は自社インフラ上でDeepSeek-V4.1 Flashモデルを実行できるようになりました。これには、以前は内部で保持されていた最適化カーネルやスケジューリング機構が含まれています。

今回のリリースはソフトウェア自体だけでなく、そのハードウェアサポートにも注目が集まっています。DeepInferは、BlackwellデータセンターGPUに見られるNvidiaのSM100アーキテクチャと、HuaweiのAscend 950 NPUシリーズでネイティブに動作します。このデュアルサポートは、米国製先端チップに対する輸出規制が続く中、DeepSeekと中国のハードウェアメーカー間の連携が深まっていることを浮き彫りにしています。

何が起きたか

長年にわたり、DeepSeekはモデルパラメータのダウンロードを提供し、開発者がvLLMなどのサードパーティツールを使って実行できるようにしてきました。しかし同社は、モデルを効率的に実行するにはパラメータだけでは不十分であり、リクエスト管理、チップ間での処理分散、迅速な応答生成を担う高度なソフトウェアが必要だと指摘していました。2025年4月、DeepSeekは完全な推論スタックの公開について、内部インフラとの密接な結合や限られた保守リソースのため実用的ではないと説明していました。

DeepInferのローンチに伴い、この方針は変更されました。Apache 2.0ライセンスの下でリリースされたこのフレームワークには、FlashMLA、DeepGEMM、DeepEPといった最適化された計算カーネルが含まれています。また、通信ライブラリや、複数のチップ間で推論タスクを分散させるための機構も備えています。同社は、この本番用スタックを共有することで、コミュニティが計算コストを下げるのを助け、エネルギー使用量を削減し、AIをより手頃な価格にするのが目的だと述べています。

メインエンジンと同時に、DeepSeekはRustおよびPython用のコンパニオンライブラリ「deepseek-recipe」もオープンソース化しました。このツールは、APIリクエストをモデル入力に変換し、出力を再びレスポンスとして処理する役割を担い、開発者が自社のデプロイメントでDeepSeek公式APIの挙動を再現できるよう支援します。このライブラリの更新版は、9月の静かな初期リリースを経て、今回の主要な発表に合わせて公開されました。

仕組み

DeepInferはスループットを最大化しレイテンシを最小化するために、いくつかの高度な技術を採用しています。応答生成を高速化するために複数トークンを同時に予測・検証する手法である「推測的デコーディング（speculative decoding）」をサポートしています。また、非同期スケジューリングを使用することで、プロセッサが新しい仕事を待つ時間を減らし、全体的な効率を向上させています。

このフレームワークはオフライン推論向けに設計されており、大規模サービングに必要なコア機能を備えています。ただし、完全な本番サービスに必要なすべてのコンポーネントは含まれていません。欠けている要素には、KVキャッシュ管理システム、マシン間で推論ステージを分離するためのインフラ、レプリカ間の負荷分散などが挙げられます。開発者はこれらの周辺インフラコンポーネントを自ら用意する必要があります。おそらくこれは、DeepSeekが内部クラスター管理システム全体を公開することなく、コアエンジンをリリースすることを可能にしたためでしょう。

構造化出力もサポートされており、開発者はモデルの応答に対して正確なフォーマットを指定できます。この機能は、厳格なデータスキーマを必要とするアプリケーションにとって特に有用で、後処理による修正の必要性を軽減します。

主要な詳細

• DeepInferはApache 2.0ライセンス下でリリースされ、DeepSeek-V4.1 Flashモデルをサポートします。
• ハードウェアサポートはNvidia SM100（Blackwell）GPUおよびHuawei Ascend 950 NPUに限定されています。Hopperなど古いNvidiaアーキテクチャはサポートされていません。
• フレームワークには、FlashMLA、DeepGEMM、DeepEPなどの最適化カーネルに加え、推測的デコーディングと非同期スケジューリングが含まれます。
• リクエストおよびレスポンス処理を行うためのコンパニオンライブラリ「deepseek-recipe」がRustおよびPython用に利用可能です。
• バッチ不変推論や決定論的サンプリングなど、一部の機能は現在Nvidiaハードウェアでのみ利用可能です。
• DeepSeekはHuaweiチップのパフォーマンスベンチマークを提供しておらず、両プラットフォーム間の相対的な効率性は不明です。

なぜ重要なのか

ソフトウェアエンジニアやインフラ責任者にとって、DeepInferは外部サービスに依存せずにDeepSeek APIのパフォーマンス特性を再現するための直接的な道を提供します。本番環境で使用されているのと同じ最適化へのアクセスを提供することで、このフレームワークは大規模言語モデルの実行に伴う計算オーバーヘッドを大幅に削減できます。これは、コスト削減や高スループット環境におけるレイテンシ改善を目指すチームにとって特に重要です。

Huawei Ascend 950サポートの組み込みは戦略的に重要です。米国の輸出規制により中国企業がNvidiaの最先端チップへアクセスすることが制限される中、DeepSeekのHuaweiハードウェアへの投資は、実行可能な代替エコシステムが存在することを示唆しています。グローバルな開発者にとって、これはNvidia以外のハードウェア向け最適化がますます主流になりつつあり、AIインフラサプライチェーンの多様化につながる可能性があることを意味します。

しかし、リリースの一部であるという性質上、既存システムへのDeepInfer統合には追加のエンジニアリング作業が必要になります。チームはロードバランサーやキャッシュマネージャーなど、不足しているコンポーネントを構築または統合しなければなりません。それでも、コアエンジンの提供は、高性能推論がどのように達成されるかを理解するための貴重な参照資料となり、他のエンジンやハードウェアプラットフォームに応用できる洞察を提供します。

できること

• オフライン推論を試すために、DeepSeekの公式リポジトリからDeepInferとdeepseek-recipeライブラリをダウンロードしてください。
• 移行を計画する前に、現在のハードウェアがサポートされているSM100またはAscend 950仕様に合致するか評価してください。
• 含まれている最適化カーネルと通信ライブラリを研究し、自社の推論パイプラインにおける潜在的な改善点を見つけてください。
• アプリケーションで厳格な応答フォーマットを強制するために構造化出力機能を使用し、後処理ロジックを削減してください。
• KVキャッシュ管理や負荷分散など、不足しているコンポーネントの将来のサポートに関するコミュニティディスカッションやアップデートを監視してください。
• 推測的デコーディングと非同期スケジューリングのパフォーマンスを、特定のユースケースにおいて現在のセットアップと比較してください。