DeepSeek publie DeepInfer, un framework d'inférence pour la production à grande échelle

DeepSeek a publié DeepInfer, un framework d'inférence open source conçu pour alimenter ses services de production à grande échelle. Publié sur GitHub en octobre 2026, cette version fournit les fonctionnalités essentielles du moteur nécessaires pour servir les modèles DeepSeek-V4.1-Flash à grande échelle, ciblant les ingénieurs ayant besoin de capacités d'inférence hors ligne à haut débit.

Ce qui s'est passé

L'équipe DeepSeek a publié le dépôt DeepInfer, qui a déjà suscité une attention considérable de la part de la communauté des développeurs, avec des milliers d'étoiles et de forks. Cette publication marque la transition de leur infrastructure de production interne vers un ensemble d'outils publics, permettant aux développeurs externes de tirer parti des mêmes techniques d'optimisation utilisées dans les propres services de DeepSeek. Le framework est spécifiquement adapté au point de contrôle (checkpoint) du modèle DeepSeek-V4.1-Flash, garantissant une intégration étroite entre la pile logicielle et l'architecture du modèle.

Contrairement aux moteurs d'inférence généralistes, DeepInfer est conçu en tenant compte de cibles matérielles spécifiques. Il prend en charge les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, reflétant une orientation stratégique vers les architectures d'accélérateurs haut de gamme. La version inclut des noyaux (kernels) optimisés, des stratégies de parallélisme et des mécanismes de planification essentiels pour maintenir une faible latence et un haut débit dans les déploiements à grande échelle. Bien que la version actuelle se concentre sur l'inférence hors ligne, elle pose les bases de configurations de service plus complexes.

Comment cela fonctionne

DeepInfer atteint ses performances grâce à une combinaison de noyaux personnalisés et d'algorithmes de planification avancés. Au niveau le plus bas, il utilise des noyaux optimisés tels que FlashMLA, DeepGEMM, DeepEP, TileKernels et DeepSelect, ainsi que des noyaux TileLang personnalisés. Ces composants assurent efficacement le traitement intensif des multiplications matricielles et des mécanismes d'attention. Pour le parallélisme, le framework prend en charge le Data Parallelism (DP) de l'Attention, le Context Parallelism (CP) équilibré et le Expert Parallelism (MoE EP) avec équilibrage de charge des experts (EPLB).

Une innovation clé de DeepInfer réside dans son approche de l'accélération du décodage. Il implémente DSpark et la vérification planifiée par confiance, qui utilise des jetons brouillon (draft tokens) pour accélérer la génération. Le système estime les niveaux de confiance pour planifier les étapes de vérification, réduisant ainsi les calculs inutiles. De plus, il emploie la technique Decoder Sliding Window Attention (SWA) bounded replay. Cette méthode réduit le travail de préremplissage (prefill) en rejouant uniquement un suffixe borné du contexte, plutôt que de retraiter tout l'historique. Les ingénieurs peuvent configurer cela en définissant des variables d'environnement spécifiques pour déterminer le mode de troncature et le nombre de jetons à conserver.

Le framework propose également une planification asynchrone, qui superpose la planification des lots (batch) sur le CPU avec l'exécution sur le périphérique afin d'éliminer la surcharge. Il prend en charge l'inférence invariante par lot (batch-invariant), garantissant que les résultats du modèle restent identiques quelle que soit la composition du lot, ce qui est crucial pour le débogage et la reproductibilité. L'échantillonnage déterministe est également disponible, permettant aux utilisateurs de générer des sorties identiques pour des entrées identiques en fixant la graine de séquence. En outre, DeepInfer prend en charge les sorties structurées, permettant d'imposer des contraintes sur la génération via des expressions régulières, des schémas JSON ou des grammaires EBNF.

Détails clés

• Modèle pris en charge : DeepSeek-V4.1-Flash (point de contrôle deepseek-ai/DeepSeek-V4.1-Flash-1017).
• Prise en charge matérielle : GPU NVIDIA SM100 et NPU Huawei Ascend 950.
• Prérequis : Linux, GCC >= 13.0, Python 3.12, CUDA 13 (pour NVIDIA) ou CANN 9.2 (pour Ascend).
• Stratégies de parallélisme : DP de l'Attention, CP équilibré, MoE EP avec EPLB.
• Techniques d'optimisation : DSpark avec vérification planifiée par confiance, SWA bounded replay et planification asynchrone.
• Licence : Apache License 2.0.

Pourquoi c'est important

Pour les ingénieurs logiciels et les équipes d'infrastructure ML, DeepInfer offre une implémentation de référence pour exécuter efficacement de grands modèles de langage sur du matériel moderne. L'inclusion de l'inférence invariante par lot et de l'échantillonnage déterministe répond aux points de douleur courants dans les environnements de production où la reproductibilité est essentielle pour les tests et la conformité. En open-sourçant ces outils, DeepSeek permet à la communauté de comparer et d'optimiser ses propres déploiements par rapport à une base de référence de pointe.

La prise en charge à la fois du matériel NVIDIA et Huawei élargit l'accessibilité de l'inférence haute performance, s'adaptant à diverses configurations d'infrastructure. Cependant, les développeurs doivent noter que cette version se concentre sur l'inférence hors ligne. Un service de production complet nécessiterait encore des composants supplémentaires tels qu'un système de cache KV, la désagrégation des phases de préremplissage et de décodage, et l'équilibrage de charge entre les répliques. Ces éléments ne sont pas inclus dans le package open source actuel, ce qui signifie que les équipes devront intégrer DeepInfer dans leurs piles de service existantes ou construire elles-mêmes ces pièces manquantes.

Ce que vous pouvez faire

• Clonez le dépôt DeepInfer depuis GitHub et configurez un environnement Python 3.12.
• Installez les dépendances requises en fonction de votre matériel, en utilisant requirements-nvidia.txt ou requirements-ascend.txt.
• Construisez le framework depuis les sources en utilisant le script build.sh fourni, en veillant à exporter la variable correcte DEEPINFER_ACCELERATOR.
• Exécutez l'exemple d'inférence hors ligne pour tester le framework avec le point de contrôle DeepSeek-V4.1-Flash par défaut.
• Expérimentez avec les sorties structurées en passant des schémas JSON ou des motifs regex à SamplingParams.
• Consultez les benchmarks d'évaluation dans le répertoire eval pour comprendre les caractéristiques de performance sur le matériel pris en charge.