DeepSeek open-source le moteur DeepInfer avec prise en charge des puces Huawei Ascend

DeepSeek a publié DeepInfer, le moteur d'inférence open source qui alimente son API, marquant un changement significatif par rapport à sa stratégie antérieure consistant à ne partager que les poids des modèles. Annoncé le 20 octobre 2026, ce framework permet aux développeurs d'exécuter le modèle DeepSeek-V4.1 Flash sur leur propre infrastructure grâce à des noyaux optimisés et des mécanismes de planification jusqu'alors réservés à l'usage interne.

Cette publication est notable non seulement pour le logiciel lui-même, mais aussi pour sa prise en charge matérielle. DeepInfer fonctionne nativement sur l'architecture SM100 de Nvidia, présente dans les GPU de centre de données Blackwell, ainsi que sur la série NPU Ascend 950 de Huawei. Ce double soutien met en évidence un alignement croissant entre DeepSeek et les fabricants chinois de matériel informatique, dans un contexte de restrictions persistantes sur l'exportation de puces américaines avancées.

Ce qui s'est passé

Pendant des années, DeepSeek a mis ses poids de modèles à disposition au téléchargement, permettant aux développeurs d'utiliser des outils tiers comme vLLM pour les exécuter. Cependant, la société a souligné qu'une exécution efficace d'un modèle nécessite plus que les simples poids ; elle exige un logiciel sophistiqué pour gérer les requêtes, répartir la charge de travail entre les puces et générer des réponses rapidement. En avril 2025, DeepSeek expliquait que la publication de sa pile complète d'inférence était impraticable en raison de son couplage étroit avec l'infrastructure interne et de ressources de maintenance limitées.

Cette position a changé avec le lancement de DeepInfer. Publiée sous licence Apache 2.0, cette framework inclut des noyaux de calcul optimisés tels que FlashMLA, DeepGEMM et DeepEP. Elle propose également des bibliothèques de communication et des mécanismes pour répartir les tâches d'inférence sur plusieurs puces. La société indique que le partage de cette pile de production vise à aider la communauté à réduire les coûts de calcul, la consommation énergétique et à rendre l'IA plus abordable.

En parallèle du moteur principal, DeepSeek a ouvert le code source de deepseek-recipe, une bibliothèque compagnon pour Rust et Python. Cet outil gère la conversion des requêtes API en entrées pour le modèle et traite les sorties pour les reconvertir en réponses, aidant les développeurs à reproduire le comportement de l'API officielle de DeepSeek dans leurs propres déploiements. Une version mise à jour de cette bibliothèque a été publiée conjointement à l'annonce principale, suite à une première sortie discrète en septembre.

Fonctionnement

DeepInfer emploie plusieurs techniques avancées pour maximiser le débit et minimiser la latence. Il prend en charge le décodage spéculatif, une méthode qui prédit et vérifie simultanément plusieurs jetons pour accélérer la génération de réponses. Le moteur utilise également une planification asynchrone pour garantir que les processeurs passent moins de temps à attendre de nouvelles tâches, améliorant ainsi l'efficacité globale.

Le framework est conçu pour l'inférence hors ligne et inclut les fonctionnalités principales nécessaires pour servir à grande échelle. Toutefois, il n'intègre pas tous les composants requis pour un service de production complet. Les éléments manquants incluent un système de gestion du cache KV, une infrastructure pour séparer les étapes d'inférence sur différentes machines et un équilibrage de charge entre les répliques. Les développeurs doivent fournir eux-mêmes ces composants d'infrastructure périphériques, ce qui a probablement permis à DeepSeek de publier le moteur central sans exposer son système complet de gestion de cluster interne.

Les sorties structurées sont également prises en charge, permettant aux développeurs de spécifier des formats exacts pour les réponses du modèle. Cette fonctionnalité est particulièrement utile pour les applications nécessitant des schémas de données stricts, réduisant le besoin de corrections post-traitement.

Détails clés

• DeepInfer est publié sous licence Apache 2.0 et prend en charge le modèle DeepSeek-V4.1 Flash.
• La prise en charge matérielle est limitée aux GPU Nvidia SM100 (Blackwell) et aux NPU Huawei Ascend 950 ; les architectures Nvidia plus anciennes comme Hopper ne sont pas prises en charge.
• Le framework inclut des noyaux optimisés comme FlashMLA, DeepGEMM et DeepEP, ainsi que le décodage spéculatif et la planification asynchrone.
• Une bibliothèque compagnon, deepseek-recipe, est disponible pour Rust et Python afin de gérer le traitement des requêtes et des réponses.
• Certaines fonctionnalités, telles que l'inférence invariante par lot et l'échantillonnage déterministe, ne sont actuellement disponibles que sur le matériel Nvidia.
• DeepSeek n'a pas fourni de benchmarks de performance pour les puces Huawei, laissant l'efficacité comparative entre les deux plateformes incertaine.

Pourquoi c'est important

Pour les ingénieurs logiciels et les responsables d'infrastructure, DeepInfer offre une voie directe pour reproduire les caractéristiques de performance de l'API de DeepSeek sans dépendre de services externes. En donnant accès aux mêmes optimisations utilisées en production, le framework peut réduire considérablement la surcharge computationnelle associée à l'exécution de grands modèles de langage. Cela est particulièrement pertinent pour les équipes cherchant à réduire les coûts ou à améliorer la latence dans des environnements à haut débit.

L'inclusion du support pour Huawei Ascend 950 est stratégiquement significative. Alors que les restrictions américaines sur l'exportation limitent l'accès des entreprises chinoises aux puces Nvidia les plus avancées, l'investissement de DeepSeek dans le matériel Huawei signale un écosystème alternatif viable. Pour les développeurs mondiaux, cela signifie que l'optimisation pour du matériel non-Nvidia devient de plus en plus courante, pouvant diversifier la chaîne d'approvisionnement pour l'infrastructure IA.

Cependant, le caractère partiel de la publication implique que l'intégration de DeepInfer dans les systèmes existants nécessitera des efforts d'ingénierie supplémentaires. Les équipes doivent construire ou intégrer les composants manquants tels que les équilibreurs de charge et les gestionnaires de cache. Malgré cela, la disponibilité du moteur central fournit une référence précieuse pour comprendre comment atteindre une inférence haute performance, offrant des insights adaptables à d'autres moteurs et plateformes matérielles.

Ce que vous pouvez faire

• Téléchargez DeepInfer et la bibliothèque deepseek-recipe depuis les dépôts officiels de DeepSeek pour expérimenter l'inférence hors ligne.
• Évaluez si votre matériel actuel correspond aux spécifications SM100 ou Ascend 950 prises en charge avant de planifier une migration.
• Étudiez les noyaux optimisés et les bibliothèques de communication inclus pour identifier des améliorations potentielles pour vos propres pipelines d'inférence.
• Utilisez les fonctionnalités de sortie structurée pour imposer des formats de réponse stricts dans vos applications, réduisant la logique de post-traitement.
• Suivez les discussions communautaires et les mises à jour concernant le futur support des composants manquants comme la gestion du cache KV et l'équilibrage de charge.
• Comparez les performances du décodage spéculatif et de la planification asynchrone dans votre cas d'usage spécifique avec votre configuration actuelle.