Baidu publie ERNIE 5.5 Flash Base, un modèle MoE open-weight efficace

Baidu a publié les poids de pré-entraînement d'ERNIE-5.5-Flash-Base, une nouvelle architecture de grand modèle de langage conçue pour l'efficacité et l'adaptabilité. Publiée le 5 novembre 2026, cette version open-weight fournit aux développeurs un point de contrôle fondamental avant tout ajustement par instruction tuning ou apprentissage par renforcement.

Le modèle compte 280 milliards de paramètres au total, mais n'en active que 14 milliards par token, exploitant une conception sparse Mixture-of-Experts pour équilibrer le coût de calcul avec une haute capacité. Il a été entraîné sur 33,5 billions de tokens et prend en charge des fenêtres de contexte allant jusqu'à un million de tokens lors de l'inférence, offrant ainsi un point de départ robuste pour l'adaptation spécifique à un domaine et les applications agentiques.

Ce qui s'est passé

La publication vise à fournir une base propre pour un développement ultérieur. Contrairement à de nombreux modèles commerciaux qui masquent leur état initial d'entraînement, Baidu a partagé le point de contrôle exact issu de la fin du pré-entraînement. Cela permet aux chercheurs et aux ingénieurs de s'appuyer sur des capacités générales sans l'influence des techniques d'alignement post-entraînement, qui peuvent parfois obscurcir les capacités brutes de raisonnement du modèle ou introduire des biais comportementaux spécifiques.

ERNIE-5.5-Flash-Base a été pré-entraîné depuis zéro en utilisant l'optimiseur Muon et une précision mixte FP8. Le processus d'entraînement a progressivement étendu la fenêtre de contexte à 128 000 tokens, bien que le modèle final prenne en charge jusqu'à un million de tokens pour les tâches de fine-tuning et d'inférence. Les développeurs soulignent que ce modèle de base est destiné à épargner aux autres équipes le coût immense du pré-entraînement à grande échelle, leur permettant de concentrer leurs ressources sur des tâches spécialisées telles que la compréhension de code à l'échelle d'un dépôt ou des workflows d'agents complexes.

Le corpus d'entraînement a été sélectionné pour prioriser les capacités difficiles à ajouter ultérieurement. Cela inclut des données web multilingues extensives, des dépôts de code de haute qualité avec historiques de commits et résultats de tests, ainsi que des données synthétiques conçues pour améliorer la récupération en contexte long et les réponses aux questions multi-sauts. En se concentrant sur ces domaines lors du pré-entraînement, le modèle établit une solide fondation pour les tâches nécessitant une compréhension structurelle profonde des logiciels et des documents longs.

Comment cela fonctionne

L'architecture atteint son efficacité grâce à plusieurs mécanismes novateurs, principalement dans la gestion de l'attention et du routage des experts. La plupart des couches utilisent la Heavily Compressed Attention (HCA), qui compresse chaque groupe de 128 tokens en une seule entrée mise en cache. Cela permet au modèle de maintenir une vue de la séquence entière tout en réduisant drastiquement l'utilisation de la mémoire. Seule une couche sur sept utilise la Multi-head Latent Attention (MLA) pour accéder au détail complet au niveau des tokens, et même ces couches emploient une attention sparse pour maintenir un coût de calcul constant à mesure que le contexte croît.

Le routage dans les couches Mixture-of-Experts est géré par un système Multi-Router plutôt que par un routeur unique. Dans les configurations traditionnelles, les erreurs d'un routeur unique peuvent se renforcer car les experts non sélectionnés ne reçoivent aucun signal de gradient. ERNIE 5.5 Flash utilise plusieurs routeurs sigmoïdes indépendants qui évaluent conjointement les experts. Cette approche garantit que les décisions de routage sont moins sensibles au bruit et aux changements de distribution, entraînant une meilleure corrélation entre les experts sélectionnés et leur utilité réelle, en particulier dans les couches plus profondes.

D'autres innovations architecturales incluent les Manifold-Constrained Hyper-Connections, qui remplacent les connexions résiduelles standard par des flux parallèles pour un meilleur flux d'information, et une tête de sortie MultiMax qui utilise une température par morceaux apprenable pour équilibrer les distributions de probabilité. De plus, le modèle utilise ECHO, une méthode qui réutilise la dernière couche du backbone pour prédire les tokens futurs, améliorant les capacités de raisonnement sans ajouter de modules de prédiction séparés.

Détails clés

• Nombre de paramètres : 280 milliards de paramètres au total, dont 14 milliards activés par token.
• Données d'entraînement : Pré-entraîné sur 33,5 billions de tokens, incluant des données web multilingues, du code à l'échelle des dépôts et des données synthétiques à contexte long.
• Fenêtre de contexte : Prend en charge jusqu'à 128K tokens lors du pré-entraînement et jusqu'à 1M tokens pour le fine-tuning et l'inférence.
• Mécanisme d'attention : Utilise une combinaison hybride de Multi-head Latent Attention et de Heavily Compressed Attention pour optimiser l'utilisation du cache KV.
• Optimiseur : Entraîné à l'aide d'une version distribuée de l'optimiseur Muon avec des mises à jour efficaces en communication et un sharding équilibré en mémoire.
• Tokenizer : Dispose d'un tokenizer BPE avec un vocabulaire de 200K qui traite les nombres de droite à gauche par groupes de trois chiffres pour améliorer les performances arithmétiques.

Pourquoi c'est important

Pour les ingénieurs logiciels et les chercheurs en ML, la disponibilité de poids de base de haute qualité réduit la barrière à l'entrée pour la création de modèles spécialisés. Le pré-entraînement d'un modèle de cette ampleur est prohibitif pour la plupart des organisations. En fournissant un point de contrôle ayant déjà absorbé de vastes quantités de code et de connaissances techniques, Baidu permet aux équipes de se concentrer sur le mid-training et l'instruction tuning pour leurs cas d'usage spécifiques, tels que l'analyse de documents juridiques ou des assistants de codage spécialisés.

Les choix architecturaux offrent également des leçons précieuses pour la conception efficace de modèles. L'utilisation de l'attention compressée et des systèmes MoE multi-routeurs démontre comment maintenir une haute performance tout en contrôlant les coûts de mémoire et de calcul. À mesure que les applications agentiques deviennent plus courantes, la capacité de gérer efficacement des contextes longs sans exploser les exigences du cache KV sera critique. Ce modèle fournit une implémentation de référence concrète pour ces techniques.

De plus, l'accent mis sur la qualité du code et les données au niveau des dépôts suggère un changement vers des modèles qui comprennent l'évolution logicielle, et pas seulement la syntaxe statique. L'inclusion d'historiques de commits, de pull requests et de résultats de tests dans les données d'entraînement aide le modèle à saisir l'intention derrière les modifications de code, ce qui est essentiel pour construire des agents IA de codage fiables.

Ce que vous pouvez faire

• Téléchargez les poids d'ERNIE-5.5-Flash-Base pour les utiliser comme point de départ dans vos projets d'adaptation de domaine.
• Expérimentez avec la fenêtre de contexte de 1M tokens du modèle pour la synthèse de documents longs ou les tâches de récupération.
• Étudiez l'implémentation Multi-Router MoE pour améliorer la stabilité du routage dans vos propres modèles sparses.
• Utilisez la stratégie de tokenisation numérique de droite à gauche si vous construisez des modèles pour des applications mathématiques ou financières.
• Exploitez la capacité du module ECHO à générer plusieurs tokens pour un décodage spéculatif plus rapide dans vos pipelines d'inférence.
• Comparez vos méthodes d'entraînement personnalisées à cette base propre pour isoler l'impact de vos données ou objectifs spécifiques.