Baidu veröffentlicht ERNIE 5.5 Flash Base: ein effizientes Open-Weight-MoE-Modell

Baidu hat die Vortrainings-Gewichte für ERNIE-5.5-Flash-Base veröffentlicht, eine neue Architektur großer Sprachmodelle, die auf Effizienz und Anpassungsfähigkeit ausgelegt ist. Die am 5. November 2026 publizierte Open-Weight-Version stellt Entwicklern einen grundlegenden Checkpoint vor jeglicher Instruction-Tuning- oder Reinforcement-Learning-Anpassungen zur Verfügung.

Das Modell verfügt über insgesamt 280 Milliarden Parameter, aktiviert jedoch nur 14 Milliarden pro Token. Durch den Einsatz eines sparse Mixture-of-Experts-Designs wird ein Gleichgewicht zwischen Rechenkosten und hoher Kapazität erreicht. Es wurde auf 33,5 Billionen Tokens trainiert und unterstützt während der Inferenz Kontextfenster von bis zu einer Million Tokens. Dies bietet einen robusten Ausgangspunkt für domänenspezifische Anpassungen und agentische Anwendungen.

Was passiert ist

Die Veröffentlichung zielt darauf ab, eine saubere Baseline für die weitere Entwicklung bereitzustellen. Im Gegensatz zu vielen kommerziellen Modellen, die ihren initialen Trainingszustand verbergen, hat Baidu den exakten Checkpoint vom Ende des Vortrainings geteilt. Dies ermöglicht es Forschern und Ingenieuren, auf allgemeinen Fähigkeiten aufzubauen, ohne den Einfluss von Post-Training-Alignment-Techniken, die manchmal die rohen Schlussfolgerungsfähigkeiten des Modells verschleiern oder spezifische Verhaltensverzerrungen einführen können.

ERNIE-5.5-Flash-Base wurde von Grund auf mit dem Muon-Optimizer und FP8-Mixed-Precision trainiert. Der Trainingsprozess erweiterte das Kontextfenster schrittweise auf 128.000 Tokens, obwohl das finale Modell bis zu einer Million Tokens für Fine-Tuning- und Inferenzaufgaben unterstützt. Die Entwickler betonen, dass dieses Basismodell anderen Teams die enormen Kosten des großskaligen Vortrainings ersparen soll, damit sie ihre Ressourcen auf spezialisierte Aufgaben wie Codeverständnis im Repository-Maßstab oder komplexe Agent-Workflows konzentrieren können.

Der Trainingskorpus wurde kuratiert, um Fähigkeiten zu priorisieren, die nachträglich schwer hinzuzufügen sind. Dazu gehören umfangreiche mehrsprachige Webdaten, hochwertige Code-Repositories mit Commit-Historien und Testergebnissen sowie synthetische Daten, die darauf abzielen, die Long-Context-Retrieval-Fähigkeit und Multi-Hop-Frage-Antwort-Aufgaben zu verbessern. Durch den Fokus auf diese Bereiche während des Vortrainings legt das Modell eine starke Grundlage für Aufgaben, die ein tiefes strukturelles Verständnis von Software und langen Dokumenten erfordern.

Wie es funktioniert

Die Architektur erreicht ihre Effizienz durch mehrere neuartige Mechanismen, insbesondere in der Handhabung von Attention und Expert-Routing. Die meisten Schichten nutzen Heavily Compressed Attention (HCA), wobei alle 128 Tokens in einem einzelnen Cache-Eintrag komprimiert werden. Dies ermöglicht dem Modell, den gesamten Sequenzverlauf im Blick zu behalten, während der Speicherverbrauch drastisch reduziert wird. Nur jede siebte Schicht verwendet Multi-head Latent Attention (MLA), um volle Token-Level-Detailinformationen abzurufen; selbst diese Schichten setzen sparse Attention ein, um die Berechnungskosten konstant zu halten, wenn der Kontext wächst.

Das Routing in den Mixture-of-Experts-Schichten wird durch ein Multi-Router-System statt eines einzelnen Routers gehandhabt. In traditionellen Setups können sich Fehler eines einzelnen Routers verstärken, da nicht ausgewählte Experten kein Gradientensignal erhalten. ERNIE 5.5 Flash nutzt mehrere unabhängige Sigmoid-Router, die Experten gemeinsam bewerten. Dieser Ansatz stellt sicher, dass Routing-Entscheidungen weniger empfindlich auf Rauschen und Verteilungsverschiebungen reagieren, was zu einer besseren Korrelation zwischen ausgewählten Experten und deren tatsächlicher Nützlichkeit führt, besonders in tieferen Schichten.

Weitere architektonische Innovationen umfassen Manifold-Constrained Hyper-Connections, die Standard-Residual-Verbindungen durch parallele Ströme für einen besseren Informationsfluss ersetzen, sowie einen MultiMax-Ausgangskopf, der eine lernbare stückweise Temperatur verwendet, um Wahrscheinlichkeitsverteilungen auszubalancieren. Zusätzlich nutzt das Modell ECHO, eine Methode, bei der die letzte Schicht des Backbone-Netzwerks wiederverwendet wird, um zukünftige Tokens vorherzusagen. Dies verbessert die Schlussfolgerungsfähigkeiten, ohne separate Vorhersagemodule hinzufügen zu müssen.

Wichtige Details

• Parameteranzahl: 280 Milliarden Gesamtparameter, mit 14 Milliarden aktivierten Parametern pro Token.
• Trainingsdaten: Vorgetrainiert auf 33,5 Billionen Tokens, einschließlich mehrsprachiger Webdaten, Code im Repository-Maßstab und synthetischer Daten für lange Kontexte.
• Kontextfenster: Unterstützt bis zu 128K Tokens während des Vortrainings und bis zu 1M Tokens für Fine-Tuning und Inferenz.
• Attention-Mechanismus: Nutzt eine Hybridlösung aus Multi-head Latent Attention und Heavily Compressed Attention, um die KV-Cache-Nutzung zu optimieren.
• Optimizer: Trainiert mit einer verteilten Version des Muon-Optimizers, gekennzeichnet durch kommunikationseffiziente Updates und speicherbalanciertes Sharding.
• Tokenizer: Verfügt über einen BPE-Tokenizer mit einem Vokabular von 200K, der Zahlen von rechts nach links in Dreiergruppen verarbeitet, um die arithmetische Leistung zu verbessern.

Warum es wichtig ist

Für Softwareingenieure und ML-Forscher senkt die Verfügbarkeit hochwertiger Basisgewichte die Einstiegshürde für die Erstellung spezialisierter Modelle. Das Vortraining eines Modells dieser Größenordnung ist für die meisten Organisationen prohibitiv teuer. Indem Baidu einen Checkpoint bereitstellt, der bereits enorme Mengen an Code und technischem Wissen absorbiert hat, ermöglicht es Teams, sich auf Mid-Training und Instruction-Tuning für ihre spezifischen Anwendungsfälle zu konzentrieren, wie etwa die Analyse juristischer Dokumente oder spezialisierte Coding-Assistenten.

Die architektonischen Entscheidungen bieten zudem wertvolle Erkenntnisse für ein effizientes Modell-Design. Der Einsatz von komprimierter Attention und Multi-Router-MoE-Systemen demonstriert, wie man hohe Leistung beibehält, während Speicher- und Rechenkosten kontrolliert werden. Da agentische Anwendungen immer verbreiteter werden, ist die Fähigkeit, lange Kontexte effizient zu verarbeiten, ohne die KV-Cache-Anforderungen explodieren zu lassen, entscheidend. Dieses Modell liefert eine konkrete Referenzimplementierung für diese Techniken.

Darüber hinaus deutet der Schwerpunkt auf Code-Qualität und daten auf Repository-Ebene auf einen Wandel hin zu Modellen, die die Evolution von Software verstehen, nicht nur statische Syntax. Die Einbeziehung von Commit-Historien, Pull Requests und Testergebnissen in die Trainingsdaten hilft dem Modell, die Absicht hinter Codeänderungen zu erfassen, was für den Aufbau zuverlässiger KI-Coding-Agenten unerlässlich ist.

Was Sie tun können

• Laden Sie die ERNIE-5.5-Flash-Base-Gewichte herunter, um sie als Ausgangspunkt für Domänenanpassungsprojekte zu nutzen.
• Experimentieren Sie mit dem 1M-Token-Kontextfenster des Modells für die Zusammenfassung oder Abrufaufgabe langer Dokumente.
• Untersuchen Sie die Multi-Router-MoE-Implementierung, um die Routing-Stabilität in Ihren eigenen sparse Modellen zu verbessern.
• Nutzen Sie die Strategie der Rechts-nach-links-Zahlen-Tokenisierung, wenn Sie Modelle für mathematische oder finanzielle Anwendungen entwickeln.
• Machen Sie sich die Fähigkeit des ECHO-Moduls zunutze, mehrere Tokens zu entwerfen, um schnelleres Speculative Decoding in Inferenz-Pipelines zu ermöglichen.
• Vergleichen Sie Ihre benutzerdefinierten Trainingsmethoden mit dieser sauberen Baseline, um die Auswirkung Ihrer spezifischen Daten oder Ziele zu isolieren.