Baidu lanza ERNIE 5.5 Flash Base, un modelo MoE de pesos abiertos y eficiente

Baidu ha publicado los pesos de preentrenamiento de ERNIE-5.5-Flash-Base, una nueva arquitectura de modelo de lenguaje grande diseñada para la eficiencia y la adaptabilidad. Publicado el 5 de noviembre de 2026, este lanzamiento de pesos abiertos ofrece a los desarrolladores un punto de control fundamental antes de cualquier ajuste por instrucciones o modificaciones mediante aprendizaje por refuerzo.

El modelo cuenta con 280 mil millones de parámetros totales, pero solo activa 14 mil millones por token, aprovechando un diseño disperso Mixture-of-Experts para equilibrar el coste computacional con una alta capacidad. Fue entrenado sobre 33,5 billones de tokens y admite ventanas de contexto de hasta un millón de tokens durante la inferencia, ofreciendo un punto de partida sólido para la adaptación específica del dominio y las aplicaciones agénticas.

Qué ha ocurrido

El lanzamiento se centra en proporcionar una línea base limpia para un mayor desarrollo. A diferencia de muchos modelos comerciales que ocultan su estado inicial de entrenamiento, Baidu ha compartido el punto de control exacto al final del preentrenamiento. Esto permite a investigadores e ingenieros construir sobre capacidades generales sin la influencia de técnicas de alineación posteriores al entrenamiento, que a veces pueden oscurecer las habilidades brutas de razonamiento del modelo o introducir sesgos conductuales específicos.

ERNIE-5.5-Flash-Base fue preentrenado desde cero utilizando el optimizador Muon y precisión mixta FP8. El proceso de entrenamiento extendió gradualmente la ventana de contexto hasta 128.000 tokens, aunque el modelo final admite hasta un millón de tokens para tareas de ajuste fino e inferencia. Los desarrolladores enfatizan que este modelo base está destinado a ahorrar a otros equipos el inmenso coste del preentrenamiento a gran escala, permitiéndoles enfocar recursos en tareas especializadas como la comprensión de código a escala de repositorio o flujos de trabajo complejos de agentes.

El corpus de entrenamiento fue curado para priorizar capacidades difíciles de añadir posteriormente. Esto incluye extensos datos web multilingües, repositorios de código de alta calidad con historiales de commits y resultados de pruebas, y datos sintéticos diseñados para mejorar la recuperación en contextos largos y la respuesta a preguntas multi-hop. Al centrarse en estas áreas durante el preentrenamiento, el modelo establece una base sólida para tareas que requieren una comprensión estructural profunda del software y documentos largos.

Cómo funciona

La arquitectura logra su eficiencia a través de varios mecanismos novedosos, principalmente en cómo maneja la atención y el enrutamiento de expertos. La mayoría de las capas utilizan Heavily Compressed Attention (HCA), que comprime cada 128 tokens en una única entrada caché. Esto permite al modelo mantener una visión de toda la secuencia mientras reduce drásticamente el uso de memoria. Solo una de cada siete capas utiliza Multi-head Latent Attention (MLA) para acceder al detalle completo a nivel de token, e incluso estas capas emplean atención dispersa para mantener constante la computación a medida que crece el contexto.

El enrutamiento en las capas Mixture-of-Experts es gestionado por un sistema Multi-Router en lugar de un único router. En configuraciones tradicionales, los errores de un único router pueden reforzarse porque los expertos no seleccionados no reciben señal de gradiente. ERNIE 5.5 Flash utiliza múltiples routers sigmoid independientes que puntúan los expertos conjuntamente. Este enfoque asegura que las decisiones de enrutamiento sean menos sensibles al ruido y a los cambios de distribución, lo que conduce a una mejor correlación entre los expertos seleccionados y la utilidad real, particularmente en capas más profundas.

Otras innovaciones arquitectónicas incluyen Manifold-Constrained Hyper-Connections, que reemplazan las conexiones residuales estándar con flujos paralelos para un mejor flujo de información, y una cabeza de salida MultiMax que utiliza una temperatura troceable aprendible para equilibrar las distribuciones de probabilidad. Además, el modelo usa ECHO, un método que reutiliza la última capa del backbone para predecir tokens futuros, mejorando las capacidades de razonamiento sin añadir módulos de predicción separados.

Detalles clave

• Recuento de parámetros: 280 mil millones de parámetros totales, con 14 mil millones activados por token.
• Datos de entrenamiento: Preentrenado sobre 33,5 billones de tokens, incluyendo datos web multilingües, código a escala de repositorio y datos sintéticos de contexto largo.
• Ventana de contexto: Admite hasta 128K tokens durante el preentrenamiento y hasta 1M tokens para ajuste fino e inferencia.
• Mecanismo de atención: Utiliza un híbrido de Multi-head Latent Attention y Heavily Compressed Attention para optimizar el uso de la caché KV.
• Optimizador: Entrenado usando una versión distribuida del optimizador Muon con actualizaciones eficientes en comunicación y fragmentación balanceada en memoria.
• Tokenizador: Presenta un tokenizador BPE con vocabulario de 200K que procesa números de derecha a izquierda en grupos de tres dígitos para mejorar el rendimiento aritmético.

Por qué importa

Para ingenieros de software e investigadores de ML, la disponibilidad de pesos base de alta calidad reduce la barrera de entrada para crear modelos especializados. Preentrenar un modelo de esta escala es prohibitivamente costoso para la mayoría de las organizaciones. Al proporcionar un punto de control que ya ha absorbido vastas cantidades de código y conocimiento técnico, Baidu permite a los equipos enfocarse en el entrenamiento intermedio y el ajuste por instrucciones para sus casos de uso específicos, como el análisis de documentos legales o asistentes de codificación especializados.

Las elecciones arquitectónicas también ofrecen valiosas lecciones para el diseño eficiente de modelos. El uso de atención comprimida y sistemas MoE multi-router demuestra cómo mantener alto rendimiento mientras se controlan los costes de memoria y cómputo. A medida que las aplicaciones agénticas se vuelven más comunes, la capacidad de manejar contextos largos eficientemente sin explotar los requisitos de la caché KV será crítica. Este modelo proporciona una implementación de referencia concreta para estas técnicas.

Además, el énfasis en la calidad del código y los datos a nivel de repositorio sugiere un cambio hacia modelos que entienden la evolución del software, no solo la sintaxis estática. Incluir historiales de commits, pull requests y resultados de pruebas en los datos de entrenamiento ayuda al modelo a captar la intención detrás de los cambios de código, lo cual es esencial para construir agentes de codificación por IA fiables.

Qué puedes hacer

• Descarga los pesos de ERNIE-5.5-Flash-Base para usarlos como punto de partida en proyectos de adaptación de dominio.
• Experimenta con la ventana de contexto de 1M tokens del modelo para tareas de resumen o recuperación de documentos largos.
• Estudia la implementación Multi-Router MoE para mejorar la estabilidad del enrutamiento en tus propios modelos dispersos.
• Utiliza la estrategia de tokenización numérica de derecha a izquierda si estás construyendo modelos para aplicaciones matemáticas o financieras.
• Aprovecha la capacidad del módulo ECHO para redactar múltiples tokens para decodificación especulativa más rápida en pipelines de inferencia.
• Compara tus métodos de entrenamiento personalizados contra esta línea base limpia para aislar el impacto de tus datos u objetivos específicos.