Meta lanza Muse Spark Open, un modelo multimodal MoE de 816 mil millones de parámetros

Meta ha lanzado oficialmente Muse Spark Open, un modelo de pesos abiertos a escala frontera diseñado para tareas multimodales complejas. Publicado el 15 de octubre de 2026, esta arquitectura de mezcla de expertos representa el modelo de pesos abiertos más capaz desarrollado en EE. UU. hasta la fecha, dirigido a desarrolladores que necesitan razonamiento avanzado sobre código, medios y contextos largos.

Qué ocurrió

Muse Spark Open llega como la versión completa de Muse Glimmer, que Meta lanzó en agosto de 2026. Mientras que Glimmer es un modelo denso más pequeño adecuado para ejecución local, Spark Open escala significativamente para manejar cargas de trabajo de nivel empresarial. El modelo cuenta con aproximadamente 816 mil millones de parámetros totales, pero solo activa alrededor de 42 mil millones de parámetros por token durante la inferencia. Este diseño le permite mantener un alto rendimiento mientras gestiona los costos computacionales de manera más efectiva que los modelos densos tradicionales de tamaño similar.

El enfoque principal de este lanzamiento es la programación agéntica. Meta entrenó el modelo con flujos de trabajo reales de desarrolladores, incluyendo refactorizaciones multiarchivo, sesiones largas de depuración y uso de herramientas. A diferencia de iteraciones anteriores, Muse Spark Open integra texto, imágenes, audio y vídeo en una única interfaz. Esto significa que los desarrolladores pueden alimentar al modelo con capturas de pantalla, notas de voz o grabaciones de pantalla junto con su base de código, permitiendo que la IA planifique, actúe, observe y se autocorrija en tareas extendidas. También admite navegación web con entradas de imagen, ampliando su utilidad más allá del análisis estático de código.

Cómo funciona

La innovación central de Muse Spark Open es su arquitectura de Mezcla de Expertos (MoE). El modelo de lenguaje consta de 62 capas, cada una con una dimensión oculta de 8192. En lugar de usar una única red feed-forward densa en cada capa, el modelo emplea un bloque MoE con 256 expertos distintos. Un mecanismo de enrutador selecciona solo ocho de estos expertos para cada token procesado. Cada experto es una red feed-forward que proyecta datos desde 8192 a 4096 dimensiones y viceversa, aplicando su propia normalización. Aunque todos los 256 expertos deben permanecer en memoria, lo que requiere la huella de almacenamiento de un modelo de 816 mil millones de parámetros, la carga computacional por token equivale a la de un modelo de 42 mil millones de parámetros. Esta estructura contiene aproximadamente el 97% de los parámetros totales del modelo.

Para manejar entradas no textuales, el modelo utiliza codificadores especializados. El codificador de percepción, con 1.8 mil millones de parámetros, procesa imágenes y fotogramas de vídeo dividiéndolos en parches de 14x14. Utiliza atención dispersa en la mayoría de las capas, con atención completa aplicada cada cuarta capa y en la capa final. Para el audio, un tokenizador separado convierte el sonido en tokens a una tasa de uno cada 80 milisegundos, o 12.5 tokens por segundo. Estos tokens de audio se marcan en la plantilla de chat y se alimentan a un codificador piramidal convolucional que procesa fotogramas temporales a través de varios tamaños de parche.

El modelo admite una ventana de contexto de hasta un millón de tokens, que incluye combinados tokens de texto, imagen, vídeo y audio. Para gestionar la enorme caché clave-valor requerida para un contexto tan largo, Muse Spark Open utiliza atención de consulta agrupada con 128 cabezales de consulta y 16 cabezales de clave-valor. En precisión BF16, la caché consume aproximadamente 250 KB por token, totalizando unos 266 GB para un contexto completo de un millón de tokens. El modelo está disponible en dos formatos de checkpoint: BF16, que requiere cuatro nodos de ocho GPUs H200 con paralelismo de tensores, y NVFP4, un formato de precisión de 4 bits optimizado para GPUs NVIDIA Blackwell que puede ejecutarse en un único nodo B200.

Detalles clave

• Escala del Modelo: Aproximadamente 816 mil millones de parámetros totales con 42 mil millones de parámetros activos por token.
• Arquitectura: Mixture-of-Experts de 62 capas con 256 expertos por capa, seleccionando 8 expertos por token.
• Ventana de Contexto: Admite hasta 1,048,576 tokens, abarcando texto, imágenes, audio y vídeo.
• Modalidades de Entrada: Acepta texto, imágenes, audio (12.5 tokens/segundo) y vídeo mediante codificadores especializados.
• Formatos de Checkpoint: Disponible en BF16 (aprox. 1.5 TB) y NVFP4 para GPUs NVIDIA Blackwell.
• Requisitos de Inferencia: BF16 requiere paralelismo de tensores de 32 vías entre GPUs H200; NVFP4 se ejecuta en un único nodo B200.

Por qué importa

Para ingenieros de software y líderes técnicos, Muse Spark Open ofrece una interfaz unificada para tareas de desarrollo multimodal. La capacidad de procesar capturas de pantalla y grabaciones de pantalla junto con el código permite una depuración y generación de documentación más intuitivas. Al entrenarse específicamente en flujos de trabajo agénticos, Meta ha creado un modelo que puede navegar autónomamente bases de código complejas, reduciendo el esfuerzo manual requerido para refactorizaciones a gran escala. La naturaleza de pesos abiertos del lanzamiento también significa que las organizaciones pueden ajustar finamente el modelo en bases de código propietarias sin depender de servicios API cerrados, mejorando la seguridad de los datos y la personalización.

Sin embargo, los requisitos de infraestructura presentan una barrera significativa de entrada. Ejecutar el checkpoint BF16 demanda recursos sustanciales de GPU, específicamente múltiples nodos de GPUs H200. Incluso la versión optimizada NVFP4 requiere acceso a hardware Blackwell de próxima generación. Esto limita la adopción inmediata a empresas bien financiadas o instituciones de investigación con acceso a clústeres de cómputo de vanguardia. Los desarrolladores deben evaluar cuidadosamente sus capacidades de hardware antes de intentar desplegar o ajustar finamente este modelo, ya que las demandas de memoria y procesamiento están muy por encima de los entornos típicos de desarrollo local.

Qué puedes hacer

• Descarga los checkpoints Muse-Spark-Open-816B-A42B o NVFP4 desde el repositorio oficial.
• Usa las recetas proporcionadas de llama.cpp, vLLM o SGLang para configurar entornos de inferencia.
• Configura el MuseSparkProcessor para manejar entradas multimodales incluyendo imágenes, audio y vídeo.
• Experimenta con la ventana de contexto de 1M de tokens para resumir documentos largos o analizar bases de código extensas.
• Ajusta finamente el modelo en tareas de codificación específicas utilizando la configuración distribuida para paralelismo de tensores y expertos.
• Evalúa el checkpoint NVFP4 si tienes acceso a GPUs NVIDIA Blackwell para reducir los requisitos de hardware.