Meta veröffentlicht Muse Spark Open, ein multimodales MoE-Modell mit 816 Milliarden Parametern

Meta hat offiziell Muse Spark Open veröffentlicht, ein Frontier-Scale-Open-Weight-Modell, das für komplexe multimodale Aufgaben konzipiert ist. Veröffentlicht am 15. Oktober 2026, repräsentiert diese Mixture-of-Experts-Architektur das bislang leistungsfähigste US-amerikanische Open-Weights-Modell und richtet sich an Entwickler, die fortgeschrittenes Reasoning über Code, Medien und lange Kontexte hinweg benötigen.

Was passiert ist

Muse Spark Open erscheint als das vollwertige Gegenstück zu Muse Glimmer, das Meta im August 2026 veröffentlichte. Während Glimmer ein kleineres dichtes Modell ist, das sich für die lokale Ausführung eignet, skaliert Spark Open erheblich hoch, um Workloads auf Enterprise-Niveau zu bewältigen. Das Modell verfügt über insgesamt etwa 816 Milliarden Parameter, aktiviert jedoch während der Inferenz nur rund 42 Milliarden Parameter pro Token. Dieses Design ermöglicht es, eine hohe Leistung beizubehalten, während die Rechenkosten effektiver verwaltet werden als bei herkömmlichen dichten Modellen ähnlicher Größe.

Der Hauptfokus dieser Veröffentlichung liegt auf dem agentischen Coding. Meta trainierte das Modell auf realen Entwickler-Workflows, einschließlich Multi-File-Refactorings, langen Debugging-Sitzungen und Tool-Nutzung. Im Gegensatz zu früheren Iterationen integriert Muse Spark Open Text, Bilder, Audio und Video in eine einzige Schnittstelle. Dies bedeutet, dass Entwickler dem Modell Screenshots, Sprachnotizen oder Bildschirmaufnahmen zusammen mit ihrer Codebasis zufüttern können, sodass die KI bei ausgedehnten Aufgaben planen, handeln, beobachten und sich selbst korrigieren kann. Es unterstützt zudem Web-Browsing mit Bildeingaben und erweitert damit seinen Nutzen über die statische Code-Analyse hinaus.

Wie es funktioniert

Die Kerninnovation von Muse Spark Open ist seine Mixture-of-Experts (MoE)-Architektur. Das Sprachmodell besteht aus 62 Schichten, wobei jede Schicht eine versteckte Dimension von 8192 besitzt. Anstatt eines einzelnen dichten Feed-Forward-Netzwerks in jeder Schicht verwendet das Modell einen MoE-Block mit 256 verschiedenen Experten. Ein Router-Mechanismus wählt für jedes verarbeitete Token nur acht dieser Experten aus. Jeder Experte ist ein Feed-Forward-Netzwerk, das Daten von 8192 auf 4096 Dimensionen projiziert und zurück, unter Anwendung seiner eigenen Normalisierung. Obwohl alle 256 Experten im Speicher bleiben müssen, was den Speicherplatzbedarf eines Modells mit 816 Milliarden Parametern erfordert, entspricht die Rechenlast pro Token der eines Modells mit 42 Milliarden Parametern. Diese Struktur enthält etwa 97 % der gesamten Modellparameter.

Um Nicht-Text-Eingaben zu verarbeiten, nutzt das Modell spezialisierte Encoder. Der Wahrnehmungs-Encoder mit 1,8 Milliarden Parametern verarbeitet Bilder und Videoframes, indem er sie in 14x14-Patches aufteilt. Er verwendet sparse Attention in den meisten Schichten, wobei volle Attention in jeder vierten Schicht und in der letzten Schicht angewendet wird. Für Audio wandelt ein separater Tokenizer Klang in Tokens mit einer Rate von einem Token alle 80 Millisekunden um, also 12,5 Tokens pro Sekunde. Diese Audio-Tokens werden im Chat-Template markiert und in einen Faltungs-Pyramiden-Encoder eingespeist, der zeitliche Frames durch verschiedene Patch-Größen verarbeitet.

Das Modell unterstützt ein Kontextfenster von bis zu einer Million Tokens, welches Text-, Bild-, Video- und Audio-Tokens kombiniert umfasst. Um den massiven Key-Value-Cache zu verwalten, der für einen so langen Kontext erforderlich ist, nutzt Muse Spark Open Grouped-Query-Attention mit 128 Query-Heads und 16 Key-Value-Heads. In BF16-Präzision verbraucht der Cache ungefähr 250 KB pro Token, was insgesamt etwa 266 GB für einen vollständigen Millionen-Token-Kontext ergibt. Das Modell ist in zwei Checkpoint-Formaten verfügbar: BF16, das vier Nodes mit jeweils acht H200-GPUs unter Verwendung von Tensor Parallelism erfordert, und NVFP4, ein 4-Bit-Präzisionsformat, das für NVIDIA Blackwell GPUs optimiert ist und auf einem einzelnen B200-Node laufen kann.

Wichtige Details

• Modellgröße: Ungefähr 816 Milliarden Gesamtparameter mit 42 Milliarden aktiven Parametern pro Token.
• Architektur: 62-schichtiges Mixture-of-Experts mit 256 Experten pro Schicht, Auswahl von 8 Experten pro Token.
• Kontextfenster: Unterstützt bis zu 1.048.576 Tokens, einschließlich Text, Bildern, Audio und Video.
• Eingabemodalitäten: Akzeptiert Text, Bilder, Audio (12,5 Tokens/Sekunde) und Video über spezialisierte Encoder.
• Checkpoint-Formate: Verfügbar in BF16 (ca. 1,5 TB) und NVFP4 für NVIDIA Blackwell GPUs.
• Inferenz-Anforderungen: BF16 erfordert 32-way Tensor Parallelism über H200 GPUs; NVFP4 läuft auf einem einzelnen B200-Node.

Warum es wichtig ist

Für Software-Ingenieure und technische Leads bietet Muse Spark Open eine einheitliche Schnittstelle für multimodale Entwicklungsaufgaben. Die Fähigkeit, Screenshots und Bildschirmaufnahmen neben Code zu verarbeiten, ermöglicht intuitiveres Debugging und Dokumentationsgenerierung. Durch das spezifische Training auf agentische Workflows hat Meta ein Modell geschaffen, das autonom komplexe Codebasen navigieren kann, wodurch der manuelle Aufwand für großskalige Refactorings reduziert wird. Die Open-Weight-Natur der Veröffentlichung bedeutet zudem, dass Organisationen das Modell auf proprietären Codebasen feinabstimmen können, ohne auf geschlossene API-Dienste angewiesen zu sein, was Datensicherheit und Anpassbarkeit erhöht.

Allerdings stellen die Infrastruktur-Anforderungen eine erhebliche Einstiegshürde dar. Das Ausführen des BF16-Checkpoints erfordert substantial GPU-Ressourcen, insbesondere mehrere Nodes mit H200 GPUs. Selbst die optimierte NVFP4-Version benötigt Zugang zur Hardware der nächsten Generation, Blackwell. Dies schränkt die sofortige Adoption auf gut finanzierte Unternehmen oder Forschungsinstitutionen mit Zugang zu modernsten Compute-Clustern ein. Entwickler müssen ihre Hardware-Fähigkeiten sorgfältig bewerten, bevor sie versuchen, dieses Modell bereitzustellen oder feinabzustimmen, da die Speicher- und Verarbeitungsanforderungen weit über typische lokale Entwicklungsumgebungen hinausgehen.

Was Sie tun können

• Laden Sie die Checkpoints Muse-Spark-Open-816B-A42B oder NVFP4 aus dem offiziellen Repository herunter.
• Verwenden Sie die bereitgestellten Rezepte für llama.cpp, vLLM oder SGLang, um Inferenz-Umgebungen einzurichten.
• Konfigurieren Sie den MuseSparkProcessor, um multimodale Eingaben einschließlich Bildern, Audio und Video zu verarbeiten.
• Experimentieren Sie mit dem 1M-Token-Kontextfenster für die Zusammenfassung langer Dokumente oder extensive Codebase-Analysen.
• Feinabstimmung des Modells auf spezifische Coding-Aufgaben unter Verwendung der verteilten Konfigurationseinstellungen für Tensor- und Expert-Parallelismus.
• Evaluieren Sie den NVFP4-Checkpoint, wenn Sie Zugang zu NVIDIA Blackwell GPUs haben, um die Hardware-Anforderungen zu reduzieren.