Hugging Face veröffentlicht LFM3: Eine Multimodale Modellfamilie mit 2 Milliarden Parametern für Edge-Geräte

Hugging Face hat LFM3 veröffentlicht, eine neue Suite von Open-Weight-Foundation-Modellen, die speziell für spezialisierte Intelligenz auf Edge-Geräten entwickelt wurde. Diese im Oktober 2026 angekündigte dritte Generation der Liquid Foundation Models bündelt Text-, Vision-, Audio- und Entscheidungsfähigkeiten in einem gemeinsamen Backbone, der innerhalb des Bereichs von 2 Milliarden Parametern liegt. Die Veröffentlichung richtet sich an Entwickler, die leistungsfähige KI lokal auf Hardware ausführen müssen, die von Smartphones bis zu Raspberry-Pi-Einheiten reicht, ohne auf Cloud-Infrastruktur angewiesen zu sein.

Was passiert ist

Der Kern dieser Veröffentlichung ist LFM3-1.7B-Base, ein Modell, das als Ausgangspunkt für sechs spezialisierte Varianten dient. Im Gegensatz zu früheren Iterationen, die größere Parameteranzahlen erforderten, um wettbewerbsfähige Leistung zu erzielen, übertrifft LFM3-1.7B seinen Vorgänger LFM2.5-2.6B, während es 35 % weniger Parameter verwendet. Dieser Effizienzgewinn ermöglicht es jedem modalitätsspezifischen Modell, klein genug für das Fine-Tuning auf einer einzelnen GPU und die lokale Bereitstellung zu bleiben. Die Familie umfasst dedizierte Modelle für Text, Vision, Audio sowie eine Omni-modal-Variante, zusammen mit zwei entscheidungsorientierten Modellen, die für spezifische Ausgaben kalibriert sind.

Ein wesentlicher Wandel in dieser Generation ist der einheitliche Trainingsansatz. Alle sechs Modelle gehen vom selben Basismodell mit 1,7 Milliarden Parametern aus, das auf 22 Billionen Tokens vortrainiert wurde. Die letzte Stufe des Trainings umfasste 3,5 Billionen kuratierte Tokens mit starkem Fokus auf agentische Spuren und Tool-Aufrufe. Diese Vorbereitung erweitert das Kontextfenster auf 256.000 Tokens und ermöglicht es, komplexe Aufgaben mit langem Horizont vollständig auf dem Gerät auszuführen. Das Ergebnis ist ein Ökosystem, in dem Entwickler ein Modell auswählen können, das ihrem Eingabedatentyp entspricht, es mit proprietären Daten anpassen und es direkt dort bereitstellen können, wo die Anwendung läuft.

Wie es funktioniert

LFM3 erreicht seine Leistung durch eine tri-hybride Architektur, die durch hardware-in-the-loop-Suche über 14 Geräte- und Backend-Kombinationen entdeckt wurde. Das Basismodell besteht aus 24 Schichten, die drei unterschiedliche Mechanismen mischen: 13 gated short convolutions, 5 sliding-window attention layers und 6 global attention layers. Die Konvolutionen verwenden eine Kernelgröße von 7, eine Erhöhung gegenüber 3 in LFM2, um breitere lokale Muster effizient zu erfassen. Sliding-window Attention behandelt den jüngsten Kontext mit einem Fenster von 256 Tokens, während Global Attention langreichweitige Abhängigkeiten verwaltet.

Mehrere technische Innovationen optimieren das Modell weiter für Quantisierung und Geschwindigkeit. Head-wise gated attention nutzt ein Sigmoid-Gate, um die Ausgabe jedes Heads zu skalieren, sodass inaktive Heads abgeschaltet werden können und Aktivierungsausreißer reduziert werden, die oft die Präzision bei niedrigen Bitwerten stören. Partial Rotary Positional Embedding (RoPE) wird nur auf die höchste Frequenzhälfte jedes Heads in Global-Attention-Schichten angewendet, um sicherzustellen, dass das Content-Matching unabhängig von der Entfernung robust bleibt. Zusätzlich skaliert eine Sandwich-Normalisierungstechnik sowohl Eingabe- als auch Ausgabeaktivierungen in jedem Block, um die Stabilität während der Inferenz aufrechtzuerhalten.

Für Nicht-Text-Modalitäten hat Hugging Face neue In-House-Encoder eingeführt. Der Vision-Encoder kombiniert Konvolution und Attention und benötigt 2,2-mal weniger Gleitkommaoperationen als vergleichbare Encoder, während die Genauigkeit erhalten bleibt. Er verarbeitet Video, indem Paare von abgetasteten Frames in einzelne zeitliche Scheiben eingebettet werden, was die Sequenzlänge effektiv halbiert. Der Audio-Encoder ist vollständig kausal, was Prefilling ermöglicht, während der Nutzer spricht, mit einer Time-to-First-Token von nur 50 Millisekunden. Ein neuer Audio-Tokenisierer, LiquidCodec, wandelt generierte Tokens in Sprache um, mit einer Geschwindigkeit von etwa 87-fach Echtzeit auf einem einzelnen CPU-Thread.

Wichtige Details

• LFM3-1.7B-Base enthält 24 Schichten mit einer tri-hybriden Mischung aus Konvolutionen, Sliding-window Attention und Global Attention.
• Das Textmodell passt bei 4-Bit-Präzision in ungefähr 1 GB Speicher, was es für mobile Bereitstellungen geeignet macht.
• Sechs spezialisierte Modelle sind verfügbar: Text, Vision, Audio, Omni und zwei Entscheidungsmodelle (d1-2B und d1-omni-2B).
• Der Vision-Encoder verwendet 3x weniger Rechenleistung als SigLIP2 und erreicht die Genauigkeit des Vision-Encoders von Qwen3.5-2B mit deutlich weniger FLOPs.
• Die Audiobearbeitung unterstützt Streaming-Decoding via LiquidCodec und erreicht 87-fache Echtzeitgeschwindigkeit auf Apple M4 Max CPUs.
• Auf dem WebArena-Verified-Benchmark erzielt LFM3-1.7B einen Score von 38,42, übertrifft damit den Score von 3,02 des LFM2.5-2.6B und schlägt Qwen3.5-9B bei langen Browseraufgaben.

Warum es wichtig ist

Für Software-Ingenieure, die On-Device-KI entwickeln, entfernt LFM3 den traditionellen Zielkonflikt zwischen Modellfähigkeit und Hardwarebeschränkungen. Die Möglichkeit, ein kompetentes multimodales Modell in 1 GB Speicher unterzubringen, bedeutet, dass intelligente Agenten offline operieren können, was die Privatsphäre der Nutzer wahrt und die Latenz eliminiert, die mit Cloud-Round-Trips verbunden ist. Dies ist besonders kritisch für Anwendungen in sensiblen Umgebungen oder Regionen mit unzuverlässiger Konnektivität, wo lokale Verarbeitung nicht nur eine Bequemlichkeit, sondern eine Anforderung ist.

Der Fokus auf agentische Workflows signalisiert auch einen Wandel darin, wie Edge-Modelle bewertet werden. Durch die Optimierung für Tool Calling und Langkontext-Retention ermöglicht LFM3 lokalen Agenten, komplexe Geschäftsanwendungen und Webbrowser autonom zu navigieren. Entwickler müssen nicht mehr separate Modelle für Wahrnehmung und Schlussfolgern zusammennähen; stattdessen können sie einen einzigen Backbone feinabstimmen, um mehrstufige Aufgaben zu bewältigen. Diese Vereinfachung reduziert den Engineering-Overhead und beschleunigt die Bereitstellung spezialisierter KI-Lösungen in ressourcenbeschränkten Umgebungen.

Was Sie tun können

• Installieren Sie die neueste Version der transformers-Bibliothek, um direkt in Ihrer Python-Umgebung auf LFM3-Modelle zuzugreifen.
• Bewerten Sie LFM3-1.7B für lokale Agentenaufgaben, insbesondere solche, die strukturierte Ausgaben oder Tool-Integration erfordern.
• Feinabstimmung des Basismodells auf Ihrem proprietären Dataset unter Verwendung einer einzelnen GPU, um Terminologie und Verhalten an Ihre Domäne anzupassen.
• Testen Sie den Vision-Encoder mit Videoeingaben, um die reduzierte zeitliche Sequenzlänge für schnellere Verarbeitung zu nutzen.
• Experimentieren Sie mit dem kausalen Design des Audio-Encoders, um Echtzeit-Sprachschnittstellen mit minimaler Latenz zu erstellen.
• Überprüfen Sie die Model Cards für jede der sechs Varianten, um festzustellen, welche Eingabe-Ausgabe-Kombination am besten zu Ihrer Anwendungsarchitektur passt.