Hugging Face lance LFM3, une famille de modèles multimodaux de 2 milliards de paramètres pour les appareils en périphérie

Hugging Face a publié LFM3, une nouvelle suite de modèles fondamentaux à poids ouverts conçus spécifiquement pour une intelligence spécialisée sur les appareils en périphérie. Annoncée fin octobre 2026, cette troisième génération des Liquid Foundation Models (LFM) regroupe les capacités de texte, de vision, d'audio et de prise de décision dans un noyau commun tenant dans la fourchette des 2 milliards de paramètres. Cette sortie vise les développeurs qui ont besoin d'exécuter localement une IA performante sur du matériel allant des smartphones aux unités Raspberry Pi, sans dépendre d'une infrastructure cloud.

Ce qui s'est passé

Le cœur de cette sortie est LFM3-1.7B-Base, un modèle servant de point de départ à six variantes spécialisées. Contrairement aux itérations précédentes qui nécessitaient un nombre plus élevé de paramètres pour atteindre des performances compétitives, LFM3-1.7B surpasse son prédécesseur, LFM2.5-2.6B, tout en utilisant 35 % moins de paramètres. Ce gain d'efficacité permet à chaque modèle spécifique à une modalité de rester suffisamment petit pour être affiné sur un seul GPU et déployé localement. La famille comprend des modèles dédiés au texte, à la vision, à l'audio et une variante omni-modale, ainsi que deux modèles axés sur la décision, calibrés pour des sorties spécifiques.

Un changement majeur dans cette génération réside dans l'approche d'entraînement unifiée. Les six modèles découlent de la même base de 1,7 milliard de paramètres, pré-entraînée sur 22 billions de tokens. La dernière étape de l'entraînement a impliqué 3,5 billions de tokens sélectionnés avec soin, mettant fortement l'accent sur les traces agentiques et les appels d'outils. Cette préparation étend la fenêtre de contexte à 256 000 tokens, permettant l'exécution entièrement sur l'appareil de tâches complexes à long terme. Le résultat est un écosystème où les développeurs peuvent choisir un modèle correspondant à leur type de données d'entrée, le personnaliser avec leurs propres données propriétaires et le déployer directement là où l'application s'exécute.

Comment cela fonctionne

LFM3 atteint ses performances grâce à une architecture tri-hybride découverte via une recherche en boucle fermée avec le matériel sur 14 combinaisons d'appareils et de backends. Le modèle de base se compose de 24 couches mélangeant trois mécanismes distincts : 13 convolutions courtes à porte (gated short convolutions), 5 couches d'attention à fenêtre glissante et 6 couches d'attention globale. Les convolutions utilisent une taille de noyau de 7, contre 3 dans LFM2, pour capturer efficacement des motifs locaux plus larges. L'attention à fenêtre glissante gère le contexte récent avec une fenêtre de 256 tokens, tandis que l'attention globale gère les dépendances à longue distance.

Plusieurs innovations techniques optimisent davantage le modèle pour la quantification et la vitesse. L'attention à porte par tête (head-wise gated attention) utilise une porte sigmoïde pour mettre à l'échelle la sortie de chaque tête, permettant aux têtes inactives de se désactiver et réduisant les valeurs aberrantes d'activation qui perturbent souvent la précision basse-bit. L'incorporation partielle de position rotative (RoPE) n'est appliquée qu'à la moitié de fréquence la plus élevée de chaque tête dans les couches d'attention globale, garantissant que la correspondance de contenu reste robuste quelle que soit la distance. De plus, une technique de normalisation sandwich met à l'échelle les activations d'entrée et de sortie dans chaque bloc pour maintenir la stabilité lors de l'inférence.

Pour les modalités non textuelles, Hugging Face a introduit de nouveaux encodeurs développés en interne. L'encodeur de vision combine convolution et attention, nécessitant 2,2 fois moins d'opérations en virgule flottante que les encodeurs comparables tout en maintenant la précision. Il traite la vidéo en intégrant des paires d'images échantillonnées dans des tranches temporelles uniques, divisant ainsi par deux la longueur de la séquence. L'encodeur audio est entièrement causal, permettant le préremplissage pendant que l'utilisateur parle, avec un temps jusqu'au premier token aussi bas que 50 millisecondes. Un nouveau tokenizer audio, LiquidCodec, convertit les tokens générés en parole à environ 87 fois la vitesse temps réel sur un seul thread CPU.

Détails clés

• LFM3-1.7B-Base contient 24 couches avec un mélange tri-hybride de convolutions, d'attention à fenêtre glissante et d'attention globale.
• Le modèle texte tient dans environ 1 Go de mémoire en précision 4 bits, ce qui le rend viable pour le déploiement mobile.
• Six modèles spécialisés sont disponibles : texte, vision, audio, omni et deux modèles de décision (d1-2B et d1-omni-2B).
• L'encodeur de vision utilise 3x moins de calcul que SigLIP2 et égale la précision de l'encodeur de vision de Qwen3.5-2B avec significativement moins de FLOPs.
• Le traitement audio prend en charge le décodage en flux continu via LiquidCodec, atteignant une vitesse de 87x temps réel sur les CPU Apple M4 Max.
• Sur le benchmark WebArena-Verified, LFM3-1.7B obtient un score de 38,42, surpassant le score de 3,02 de LFM2.5-2.6B et battant Qwen3.5-9B sur les longues tâches de navigateur.

Pourquoi c'est important

Pour les ingénieurs logiciels développant des IA sur l'appareil, LFM3 supprime le compromis traditionnel entre la capacité du modèle et les contraintes matérielles. La possibilité de faire tenir un modèle multimodal compétent dans 1 Go de mémoire signifie que les agents intelligents peuvent fonctionner hors ligne, préservant la vie privée des utilisateurs et éliminant la latence associée aux allers-retours cloud. Cela est particulièrement critique pour les applications dans des environnements sensibles ou des régions à connectivité peu fiable, où le traitement local n'est pas seulement une commodité mais une exigence.

L'accent mis sur les workflows agentiques signale également un changement dans la manière dont les modèles en périphérie sont évalués. En optimisant pour les appels d'outils et la rétention de contexte long, LFM3 permet aux agents locaux de naviguer de manière autonome dans des applications métier complexes et des navigateurs web. Les développeurs n'ont plus besoin d'assembler séparément des modèles pour la perception et le raisonnement ; ils peuvent plutôt affiner un seul noyau pour gérer des tâches multi-étapes. Cette simplification réduit la charge d'ingénierie et accélère le déploiement de solutions IA spécialisées dans des environnements à ressources limitées.

Ce que vous pouvez faire

• Installez la dernière version de la bibliothèque transformers pour accéder directement aux modèles LFM3 dans votre environnement Python.
• Évaluez LFM3-1.7B pour les tâches d'agent local, en particulier celles nécessitant des sorties structurées ou une intégration d'outils.
• Affinez le modèle de base sur votre jeu de données propriétaire en utilisant un seul GPU pour adapter la terminologie et le comportement à votre domaine.
• Testez l'encodeur de vision avec des entrées vidéo pour tirer parti de la réduction de la longueur de séquence temporelle pour un traitement plus rapide.
• Expérimentez avec la conception causale de l'encodeur audio pour créer des interfaces vocales en temps réel avec une latence minimale.
• Consultez les fiches modèles (model cards) pour chacune des six variantes afin de déterminer quelle combinaison entrée-sortie convient le mieux à l'architecture de votre application.