IA ouverte et locale

Inkling 2 Mini apporte l'architecture de transformateur en boucle au matériel local

Thinking Machines Lab publie Inkling 2 Mini, un modèle multimodal à mélange d'experts conçu pour les configurations locales avec une architecture de couches en boucle unique.

Un cube en verre avec des couches internes en boucle représentant l'architecture d'Inkling 2 Mini.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Thinking Machines Lab a publié Inkling 2 Mini, un nouveau modèle multimodal à mélange d'experts optimisé pour le déploiement local. Publié le 20 novembre 2026, ce modèle introduit une architecture de transformateur en boucle qui équilibre l'efficacité des paramètres et la haute performance, ciblant les développeurs ayant besoin d'une IA capable sans infrastructure à l'échelle des centres de données.

Ce qui s'est passé

Inkling 2 Mini marque une rupture significative par rapport aux modèles denses standards ou aux modèles épars traditionnels. Il dispose d'environ 26 milliards de paramètres physiques mais n'en active que 3 milliards par token. Le modèle atteint cette efficacité grâce à une astuce structurelle novatrice : il passe trois fois en boucle à travers ses couches intermédiaires. Cette conception permet au modèle de se comporter comme s'il possédait 48 couches logiques tout en n'en stockant physiquement que 24. Le résultat est un système qui maintient une grande capacité et une profondeur de raisonnement élevée tout en conservant une empreinte mémoire suffisamment petite pour les machines locales.

La version publiée prend en charge les entrées textuelles et visuelles, avec une fenêtre de contexte allant jusqu'à 1 million de tokens. Thinking Machines Lab fournit le modèle dans des formats de précision mixte, utilisant spécifiquement NVFP4 et MXFP8 pour les poids des experts, ce qui aide à réduire davantage les exigences de stockage et de mémoire. Un brouilleur DSpark est également inclus pour permettre le décodage spéculatif, offrant des améliorations de vitesse supplémentaires à un coût mémoire minimal. Le modèle est positionné comme un concurrent direct des autres modèles locaux de taille moyenne, les premiers tests suggérant des performances comparables à celles de Qwen 3.8 27B.

Comment cela fonctionne

L'innovation centrale d'Inkling 2 Mini réside dans son chemin d'exécution en boucle. Le modèle se compose de 24 couches de décodeur, mais le flux de traitement n'est pas linéaire. Les couches 0–5 et 18–23 sont visitées une seule fois, tandis que le bloc intermédiaire, les couches 6–17, est exécuté trois fois en boucle. Crucialement, ces trois passes réutilisent les mêmes poids. Pour empêcher le modèle de simplement se répéter, il utilise des messages inter-passes. Chaque pass lit les informations provenant des sorties de la pass précédente via des requêtes apprises pour les entrées clé, valeur et MLP. Un contrôleur de porte décide ensuite quelle quantité de la nouvelle entrée conserver et quelle quantité du message précédent intégrer, permettant à chaque boucle d'affiner le calcul.

Cette architecture est soutenue par un mécanisme de mélange d'experts. À chaque visite de couche, le routeur sélectionne 8 experts parmi un pool de 128. La taille cachée est de 2 304, avec une largeur d'expert intermédiaire de 1 152. Le mécanisme d'attention utilise 24 têtes de requête et huit têtes KV, intégrant des logits de position relative appris et des convolutions dynamiques pour les couches d'attention complète. Cette combinaison de partage de poids, d'affinage itératif et de sélection sparse d'experts permet au modèle de surperformer sa catégorie en termes de profondeur logique et de nombre de paramètres.

Détails clés

  • Architecture : Transformateur en boucle avec 24 couches physiques agissant comme 48 couches logiques grâce à une triple boucle des 12 couches intermédiaires.
  • Paramètres : ~26 milliards de paramètres physiques totaux, avec 3 milliards de paramètres actifs par token.
  • Fenêtre de contexte : Prend en charge jusqu'à 1 million de tokens pour les entrées textuelles et visuelles.
  • Précision : Livré en format de précision mixte avec des poids d'experts NVFP4 et MXFP8.
  • Performance : Mène dans 32 des 48 benchmarks de l'Artificial Analysis Intelligence Index v5, y compris les tâches de codage et de vision.
  • Support d'inférence : Disponible via Transformers, Llama App (llama.cpp), MLX et SGLang avec un support dès le jour de la sortie.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, Inkling 2 Mini représente un tournant vers une IA locale plus efficace. La capacité d'exécuter un modèle avec la profondeur logique d'un système à 48 couches sur un matériel ne pouvant stocker que 24 couches réduit la barrière à l'entrée pour les applications IA sophistiquées. Cela est particulièrement pertinent pour les assistants de codage, les workflows agentiques et les outils basés sur la vision qui nécessitent de longues fenêtres de contexte mais doivent fonctionner dans des contraintes mémoire strictes. L'inclusion de poids en précision mixte et du support du décodage spéculatif signifie que les développeurs peuvent atteindre un débit plus élevé sans avoir besoin de clusters GPU coûteux.

Les performances du modèle dans des benchmarks tels que FrontierCode v2.0 et Terminal-Bench 4.0 suggèrent qu'il est bien adapté aux environnements de développement. En menant dans de nombreuses catégories face à des modèles plus grands comme Gemma 4 31B et Nemotron 3.5 Super VL, Inkling 2 Mini offre une alternative convaincante pour les équipes cherchant à déployer une IA capable localement. La disponibilité d'une variante de recherche avec des passes de boucle variables ouvre également la voie à l'expérimentation, permettant aux utilisateurs de faire des compromis entre vitesse et qualité selon leur cas d'utilisation spécifique.

Ce que vous pouvez faire

  • Tester le modèle localement : Utilisez Llama App ou llama.cpp avec les quantifications GGUF fournies (IQ4_NL ou Q8_0) pour exécuter Inkling 2 Mini sur macOS ou Windows.
  • Intégrer avec Python : Utilisez la bibliothèque transformers et la classe AutoModelForMultimodalLM pour charger le modèle et traiter les entrées textuelles ou visuelles.
  • Expérimenter avec les passes de boucle : Essayez le checkpoint TML-d24-varloop-research pour ajuster le nombre de passes de boucle et observer l'impact sur la vitesse et la qualité de sortie.
  • Déployer avec SGLang : Configurez un serveur prêt pour la production en utilisant SGLang, en veillant à l'exécuter sur du matériel SM103 pour des performances optimales.
  • Activer le décodage spéculatif : Ajoutez le brouilleur DSpark à votre configuration SGLang pour accélérer la génération, surtout pour les tâches à long contexte.
  • Utiliser MLX pour Apple Silicon : Profitez du support MLX intégré en amont pour exécuter le modèle nativement sur le matériel Apple avec la quantification NVFP4 et MXFP8.
  • #ai
  • #local-llm
  • #transformers
  • #machine-learning

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles