Edge0-145B apporte une IA de 145 milliards de paramètres aux ordinateurs portables locaux
Le nouveau modèle open-source Edge0-145B fonctionne sur du matériel personnel avec une mémoire pic de 29 Go, permettant des tâches complexes de codage et de raisonnement sans dépendance au cloud.
Traduit automatiquement depuis l'original anglais.
La sortie d'Edge0-145B marque un tournant significatif dans les capacités locales de l'intelligence artificielle en rendant exécutable sur des ordinateurs portables personnels un modèle de 145 milliards de paramètres. Publiée le 12 novembre 2026, cette initiative open-source inclut les poids du modèle, un framework d'inférence unifié et des outils de déploiement conçus pour éliminer le compromis traditionnel entre la taille du modèle et les performances sur appareil. Cette évolution permet aux développeurs d'exécuter localement des flux de travail complexes de codage, de raisonnement et basés sur des agents, contournant ainsi la nécessité d'une connectivité cloud continue ou de frais d'API élevés.
Ce qui s'est passé
Pendant des années, faire tourner de grands modèles de langage sur du matériel personnel imposait de sacrifier soit les capacités du modèle, soit les ressources système. Les modèles plus petits peinaient souvent sur les tâches logiques complexes, tandis que les modèles plus grands exigeaient une infrastructure de niveau serveur en raison d'exigences immenses en mémoire et en bande passante. La sortie d'Edge0-145B remet en cause ce statu quo en démontrant qu'un modèle de 145 milliards de paramètres peut fonctionner efficacement sur un ordinateur portable compatible, tel qu'un MacBook Pro, avec une utilisation mémoire pic rapportée de seulement 29 Go. Elle est accompagnée de la sortie d'Edge0-120B, offrant un autre niveau de performance pour le déploiement local.
Le projet répond à quatre contraintes principales qui ont historiquement limité l'IA sur appareil. Premièrement, il résout la barrière matérielle en permettant aux grands modèles de fonctionner sans serveurs. Deuxièmement, il garantit que ces modèles locaux ne sacrifient pas leurs capacités, fournissant des résultats de codage et de raisonnement compétitifs par rapport aux modèles cloud de pointe. Troisièmement, il prend en charge les flux de travail agentiques où l'assistant planifie, écrit du code, débogue les erreurs et vérifie visuellement les résultats pour des projets tels que des scènes 3D ou des conceptions PCB. Enfin, il supprime la dépendance aux fournisseurs cloud, permettant aux données de rester sur l'appareil et garantissant le fonctionnement hors ligne des capacités principales.
Cette sortie fournit la stack complète aux développeurs, y compris les poids du modèle et les frameworks d'inférence, leur permettant de reproduire les résultats, d'affiner les modèles ou de les intégrer directement dans leurs produits. L'application Edge0 App associée offre un moyen de tester immédiatement ces capacités. En mettant ces outils en open source, les créateurs visent à accélérer l'adoption de l'IA locale haute performance sur diverses configurations matérielles.
Comment cela fonctionne
La capacité de faire tourner un modèle de 145 milliards de paramètres sur du matériel grand public repose sur une co-conception de l'architecture du modèle et du moteur d'inférence. L'architecture utilise une approche d'experts épars où de grandes matrices sont partagées entre des groupes d'experts. Plus précisément, chaque groupe de 64 experts partage deux grandes matrices, tout en conservant de petits paramètres uniques pour les différences individuelles. Bien que le nombre total de paramètres soit de 145 milliards, seuls environ 10 milliards de paramètres participent au calcul lors d'une étape d'inférence unique. Cette conception réduit considérablement la quantité de données de poids qui doit être stockée et déplacée pendant le fonctionnement.
L'entraînement a été mené en tenant compte dès le départ des contraintes d'exécution locale, plutôt que de traiter le déploiement sur appareil comme une réflexion après coup impliquant une compression post-entraînement. Le moteur d'inférence optimise davantage les performances en pipelinant l'accès mémoire sur trois niveaux : mémoire GPU, mémoire système et stockage SSD. Les « experts chauds » fréquemment utilisés restent dans la mémoire GPU, tandis qu'une bibliothèque d'environ 40 Go d'experts réside dans la mémoire système, prête à être chargée selon les besoins. Les données de vocabulaire, totalisant environ 48 Go, sont lues à la demande depuis le SSD. Ce chevauchement des lectures et des calculs évite les attentes sérielles qui constituent généralement le goulot d'étranglement de l'inférence des grands modèles.
La planification joue un rôle critique en utilisant simultanément le CPU et le GPU. Le GPU gère les calculs pour les experts mis en cache, tandis que le CPU gère la charge de travail restante. Le système emploie également le décodage spéculatif, qui vérifie plusieurs jetons candidats simultanément. Cette technique répartit le coût de lecture des poids sur un plus grand nombre de jetons de sortie, contribuant à la vitesse de décodage rapportée de plus de 80 jetons par seconde. Ces stratégies combinées permettent au modèle de maintenir des contextes longs de 128K à 256K jetons sans dégradation significative de la vitesse.
Détails clés
- Taille du modèle : Edge0-145B contient 145 milliards de paramètres, Edge0-120B étant également publié dans le cadre de la suite.
- Utilisation mémoire : Le modèle nécessite une mémoire pic de 29 Go sur les ordinateurs portables compatibles, une réduction significative par rapport aux attentes traditionnelles pour des modèles de cette échelle.
- Vitesse de performance : Il atteint plus de 1 100 jetons par seconde pour le préremplissage des prompts et maintient une vitesse de décodage supérieure à 80 jetons par seconde.
- Consommation électrique : La consommation typique est d'environ 120 W, permettant un fonctionnement soutenu sans limitation thermique dans les configurations testées.
- Scores de référence : Le modèle obtient 64,6 sur DeepSWE 1.1 pour le codage, 90,4 sur GPQA-Diamond pour le raisonnement et 80,6 sur IFBench pour le suivi des instructions.
- Fenêtre de contexte : Prend en charge les tâches à long contexte avec une fenêtre de 128K à 256K jetons, maintenant une vitesse constante tout au long des interactions étendues.
Pourquoi c'est important
Pour les ingénieurs logiciels et les fondateurs techniques, cette sortie supprime plusieurs obstacles à la création d'applications IA respectueuses de la vie privée et fonctionnant hors ligne. La capacité de faire tourner un modèle doté de capacités de raisonnement de pointe sur un ordinateur portable signifie que les données sensibles, telles que les bases de code propriétaires ou les documents internes, n'ont jamais besoin de quitter l'environnement local. Cela élimine les complexités juridiques et de sécurité associées à l'envoi de données vers des fournisseurs cloud tiers. De plus, l'absence de frais d'API récurrents rend économiquement viable le déploiement d'agents IA effectuant des tâches de fond extensives, telles que le débogage ou la génération d'actifs visuels complexes, sans se soucier des coûts liés aux jetons.
Les métriques de performance suggèrent que l'IA locale n'est plus limitée aux simples chatbots ou aux tâches de résumé basiques. Avec des scores compétitifs dans les références de codage et de raisonnement, les développeurs peuvent compter sur Edge0-145B pour une assistance d'ingénierie substantielle. La capacité du modèle à planifier, exécuter et vérifier le code localement ouvre de nouvelles possibilités pour les environnements de développement intégrés et les agents de codage autonomes. Cette évolution permet aux équipes de construire des outils plus robustes et autonomes qui ne dépendent pas de la stabilité du réseau ni de la disponibilité des services externes.
Ce que vous pouvez faire
- Téléchargez les poids des modèles Edge0-145B et Edge0-120B depuis le dépôt open-source officiel.
- Installez le framework d'inférence unifié pour tester les performances du modèle sur votre configuration matérielle spécifique.
- Évaluez les capacités de codage du modèle en l'exécutant sur votre base de code existante pour des tâches de débogage ou de refactorisation.
- Expérimentez avec les fonctionnalités agentiques en configurant des flux de travail locaux impliquant la planification et la vérification visuelle pour des projets tels que le développement de jeux ou la conception matérielle.
- Affinez le modèle sur vos jeux de données propriétaires pour créer des assistants spécialisés qui restent entièrement sur site.
- Intégrez les outils de déploiement dans votre pipeline produit pour offrir aux utilisateurs une expérience IA hors ligne haute performance.



