Ggml 1.0 stabilise l'inférence IA locale grâce au FP8 et aux optimisations multi-backend
La bibliothèque ggml atteint la version 1.0, introduisant le support du FP8, des contrôles de troncature YaRN et d'importantes améliorations de performance sur les backends CUDA, Metal, Vulkan et autres pour les grands modèles de langage locaux.
Traduit automatiquement depuis l'original anglais.
La bibliothèque open-source ggml a atteint la version 1.0.0, marquant un point majeur de stabilisation pour ce backend de calcul qui alimente de nombreux outils locaux de grands modèles de langage. Publiée le 14 novembre 2026, cette mise à jour supprime les API obsolètes, introduit le support de la précision en virgule flottante 8 bits et offre des optimisations de performance étendues sur les backends matériels, notamment NVIDIA CUDA, Apple Metal et Vulkan.
Ce qui s'est passé
Cette version représente une maturation du codebase de ggml, qui sert de bibliothèque tensorielle fondamentale pour des projets comme llama.cpp. Les mainteneurs ont épuré l'API publique en supprimant les opérations héritées telles que DIAG_MASK_INF et DIAG_MASK_ZERO. Ce nettoyage simplifie l'interface pour les développeurs et fait passer le protocole d'appel de procédure distante (RPC) à la version 9. La nouvelle version du protocole impose des vérifications de compatibilité plus strictes, rejetant les connexions provenant de pairs exécutant des versions logicielles incompatibles, tout en améliorant les temps de chargement et en gérant plus gracieusement les échecs de poignée de main.
Au-delà de l'hygiène de l'API, la mise à jour introduit des fonctionnalités critiques pour les architectures de modèles modernes. Les développeurs peuvent désormais configurer la troncature YaRN, une technique utilisée pour étendre la fenêtre de contexte des transformeurs sans réentraînement, via de nouvelles fonctions getter et setter. La bibliothèque ajoute également le support natif du format OCP FP8 (Open Compute Project 8-bit floating point), une précision de plus en plus adoptée par les fournisseurs de matériel pour réduire les exigences de bande passante mémoire lors de l'inférence. Ces changements s'accompagnent d'un travail large sur la performance, incluant des multiplications matricielles optimisées pour les petites tailles de batch et des opérations fusionnées pour les modèles Mixture of Experts (MoE).
Comment cela fonctionne
Ggml opère comme une bibliothèque tensorielle légère conçue pour une inférence efficace sur le matériel grand public. Dans cette version, le planificateur principal a été affiné pour éviter le téléversement des données d'entrée non lues par le graphe de calcul actuel. Il précharge également uniquement les entrées produites par les divisions précédentes dans le plan d'exécution. Pour les modèles MoE, qui activent seulement un sous-ensemble d'experts du réseau neuronal pour chaque token, le système de cache peut désormais décharger certaines computations de cache miss sur le CPU et copier les résultats de manière asynchrone, évitant ainsi les blocages du GPU.
Les optimisations spécifiques au backend sont à l'origine d'une grande partie du gain de performance. Sur CUDA, la bibliothèque prend désormais en charge les multiplications matricielles quantifiées avec peu de lignes pour les tailles de batch entre 2 et 24, courantes dans les scénarios de chat interactif. Elle implémente également des multiplications matricielles fusionnées pour les checkpoints NVFP4. Sur le backend Metal d'Apple, le routage MoE est fusionné dans des buffers de commande uniques pour réduire la surcharge. Vulkan bénéficie d'un noyau Intel FlashAttention prefill, tandis qu'OpenCL introduit une FlashAttention décomposée pour les GPU Adreno. Ces changements garantissent que la bibliothèque exploite les fonctionnalités spécifiques au matériel, comme les cœurs tensoriels ou les dispositions mémoire spécialisées, sans nécessiter de réglage manuel de la part de l'utilisateur final.
Détails clés
- Nettoyage de l'API : Les API publiques obsolètes et les opérations héritées
DIAG_MASKont été supprimées, simplifiant l'interface et faisant passer le protocole RPC à la v9. - Support du FP8 : Le support natif de la précision OCP FP8 réduit l'utilisation de la bande passante mémoire, avec des noyaux fusionnés spécifiques pour les matmuls gate/up NVFP4 sur CUDA.
- Configuration YaRN : Les nouvelles fonctions
ggml_rope_set_truncateetggml_rope_get_truncatepermettent aux développeurs de contrôler l'arrondi de la limite de correction YaRN pour les fenêtres de contexte étendues. - Efficacité du planificateur : Le planificateur principal ignore désormais le téléversement des entrées inutilisées et ne précharge que les données nécessaires, réduisant le trafic mémoire et la latence.
- Optimisations MoE : Le routage MoE fusionné sur Metal et un planificateur MoE côté périphérique sur SYCL améliorent le débit pour les modèles à experts épars.
- Couverture large des backends : Les améliorations de performance s'étendent aux backends CUDA, Metal, Vulkan, SYCL, OpenCL, WebGPU, Hexagon et CPU, garantissant des gains cohérents sur divers matériels.
Pourquoi c'est important
Pour les ingénieurs développant des applications IA locales, ggml 1.0.0 offre une base plus stable et performante. La suppression des API obsolètes réduit la charge de maintenance et minimise le risque d'utiliser des chemins de code périmés ou inefficaces. L'introduction du support du FP8 est particulièrement significative alors que les fournisseurs de matériel privilégient de plus en plus l'arithmétique à basse précision pour l'efficacité. En supportant ces formats nativement, ggml permet aux développeurs d'exploiter les capacités des nouveaux GPU sans attendre que les frameworks de plus haut niveau rattrapent leur retard.
Les optimisations de performance répondent aux schémas d'utilisation réels. Les applications interactives traitent souvent de petits batches de tokens, où les optimisations traditionnelles pour les grands batches n'apportent pas de bénéfices. Les nouveaux noyaux de multiplication matricielle avec peu de lignes et les opérations MoE fusionnées ciblent directement ces scénarios, réduisant la latence dans les interfaces de chat et les assistants de codage. De plus, la logique améliorée du planificateur garantit que la bande passante mémoire n'est pas gaspillée sur des données inutilisées, ce qui est crucial pour exécuter de grands modèles sur des appareils disposant d'une VRAM limitée.
Ce que vous pouvez faire
- Mettez à jour les dépendances de votre projet vers ggml 1.0.0 pour bénéficier de l'API stabilisée et des améliorations de performance.
- Testez les workflows de quantification FP8 si votre matériel le prend en charge, car cela peut réduire significativement l'utilisation mémoire lors de l'inférence.
- Configurez les paramètres de troncature YaRN en utilisant les nouvelles fonctions API si vous travaillez avec des modèles nécessitant des fenêtres de contexte étendues.
- Revoyez vos intégrations RPC pour assurer la compatibilité avec le nouveau protocole v9, surtout si vous répartissez l'inférence sur plusieurs machines.
- Effectuez des benchmarks sur les tâches d'inférence à petit batch pour mesurer l'impact des nouveaux noyaux de multiplication matricielle avec peu de lignes sur votre matériel spécifique.
- Surveillez les performances des modèles MoE, en particulier sur les backends Metal et SYCL, pour tirer parti des nouvelles fonctionnalités de routage et de planification fusionnés.



