llama.cpp v1.0 offre des gains de vitesse majeurs pour le décodage parallèle et spéculatif
La version 1.0 de llama.cpp introduit des modifications d'API incompatibles avec les versions précédentes et des améliorations significatives des performances pour les charges de travail de décodage multi-requêtes et spéculatif sur les GPU NVIDIA RTX série 30.
Traduit automatiquement depuis l'original anglais.
Le 13 novembre 2026, le projet llama.cpp est passé à la version 1.0, marquant une transition vers un versionnement sémantique strict pour son moteur d'inférence C/C++. Les benchmarks réalisés le 14 novembre sur un NVIDIA RTX 3090 révèlent que si les performances mono-utilisateur restent stables, le traitement parallèle et le décodage spéculatif bénéficient d'augmentations substantielles de la vitesse, pouvant atteindre 55 %.
Ce qui s'est passé
La sortie de llama.cpp v1.0.0 (build 12359) introduit plusieurs modifications incompatibles avec les versions précédentes dans l'API publique C et l'interface en ligne de commande. Le changement opérationnel le plus immédiat pour les utilisateurs est la suppression du flag --defrag-thold, qui doit être retiré des scripts de démarrage avant la mise à jour. De plus, les paramètres par défaut en matière de sécurité ont été renforcés : llama-server refuse désormais d'activer les outils intégrés ou les serveurs Model Context Protocol (MCP) sur des adresses réseau non bouclées (non-loopback) sauf si une clé API est fournie via --api-key. Les requêtes référençant des URL de médias privés ou locaux sont également bloquées par défaut, sauf autorisation explicite.
Les tests de performance ont comparé ce nouveau build à une version pré-v1 (build 12199) datant de cinq jours plus tôt. Les tests ont été exécutés sous Fedora 44 avec Docker 29.9.2, utilisant un CPU AMD Ryzen 9 5900X et un GPU NVIDIA RTX 3090 doté de 24 Go de VRAM. Les modèles testés comprenaient Qwen3.5 9B et 27B en quantification Q4_K_M. Les résultats indiquent que pour les sessions de chat mono-utilisateur sans fonctionnalités avancées, les performances sont pratiquement identiques à celles des builds précédents. Cependant, les scénarios impliquant des requêtes concurrentes multiples ou un décodage spéculatif montrent des améliorations notables.
Comment cela fonctionne
Le principal gain de performance dans la v1.0 provient d'un nouveau noyau CUDA conçu pour les GPU NVIDIA RTX série 30 (Ampere) et plus récents. Ce noyau optimise les opérations où le modèle traite entre 2 et 24 tokens simultanément. En mode standard à requête unique, le modèle traite un token par étape, utilisant un ancien noyau qui reste inchangé. Toutefois, lors du traitement de requêtes parallèles ou de décodage spéculatif, la charge de travail se déplace vers des étapes multi-tokens.
Le décodage spéculatif utilise un petit modèle de brouillon (draft model) pour deviner les tokens suivants, que le grand modèle principal vérifie ensuite en une seule étape. Ce processus de vérification implique de contrôler plusieurs tokens à la fois, exploitant directement la capacité du nouveau noyau à lire les poids une seule fois et à les multiplier sur tous les tokens de l'étape. De même, les requêtes parallèles utilisent le batching continu pour traiter ensemble les tokens provenant de différents utilisateurs. Comme ces flux de travail correspondent à la conception du nouveau noyau, ils connaissent des augmentations significatives du débit, tandis que le traitement séquentiel mono-token n'en bénéficie pas.
Détails clés
- Débit parallèle : La gestion de quatre requêtes simultanées a entraîné une augmentation de la vitesse de 14 % pour le modèle 9B et de 22 % pour le modèle 27B par rapport au build pré-v1.
- Décodage spéculatif : L'utilisation de la prédiction multi-tokens (MTP) avec le modèle 27B a permis une augmentation de 52 % à 55 % du nombre de tokens par seconde, passant d'environ 45 tok/s à 68,5 tok/s.
- Performances mono-utilisateur : Pour une requête unique sans décodage spéculatif, les différences de vitesse étaient négligeables, restant dans une marge d'erreur de 1,5 % dans les deux sens.
- Modifications incompatibles : Le flag
--defrag-tholdest supprimé. Les serveurs accessibles via le réseau nécessitent une clé API pour utiliser les outils, et l'accès aux URL privées requiert le flag--media-allow-private-urls. - Nouvelles fonctionnalités : La sortie inclut une option FP8 pour le cache de contexte, un cache de RAM système pour les modèles mixture-of-experts, et un point d'accès text-to-speech sur
/v1/audio/speech. - Politique de versionnement : Les futures augmentations de version majeure n'interviendront qu'en cas de modifications incompatibles de l'API ou de l'ABI, offrant ainsi davantage de stabilité attendue aux développeurs construisant sur llama.cpp.
Pourquoi c'est important
Pour les développeurs et les responsables techniques gérant des infrastructures locales de LLM, cette sortie signale une maturation de la chaîne d'outils. Le passage au versionnement sémantique signifie que l'intégration de llama.cpp dans des applications de production devient moins risquée, car les modifications incompatibles sont désormais clairement signalées par les numéros de version majeure. Cependant, l'impact immédiat est opérationnel : les équipes doivent mettre à jour leurs scripts de déploiement pour supprimer les flags obsolètes et configurer des clés API pour toute instance exposée sur le réseau. Ne pas le faire entraînera des erreurs de démarrage ou des fonctionnalités désactivées.
Les implications en termes de performance sont spécifiques aux types de charge de travail. Si vous exécutez un chatbot personnel pour un usage mono-utilisateur, la mise à niveau n'offre aucun avantage de performance urgent. En revanche, pour les services soutenant plusieurs utilisateurs concurrents, des agents ou des assistants de codage qui sollicitent le serveur simultanément, le gain de débit de 14 à 22 % est significatif. Plus impactant encore est le coup de pouce donné au décodage spéculatif, qui rend l'exécution de modèles plus grands et plus performants comme Qwen3.5 27B beaucoup plus réactive sur le matériel grand public. Cela rend l'inférence locale de haute qualité plus viable pour les applications interactives où la latence compte.
Ce que vous pouvez faire
- Mettre à jour les scripts de démarrage : Supprimez le flag
--defrag-tholdou-dtde vos commandesllama-serveravant de passer à la v1.0. - Sécuriser les instances réseau : Si votre serveur écoute sur une adresse autre que localhost, ajoutez une
--api-keypour empêcher que les outils et les serveurs MCP ne soient désactivés par défaut. - Activer l'accès aux médias privés : Si votre flux de travail implique des images ou des médias hébergés sur des adresses réseau locales, ajoutez le flag
--media-allow-private-urlspour maintenir la compatibilité. - Tester les charges parallèles : Si vous servez plusieurs clients, effectuez des benchmarks sur votre matériel spécifique avec le nouveau build pour quantifier le gain de débit de 14 à 22 % pour la taille de votre modèle.
- Expérimenter le décodage spéculatif : Essayez d'activer MTP ou le décodage spéculatif avec des modèles plus grands pour tirer parti de l'accélération de plus de 50 % sur les GPU RTX série 30 et plus récents.
- Vérifier la compatibilité des dépendances : Si vous développez des logiciels basés sur l'API C de llama.cpp, consultez les notes de version concernant les modifications incompatibles avant d'adopter les en-têtes v1.0.



