llama.cpp atteint la v1.0.0 avec un nettoyage de l'API et une prise en charge de nouveaux modèles
Le projet llama.cpp a publié la version 1.0.0, supprimant les API obsolètes, ajoutant la prise en charge des modèles Kimi-K3.1 et Ripple, et renforçant la sécurité du serveur.
Traduit automatiquement depuis l'original anglais.
Les mainteneurs de llama.cpp ont annoncé la sortie de la version 1.0.0, marquant une étape significative pour ce moteur d'inférence populaire de grands modèles de langage locaux. Publiée le 13 novembre 2026, cette mise à jour majeure introduit des changements importants et incompatibles dans l'interface de programmation applicative publique, tout en élargissant la prise en charge de nouvelles architectures de modèles comme Kimi-K3.1-Pro et Ripple. La publication se concentre également fortement sur le renforcement de la sécurité du serveur intégré et sur les optimisations de performances au sein de la bibliothèque sous-jacente ggml.
Ce qui s'est passé
Cette version représente un point de maturité pour le projet, caractérisé par l'élimination de la dette technique et la stabilisation des interfaces principales. Les développeurs ont supprimé trente-cinq fonctions obsolètes du fichier d'en-tête public llama.h, notamment llama_set_warmup et divers paramètres de seuil. Ce nettoyage vise à simplifier le code source pour les développeurs intégrant la bibliothèque dans leurs propres applications. Parallèlement à ces suppressions, l'API de décodage spéculatif NextN a été promue depuis l'en-tête expérimental llama-ext.h vers l'interface principale llama.h, signalant sa préparation pour une utilisation en production.
Une attention particulière a été portée à la multimodalité et aux nouvelles architectures de modèles. La mise à jour ajoute une prise en charge native pour trois nouvelles architectures textuelles : Kimi-K3.1-Pro, qui remplace les couches d'attention complète par DSA ; Ripple-65B-Preview, un modèle dense de 65 milliards de paramètres ; et xing4_0, qui utilise un mélange de techniques d'attention hybride et de mixture-of-experts. De plus, le système prend désormais en charge les capacités de synthèse vocale drama-3 et le traitement visuel pour les modèles MageVL-Cowork et Kimi-K3.1. Ces ajouts élargissent la gamme de tâches pouvant être effectuées localement sans dépendre de services cloud externes.
La sécurité et la stabilité du serveur étaient également des points focaux majeurs. Le composant llama-server a reçu des correctifs pour traiter les attaques de type Server-Side Request Forgery (SSRF), les problèmes de partage de ressources entre origines (CORS) et les vulnérabilités de rebind DNS. L'équipe a introduit des options activables pour autoriser les outils non authentifiés et les URL de médias privés, offrant aux administrateurs un contrôle plus fin sur l'accès. En outre, la version comprend une interface utilisateur web repensée avec des fonctionnalités telles que des groupes de chat, un éditeur markdown et une meilleure réactivité mobile, rendant le front-end par défaut plus utilisable pour les interactions quotidiennes.
Comment cela fonctionne
En interne, la version met à jour la bibliothèque fondamentale ggml à la version 1.0.0, qui supprime les opérations héritées et introduit une prise en charge configurable du format FP8. Le FP8, ou virgule flottante 8 bits, permet une utilisation plus efficace de la mémoire lors de l'inférence, en particulier pour les caches clé-valeur. Le système prend désormais en charge les caches KV FP8 OCP avec des échelles statiques optionnelles par tenseur, permettant un traitement plus rapide des contextes longs tout en réduisant les exigences de bande passante mémoire. Cela est complété par un cache mixture-of-experts en mémoire hôte qui permet aux utilisateurs de configurer la quantité de données experte résidant dans la mémoire CPU, réduisant les temps d'attente lors de l'accès aux experts mis en cache.
L'infrastructure multimodale a été consolidée dans un module unifié mtmd, supprimant la dépendance plus ancienne clip.h. Cette modification permet à différents sous-contextes, tels que les processeurs de vision et d'audio, de partager des tampons de calcul, économisant ainsi des ressources mémoire significatives. Pour la génération audio, le système calcule désormais directement les spectrogrammes log-mel au sein du graphe de calcul plutôt que de lancer des threads séparés pour chaque requête. Ce changement architectural réduit la surcharge et améliore la latence pour les tâches audio en temps réel. Le serveur a également gagné un endpoint compatible OpenAI pour la génération de parole audio, standardisant la manière dont les applications interagissent avec les modèles locaux de synthèse vocale.
Détails clés
- L'API publique dans
llama.ha supprimé 35 fonctions obsolètes et promu l'API de décodage spéculatif NextN. - La prise en charge des nouveaux modèles inclut Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0 et la synthèse vocale drama-3.
- La sécurité du serveur a été renforcée contre les attaques SSRF, les abus CORS et le rebind DNS grâce à de nouvelles options activables.
- Les caches clé-valeur FP8 sont désormais pris en charge, offrant une efficacité mémoire pour l'inférence en contexte long.
- L'interface web a été repensée avec des groupes de chat, un éditeur markdown avec aperçu en direct et une meilleure mise en page mobile.
- La bibliothèque sous-jacente ggml a atteint la v1.0.0, ajoutant la prise en charge FP8 et optimisant les performances backend pour CUDA, Metal et Vulkan.
Pourquoi c'est important
Pour les ingénieurs logiciels construisant des produits sur la base de grands modèles de langage locaux, cette version signale un tournant vers une plus grande stabilité et prévisibilité. La suppression des API obsolètes signifie que les intégrations construites sur des versions antérieures nécessiteront des mises à jour, mais le code source résultant sera plus propre et plus facile à maintenir. La promotion de l'API NextN suggère que le décodage spéculatif est désormais considéré comme une fonctionnalité standard, permettant aux développeurs de mettre en œuvre des stratégies d'inférence plus rapides avec confiance dans la pérennité de l'interface.
Les améliorations de sécurité dans llama-server sont critiques pour les équipes déployant ces modèles dans des environnements réseau. Les vulnérabilités précédentes auraient pu permettre à des acteurs malveillants d'exploiter le serveur pour un accès non autorisé ou une exfiltration de données. En traitant ces problèmes et en fournissant des contrôles granulaires sur l'authentification des outils et l'accès aux médias, la version rend plus sûr l'exposition des modèles locaux aux réseaux internes ou aux utilisateurs de confiance. Ceci est particulièrement important pour les entreprises cherchant à adopter l'IA locale sans compromettre leur posture de sécurité.
Les optimisations de performance telles que les caches FP8 et les tampons de calcul partagés pour les tâches multimodales permettent des flux de travail plus complexes sur le matériel grand public. Les développeurs peuvent désormais exécuter des modèles de vision et d'audio parallèlement à la génération de texte avec une surcharge mémoire inférieure, rendant possible la création d'applications multimodales plus riches sur des appareils aux ressources limitées. Cela démocratise l'accès aux capacités avancées de l'IA, permettant aux petites équipes de prototyper et de déployer des systèmes sophistiqués sans infrastructure cloud coûteuse.
Ce que vous pouvez faire
- Examinez votre code d'intégration pour remplacer les appels aux 35 fonctions obsolètes supprimées dans
llama.h. - Mettez à jour vos scripts de déploiement pour inclure les nouvelles options de sécurité pour
llama-serversi vous l'exposez à un réseau. - Testez les nouveaux paramètres de cache KV FP8 pour évaluer les économies de mémoire et les gains de performance pour vos modèles spécifiques.
- Explorez le nouvel endpoint
/v1/audio/speechsi votre application nécessite des capacités locales de synthèse vocale. - Mettez à niveau les dépendances backend ggml vers la v1.0.0 pour bénéficier des dernières optimisations de performance sur les plateformes GPU.
- Expérimentez avec les nouvelles fonctionnalités de l'interface web comme les groupes de chat pour améliorer l'expérience utilisateur dans les outils internes.



