llama.cpp erreicht v1.0.0 mit API-Bereinigung und neuer Modellunterstützung
Das llama.cpp-Projekt hat die Version 1.0.0 veröffentlicht, entfernt veraltete APIs, unterstützt nun Kimi-K3.1- und Ripple-Modelle und hat die Serversicherheit gehärtet.
Automatisch aus dem englischen Original übersetzt.
Die Maintainer von llama.cpp haben die Veröffentlichung der Version 1.0.0 angekündigt, was einen bedeutenden Meilenstein für die beliebte lokale Inferenz-Engine für große Sprachmodelle darstellt. Diese am 13. November 2026 veröffentlichte Hauptversion führt erhebliche Breaking Changes in der öffentlichen Application Programming Interface ein, während sie die Unterstützung für neue Modellarchitekturen wie Kimi-K3.1-Pro und Ripple erweitert. Der Release legt zudem großen Wert auf die Sicherheitshärtung des integrierten Servers und Performance-Optimierungen innerhalb der zugrunde liegenden ggml-Bibliothek.
Was passiert ist
Diese Veröffentlichung stellt einen Reifepunkt für das Projekt dar, gekennzeichnet durch den Abbau technischer Schulden und die Stabilisierung der Kern-Schnittstellen. Die Entwickler entfernten fünfunddreißig veraltete Funktionen aus der öffentlichen Header-Datei llama.h, darunter llama_set_warmup und verschiedene Schwellenwertparameter. Diese Bereinigung zielt darauf ab, die Codebasis für Entwickler zu vereinfachen, die die Bibliothek in ihre eigenen Anwendungen integrieren. Parallel zu diesen Entfernungen wurde die NextN-speculative-decoding-API vom experimentellen Header llama-ext.h zur Hauptschnittstelle llama.h befördert, was ihre Produktionsreife signalisiert.
Besondere Aufmerksamkeit wurde der Multimodalität und neuen Modellarchitekturen gewidmet. Das Update fügt native Unterstützung für drei neue textbasierte Architekturen hinzu: Kimi-K3.1-Pro, das Full-Attention-Layer durch DSA ersetzt; Ripple-65B-Preview, ein dichtes Modell mit 65 Milliarden Parametern; und xing4_0, das eine Mischung aus Hybrid-Attention- und Mixture-of-Experts-Techniken nutzt. Darüber hinaus unterstützt das System nun drama-3 Text-to-Speech-Funktionen sowie die Bildverarbeitung für MageVL-Cowork- und Kimi-K3.1-Modelle. Diese Erweiterungen vergrößern die Bandbreite an Aufgaben, die lokal ausgeführt werden können, ohne auf externe Cloud-Dienste angewiesen zu sein.
Sicherheit und Server-Stabilität waren ebenfalls zentrale Schwerpunkte. Die Komponente llama-server erhielt Patches zur Behebung von Server-Side Request Forgery (SSRF), Cross-Origin Resource Sharing (CORS)-Problemen und DNS-Rebinding-Schwachstellen. Das Team führte Opt-in-Flags für die Zulassung nicht authentifizierter Tools und privater Medien-URLs ein, was Administratoren eine feinere Kontrolle über den Zugriff ermöglicht. Zudem enthält der Release eine neu gestaltete Web-Benutzeroberfläche mit Funktionen wie Chat-Gruppen, einem Markdown-Editor und verbesserter mobiler Responsivität, was das Standard-Frontend für tägliche Interaktionen benutzerfreundlicher macht.
Wie es funktioniert
Im Hintergrund aktualisiert die Veröffentlichung die fundamentale ggml-Bibliothek auf Version 1.0.0, die Legacy-Operationen beschneidet und konfigurierbare FP8-Unterstützung einführt. FP8, oder 8-Bit-Gleitkomma, ermöglicht eine effizientere Speichernutzung während der Inferenz, insbesondere für Key-Value-Caches. Das System unterstützt nun OCP-FP8-KV-Caches mit optionalen statischen Per-Tensor-Skalen, was eine schnellere Verarbeitung langer Kontexte bei gleichzeitiger Reduzierung des Speicherbandbreitenbedarfs ermöglicht. Dies wird durch einen Host-Memory-Mixture-of-Experts-Cache ergänzt, der es Nutzern erlaubt zu konfigurieren, wie viel Expertendaten im CPU-Speicher resident sind, um Wartezeiten beim Zugriff auf gecachte Experten zu reduzieren.
Die multimodale Infrastruktur wurde in einem einheitlichen mtmd-Modul konsolidiert, wobei die ältere Abhängigkeit von clip.h entfernt wurde. Diese Änderung ermöglicht es verschiedenen Subkontexten, wie Vision- und Audio-Prozessoren, Compute-Buffer zu teilen, was erhebliche Speicherressourcen spart. Für die Audiogenerierung berechnet das System Log-Mel-Spektrogramme nun direkt innerhalb des Berechnungsgraphen, anstatt separate Threads für jede Anfrage zu starten. Dieser architektonische Wandel reduziert den Overhead und verbessert die Latenz für Echtzeit-Audioaufgaben. Der Server erhielt außerdem einen OpenAI-kompatiblen Endpunkt für die Audio-Sprachgenerierung, der standardisiert, wie Anwendungen mit lokalen Text-to-Speech-Modellen interagieren.
Wichtige Details
- Die öffentliche API in
llama.hentfernte 35 veraltete Funktionen und beförderte die NextN-speculative-decoding-API. - Neue Modellunterstützung umfasst Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0 und drama-3 Text-to-Speech.
- Die Serversicherheit wurde gegen SSRF-, CORS-Missbrauch- und DNS-Rebinding-Angriffe mit neuen Opt-in-Flags gehärtet.
- FP8-Key-Value-Caches werden nun unterstützt und bieten Speichereffizienz für Long-Context-Inferenz.
- Die Web-UI wurde mit Chat-Gruppen, einem Live-Preview-Markdown-Editor und besserem Mobile-Layout neu gestaltet.
- Die zugrunde liegende ggml-Bibliothek erreichte v1.0.0, fügte FP8-Unterstützung hinzu und optimierte die Backend-Performance für CUDA, Metal und Vulkan.
Warum es wichtig ist
Für Software-Ingenieure, die Produkte auf Basis lokaler großer Sprachmodelle entwickeln, signalisiert diese Veröffentlichung einen Wandel hin zu größerer Stabilität und Vorhersehbarkeit. Die Entfernung veralteter APIs bedeutet, dass Integrationen, die gegen ältere Versionen gebaut wurden, Updates erfordern, aber die resultierende Codebasis wird sauberer und leichter wartbar sein. Die Beförderung der NextN-API deutet darauf hin, dass Speculative Decoding nun als Standardfunktion betrachtet wird, was Entwicklern ermöglicht, schnellere Inferenzstrategien mit Vertrauen in die Langlebigkeit der Schnittstelle umzusetzen.
Die Sicherheitsverbesserungen in llama-server sind kritisch für Teams, die diese Modelle in vernetzten Umgebungen bereitstellen. Frühere Schwachstellen hätten es böswilligen Akteuren ermöglichen können, den Server für unbefugten Zugriff oder Datenexfiltration auszunutzen. Durch die Behebung dieser Probleme und die Bereitstellung granularer Kontrollen über Tool-Authentifizierung und Medienzugriff macht die Veröffentlichung es sicherer, lokale Modellen internen Netzwerken oder vertrauenswürdigen Benutzern bereitzustellen. Dies ist besonders wichtig für Unternehmen, die lokale KI adoptieren möchten, ohne ihre Sicherheitslage zu gefährden.
Performance-Optimierungen wie FP8-Caches und geteilte Compute-Buffer für multimodale Aufgaben ermöglichen komplexere Workflows auf Consumer-Hardware. Entwickler können nun Vision- und Audiomodelle neben der Textgenerierung mit geringerem Speicherverbrauch ausführen, was die Erstellung reichhaltiger multimodaler Anwendungen auf Geräten mit begrenzten Ressourcen machbar macht. Dies demokratisiert den Zugang zu fortgeschrittenen KI-Fähigkeiten und ermöglicht kleineren Teams, anspruchsvolle Systeme ohne teure Cloud-Infrastruktur zu prototypisieren und bereitzustellen.
Was Sie tun können
- Überprüfen Sie Ihren Integrationscode, um Aufrufe der 35 entfernten veralteten Funktionen in
llama.hzu ersetzen. - Aktualisieren Sie Ihre Deployment-Skripte, um die neuen Sicherheitsflags für
llama-servereinzubeziehen, falls Sie ihn einem Netzwerk aussetzen. - Testen Sie die neuen FP8-KV-Cache-Einstellungen, um Speichereinsparungen und Leistungsgewinne für Ihre spezifischen Modelle zu bewerten.
- Erkunden Sie den neuen
/v1/audio/speech-Endpunkt, wenn Ihre Anwendung lokale Text-to-Speech-Fähigkeiten erfordert. - Aktualisieren Sie die ggml-Backend-Abhängigkeiten auf v1.0.0, um von den neuesten Performance-Optimierungen über GPU-Plattformen hinweg zu profitieren.
- Experimentieren Sie mit den neuen Web-UI-Funktionen wie Chat-Gruppen, um die Benutzererfahrung in internen Tools zu verbessern.



