Offene & lokale KI

llama.cpp v1.0 liefert erhebliche Geschwindigkeitsgewinne für paralleles und spekulatives Decoding

Die Veröffentlichung von llama.cpp v1.0 führt zu Breaking API Changes und signifikanten Leistungsverbesserungen bei Multi-Request-Workloads und spekulativem Decoding auf NVIDIA RTX 30-Serie GPUs.

Illustration einer GPU, die mit mehreren Datentokens verbunden ist
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Am 13. November 2026 erreichte das llama.cpp-Projekt die Version 1.0, was den Übergang zu striktem semantischem Versioning für seine C/C++-Inference-Engine markiert. Benchmarks, die am 14. November mit einer NVIDIA RTX 3090 durchgeführt wurden, zeigen, dass während die Leistung für Einzelbenutzer stabil bleibt, beim parallelen Verarbeiten und beim spekulativen Decoding erhebliche Geschwindigkeitssteigerungen von bis zu 55 Prozent erzielt werden.

Was passiert ist

Die Veröffentlichung von llama.cpp v1.0.0 (Build 12359) führt mehrere Breaking Changes in der öffentlichen C-API und der Befehlszeilenschnittstelle ein. Die unmittelbarste operative Änderung für Benutzer ist die Entfernung des Flags --defrag-thold, das vor dem Update aus Startskripten entfernt werden muss. Darüber hinaus wurden die Sicherheitsstandards verschärft: Der llama-server verweigert nun das Aktivieren integrierter Tools oder Model Context Protocol (MCP)-Server auf Nicht-Loopback-Netzwerkadressen, es sei denn, ein API-Key wird über --api-key bereitgestellt. Anfragen, die private oder lokale Medien-URLs referenzieren, sind ebenfalls standardmäßig blockiert, es sei denn, sie werden explizit erlaubt.

Leistungstests verglichen diesen neuen Build mit einer Pre-v1-Version (Build 12199) vom fünf Tage zuvor. Die Tests liefen auf Fedora 44 mit Docker 29.9.2, unter Verwendung einer AMD Ryzen 9 5900X CPU und einer NVIDIA RTX 3090 GPU mit 24 GB VRAM. Getestete Modelle waren Qwen3.5 9B und 27B in Q4_K_M Quantisierung. Die Ergebnisse deuten darauf hin, dass die Leistung für Einzelbenutzer-Chat-Sitzungen ohne erweiterte Funktionen nahezu identisch mit früheren Builds ist. Szenarien mit mehreren gleichzeitigen Anfragen oder spekulativem Decoding zeigen jedoch deutliche Verbesserungen.

Wie es funktioniert

Der primäre Leistungsgewinn in v1.0 stammt von einem neuen CUDA-Kernel, der für NVIDIA RTX 30-Serie (Ampere) und neuere GPUs entwickelt wurde. Dieser Kernel optimiert Operationen, bei denen das Modell zwischen 2 und 24 Tokens gleichzeitig verarbeitet. Im Standard-Einzelanfrage-Modus verarbeitet das Modell pro Schritt ein Token und nutzt einen älteren Kernel, der unverändert bleibt. Bei der Bearbeitung paralleler Anfragen oder beim spekulativen Decoding verschiebt sich die Arbeitslast jedoch auf Multi-Token-Schritte.

Spekulatives Decoding verwendet ein kleineres Draft-Modell, um nachfolgende Tokens zu erraten, die dann vom größeren Hauptmodell in einem einzigen Schritt verifiziert werden. Dieser Verifizierungsprozess umfasst das Überprüfen mehrerer Tokens auf einmal und nutzt direkt die Fähigkeit des neuen Kernels, Gewichte einmal zu lesen und sie über alle Tokens im Schritt zu multiplizieren. Ähnlich verwenden parallele Anfragen Continuous Batching, um Tokens von verschiedenen Benutzern gemeinsam zu verarbeiten. Da diese Workflows mit dem Design des neuen Kernels übereinstimmen, sehen sie erhebliche Durchsatzsteigerungen, während die sequentielle Verarbeitung einzelner Tokens nicht davon profitiert.

Wichtige Details

  • Paralleler Durchsatz: Die Handhabung von vier gleichzeitigen Anfragen führte zu einer Geschwindigkeitssteigerung von 14 % für das 9B-Modell und 22 % für das 27B-Modell im Vergleich zum Pre-v1-Build.
  • Spekulatives Decoding: Die Verwendung von Multi-Token Prediction (MTP) mit dem 27B-Modell ergab eine Steigerung von 52 % bis 55 % an Tokens pro Sekunde, von etwa 45 tok/s auf 68,5 tok/s.
  • Einzelbenutzer-Leistung: Für eine einzelne Anfrage ohne spekulatives Decoding waren die Geschwindigkeitsunterschiede vernachlässigbar und blieben innerhalb einer Fehlermarge von 1,5 % in beide Richtungen.
  • Breaking Changes: Das Flag --defrag-thold wurde entfernt. Netzwerkserver erfordern einen API-Key zur Nutzung von Tools, und der Zugriff auf private URLs erfordert das Flag --media-allow-private-urls.
  • Neue Funktionen: Die Veröffentlichung enthält eine FP8-Option für den Kontext-Cache, einen System-RAM-Cache für Mixture-of-Experts-Modelle und einen Text-to-Speech-Endpunkt unter /v1/audio/speech.
  • Versionierungspolitik: Zukünftige Major-Versionssprünge werden nur bei Breaking API- oder ABI-Änderungen erfolgen, was Entwicklern, die auf llama.cpp aufbauen, mehr Stabilitätserwartungen bietet.

Warum das wichtig ist

Für Entwickler und technische Leiter, die lokale LLM-Infrastrukturen verwalten, signalisiert diese Veröffentlichung eine Reifung des Toolchains. Der Wechsel zu semantischem Versioning bedeutet, dass die Integration von llama.cpp in Produktionsanwendungen weniger riskant wird, da Breaking Changes nun deutlich durch Major-Versionsnummern gekennzeichnet sind. Der unmittelbare Einfluss ist jedoch operativ: Teams müssen ihre Deployment-Skripte aktualisieren, um veraltete Flags zu entfernen und API-Keys für netzwerkexponierte Instanzen zu konfigurieren. Andernfalls kommt es zu Startfehlern oder deaktivierten Funktionen.

Die Leistungsauswirkungen sind spezifisch für Workload-Typen. Wenn Sie einen persönlichen Chatbot für die Einzelbenutzung betreiben, bietet das Upgrade keinen dringenden Leistungsvorteil. Für Dienste, die mehrere gleichzeitige Benutzer, Agenten oder Coding-Assistenten unterstützen, die den Server gleichzeitig ansprechen, ist der Durchsatzgewinn von 14–22 % jedoch erheblich. Noch wirkungsvoller ist der Boost für spekulatives Decoding, der das Ausführen größerer, leistungsfähigerer Modelle wie Qwen3.5 27B auf Consumer-Hardware deutlich reaktionsschneller macht. Dies macht hochwertige lokale Inference für interaktive Anwendungen, bei denen Latenz kritisch ist, besser praktikabel.

Was Sie tun können

  • Startskripte aktualisieren: Entfernen Sie das Flag --defrag-thold oder -dt aus Ihren llama-server-Befehlen, bevor Sie auf v1.0 upgraden.
  • Netzwerkinstanzen absichern: Wenn Ihr Server auf einer Nicht-Localhost-Adresse lauscht, fügen Sie einen --api-key hinzu, um zu verhindern, dass Tools und MCP-Server standardmäßig deaktiviert werden.
  • Privaten Medienzugriff aktivieren: Wenn Ihr Workflow Bilder oder Medien umfasst, die auf lokalen Netzwerkadressen gehostet werden, fügen Sie das Flag --media-allow-private-urls hinzu, um die Kompatibilität zu gewährleisten.
  • Parallele Lasten testen: Wenn Sie mehrere Clients bedienen, benchmarken Sie Ihre spezifische Hardware mit dem neuen Build, um den Durchsatzgewinn von 14–22 % für Ihre Modellgröße zu quantifizieren.
  • Experimentieren mit spekulativem Decoding: Versuchen Sie, MTP oder spekulatives Decoding mit größeren Modellen zu aktivieren, um den Geschwindigkeitsgewinn von über 50 % auf RTX 30-Serie und neueren GPUs zu nutzen.
  • Abhängigkeitskompatibilität prüfen: Wenn Sie Software auf der Basis der llama.cpp C-API erstellen, überprüfen Sie die Release Notes auf Breaking Changes, bevor Sie die v1.0 Header übernehmen.
  • #llama.cpp
  • #local llm
  • #nvidia gpu
  • #speculative decoding
  • #performance

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel