Ggml 1.0 stabilisiert lokale KI-Inferenz mit FP8 und Multi-Backend-Optimierungen
Die ggml-Bibliothek erreicht Version 1.0, führt FP8-Unterstützung, YaRN-Truncation-Steuerungen und erhebliche Leistungsverbesserungen über CUDA, Metal, Vulkan und andere Backends für lokale große Sprachmodelle ein.
Automatisch aus dem englischen Original übersetzt.
Die Open-Source-Bibliothek ggml hat die Version 1.0.0 erreicht. Dies markiert einen wichtigen Stabilisierungspunkt für das Berechnungs-Backend, das viele Tools für lokale große Sprachmodelle antreibt. Das Update wurde am 14. November 2026 veröffentlicht, entfernt veraltete APIs, führt Unterstützung für 8-Bit-Gleitkomma-Präzision ein und liefert umfangreiche Leistungsoptimierungen über Hardware-Backends hinweg, einschließlich NVIDIA CUDA, Apple Metal und Vulkan.
Was passiert ist
Diese Veröffentlichung stellt eine Reifung der ggml-Codebasis dar, die als grundlegende Tensor-Bibliothek für Projekte wie llama.cpp dient. Die Maintainer haben die öffentliche API bereinigt, indem sie Legacy-Operationen wie DIAG_MASK_INF und DIAG_MASK_ZERO entfernt haben. Diese Bereinigung vereinfacht die Schnittstelle für Entwickler und hebt das Remote Procedure Call (RPC)-Protokoll auf Version 9 an. Die neue Protokollversion erzwingt strengere Kompatibilitätsprüfungen, lehnt Verbindungen von Peers ab, die inkompatible Softwareversionen ausführen, verbessert gleichzeitig die Ladezeiten und behandelt fehlgeschlagene Handshakes eleganter.
Neben der API-Hygiene führt das Update kritische Funktionen für moderne Modellarchitekturen ein. Entwickler können nun die YaRN-Truncation konfigurieren, eine Technik zur Erweiterung des Kontextfensters von Transformern ohne erneutes Training, durch neue Getter- und Setter-Funktionen. Die Bibliothek fügt auch native Unterstützung für OCP FP8 (Open Compute Project 8-bit floating point) hinzu, ein Präzisionsformat, das zunehmend von Hardware-Anbietern übernommen wird, um den Speicherbandbreitenbedarf während der Inferenz zu reduzieren. Diese Änderungen gehen einher mit breiter Performance-Arbeit, einschließlich optimierter Matrixmultiplikationen für kleine Batch-Größen und fusionierter Operationen für Mixture-of-Experts-(MoE)-Modelle.
Wie es funktioniert
Ggml arbeitet als leichtgewichtige Tensor-Bibliothek, die für effiziente Inferenz auf Consumer-Hardware konzipiert ist. In dieser Veröffentlichung wurde der Kern-Scheduler verfeinert, um das Hochladen von Eingabedaten zu vermeiden, die vom aktuellen Berechnungsgraphen nicht gelesen werden. Er prefetcht außerdem nur jene Eingaben, die durch frühere Splits im Ausführungsplan erzeugt wurden. Für MoE-Modelle, die für jedes Token nur eine Teilmenge der neuronalen Netzwerk-Experten aktivieren, kann das Cache-System nun einige Berechnungen bei Cache-Misses auf die CPU auslagern und die Ergebnisse asynchron zurückkopieren, was GPU-Stalls verhindert.
Backend-spezifische Optimierungen treiben einen Großteil der Leistungsgewinne voran. Auf CUDA unterstützt die Bibliothek nun quantisierte Matrixmultiplikationen mit wenigen Zeilen für Batch-Größen zwischen 2 und 24, die in interaktiven Chat-Szenarien üblich sind. Sie implementiert auch fusionierte Gate- und Up-Matrix-Multiplikationen für NVFP4-Checkpoints. Auf Apples Metal-Backend wird das MoE-Routing in einzelne Command Buffers integriert, um Overhead zu reduzieren. Vulkan erhält einen Intel FlashAttention-Prefill-Kernel, während OpenCL dekomponiertes FlashAttention für Adreno-GPUs einführt. Diese Änderungen stellen sicher, dass die Bibliothek hardware-spezifische Funktionen wie Tensor Cores oder spezielle Speicherlayouts nutzt, ohne manuelles Tuning durch den Endbenutzer zu erfordern.
Wichtige Details
- API-Bereinigung: Veraltete öffentliche APIs und Legacy-
DIAG_MASK-Operationen wurden entfernt, was die Schnittstelle vereinfacht und das RPC-Protokoll auf v9 hebt. - FP8-Unterstützung: Native Unterstützung für OCP-FP8-Präzision reduziert die Nutzung der Speicherbandbreite, mit spezifischen fusionierten Kerneln für NVFP4-Gate/Up-Matmuls auf CUDA.
- YaRN-Konfiguration: Neue Funktionen
ggml_rope_set_truncateundggml_rope_get_truncateermöglichen es Entwicklern, die Rundung der YaRN-Korrekturgrenze für erweiterte Kontextfenster zu steuern. - Scheduler-Effizienz: Der Kern-Scheduler überspringt nun das Hochladen ungenutzter Eingaben und prefetcht nur notwendige Daten, was den Speicherverkehr und die Latenz reduziert.
- MoE-Optimierungen: Fusioniertes MoE-Routing auf Metal und ein geräte-seitiger MoE-Scheduler auf SYCL verbessern den Durchsatz für sparse Experten-Modelle.
- Breite Backend-Abdeckung: Leistungsverbesserungen erstrecken sich über CUDA-, Metal-, Vulkan-, SYCL-, OpenCL-, WebGPU-, Hexagon- und CPU-Backends und gewährleisten konsistente Gewinne über diverse Hardware hinweg.
Warum es wichtig ist
Für Ingenieure, die lokale KI-Anwendungen entwickeln, bietet ggml 1.0.0 eine stabilere und leistungsstärkere Grundlage. Die Entfernung veralteter APIs reduziert den Wartungsaufwand und minimiert das Risiko, veraltete oder ineffiziente Codepfade zu verwenden. Die Einführung der FP8-Unterstützung ist besonders signifikant, da Hardware-Anbieter zunehmend Arithmetik mit niedriger Präzision für Effizienz priorisieren. Durch die native Unterstützung dieser Formate ermöglicht ggml Entwicklern, neuere GPU-Fähigkeiten zu nutzen, ohne auf die Nachrüstung höherer Frameworks zu warten.
Die Leistungsoptimierungen adressieren reale Nutzungsprofile. Interaktive Anwendungen verarbeiten oft kleine Token-Batches, wo traditionelle Optimierungen für große Batches keine Vorteile liefern. Die neuen Few-Row-Matrixmultiplikations-Kernel und fusionierten MoE-Operationen zielen direkt auf diese Szenarien ab und reduzieren die Latenz in Chat-Schnittstellen und Coding-Assistenten. Zusätzlich stellt die verbesserte Scheduler-Logik sicher, dass Speicherbandbreite nicht für ungenutzte Daten verschwendet wird, was entscheidend für das Ausführen großer Modelle auf Geräten mit begrenztem VRAM ist.
Was Sie tun können
- Aktualisieren Sie Ihre Projekt-Abhängigkeiten auf ggml 1.0.0, um von der stabilisierten API und den Leistungsverbesserungen zu profitieren.
- Testen Sie FP8-Quantisierungs-Workflows, wenn Ihre Hardware dies unterstützt, da dies die Speichernutzung während der Inferenz erheblich reduzieren kann.
- Konfigurieren Sie YaRN-Truncation-Einstellungen über die neuen API-Funktionen, wenn Sie mit Modellen arbeiten, die erweiterte Kontextfenster erfordern.
- Überprüfen Sie Ihre RPC-Integrationen auf Kompatibilität mit dem neuen v9-Protokoll, insbesondere wenn Sie die Inferenz über mehrere Maschinen verteilen.
- Führen Sie Benchmarks für Small-Batch-Inferenz-Tasks durch, um die Auswirkungen der neuen Few-Row-Matrixmultiplikations-Kernel auf Ihrer spezifischen Hardware zu messen.
- Überwachen Sie die Leistung von MoE-Modellen, insbesondere auf Metal- und SYCL-Backends, um die neuen fusionierten Routing- und Scheduling-Funktionen zu nutzen.



