Offene & lokale KI

llama.cpp-Inferenzgeschwindigkeit mit einer einzigen Linux-Umgebungsvariable steigern

Die Aktivierung von Huge Pages durch die Einstellung von GLIBC_TUNABLES reduziert Page Faults in llama.cpp und führt auf H100-GPUs zu bis zu 21 % höherem Durchsatz.

Illustration, die kleine 4KB-Speicherseiten mit großen 2MB-Huge-Pages auf einer Platine vergleicht
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Eine einfache Konfigurationsänderung im Bereich des Linux-Speichermanagements beschleunigt das lokale Hosting großer Sprachmodelle erheblich. Durch das Setzen einer einzigen Umgebungsvariable können Ingenieure, die llama.cpp und Ollama nutzen, den CPU-Overhead bei der Speicherzuweisung reduzieren. Dies führt zu schnelleren Antwortzeiten und einem höheren Anfrage-Durchsatz, ohne dass Quellcode geändert werden muss.

Was passiert ist

Ingenieure bei Tensward, einem Open-Source-Tooling-Unternehmen, das sich auf die Optimierung der LLM-Inferenz spezialisiert hat, entdeckten, dass ihr llama.cpp-Server considerable Zeit damit verbrachte, auf die Speicherzuweisung durch den Linux-Kernel zu warten. Der Engpass lag nicht auf der GPU, sondern darin, wie das Betriebssystem RAM-Anfragen für die Speicherung von Gesprächssnapshots behandelte. Durch die Aktivierung von "Huge Pages" über einen glibc-Tunable reduzierten sie die Anzahl der Page Faults pro Anfrage auf einer NVIDIA H100 GPU von etwa 145.000 auf nur noch 1.850.

Das Team testete diese Anpassung an Qwen3.8-27B, einem weit verbreiteten Modell für lokale KI-Bereitstellungen. Die Änderung erforderte weder eine Neukompilierung des Codes noch Root-Rechte, sondern lediglich das Voranstellen von GLIBC_TUNABLES=glibc.malloc.hugetlb=1 vor dem Start des Serverprozesses. Diese Anweisung veranlasst den Speicherallokator, größere zusammenhängende Speicherblöcke anzufordern, was die Intervention des Kernels während Schreibvorgängen minimiert.

Die Leistungssteigerungen variierten je nach Hardware und Workload. Auf einer H100, die Tool-Calling-Prompts verarbeitete, stieg der Durchsatz um 21 %, und die Medianzeit bis zum ersten Token sank um 22 %. Selbst auf langsamerer Hardware wie der NVIDIA L4 trafen beim einfachen Chat-Szenario das erste Token 22 % früher ein, obwohl die Gesamtverbesserungen des Durchsatzes mit 3,5 % moderater ausfielen. Diese Ergebnisse deuten darauf hin, dass der Nutzen am größten ist, wenn die Latenz der CPU-Speicherzuweisung einen erheblichen Anteil der gesamten Anfragedauer ausmacht.

Wie es funktioniert

Linux weist Speicher typischerweise in kleinen 4 KB großen Blöcken zu, sogenannten Pages. Wenn ein Programm wie llama.cpp erstmals auf eine neue Page schreibt, muss der Kernel eingreifen, um sie einzurichten – ein Ereignis, das als Page Fault bezeichnet wird. Bei großen Modellen erfordert das Speichern des Gesprächszustands die Erstellung von Snapshots, die 150 MB oder mehr groß sein können, was Hunderttausende dieser Faults auslöst. Da der Thread, der diese Snapshots verwaltet, auch Daten an die GPU liefert, blockiert jede Pause aufgrund eines Page Faults die gesamte Inferenz-Pipeline.

Huge Pages ermöglichen es dem System, Speicher in 2 MB großen Blöcken statt in 4 KB zuzuweisen. Durch das Setzen des glibc-Tunable fordert die Anwendung explizit diese größeren Blöcke an. Dies reduziert drastisch die Häufigkeit, mit der der Kernel die Ausführung stoppen muss, um Metadaten zum Speicher zu verwalten. Das Ergebnis ist ein reibungsloserer Datenfluss zur GPU, da die CPU weniger Zeit für administrative Speicheraufgaben aufwendet und mehr Zeit für die Vorbereitung der Eingaben für die parallele Verarbeitung hat.

Wichtige Details

  • Die Optimierung erfordert glibc Version 2.35 oder neuer, verfügbar auf Ubuntu 22.04 sowie Debian 12 oder später.
  • Die Page Faults fielen während der Tests auf H100-Hardware pro Anfrage von ~145.000 auf ~1.850.
  • Der Durchsatz stieg bei Tool-Calling-Prompts auf H100 um 21 %, auf L4 jedoch nur um 6,5 % für denselben Workload.
  • Auch Ollama-Nutzer verzeichneten Vorteile, mit Leistungssteigerungen zwischen 2 % und 7 %, abhängig vom jeweiligen Rechner.
  • Die Lösung bringt Frameworks wie vLLM oder SGLang kaum Vorteile, da diese bereits Page Faults minimieren.
  • Der Speicherverbrauch stieg durchschnittlich um etwa 0,5 GB, wenn Ollama mit dieser Einstellung ausgeführt wurde.

Warum das wichtig ist

Für Entwickler, die Produkte mit lokalen LLMs erstellen, zeigt diese Erkenntnis, dass die GPU-Leistung nicht der einzige Faktor für die Inferenzgeschwindigkeit ist. Wenn GPUs schneller werden, wie etwa die H100 im Vergleich zur L4, steigt die relative Kostenlast von CPU-seitigen Operationen wie der Speicherzuweisung. Eine feste Verzögerung von 0,1 Sekunden pro Anfrage macht auf einer schnellen Karte einen viel größeren Prozentsatz der Gesamtzeit aus als auf einer langsameren. Das bedeutet, dass die Optimierung systemseitiger Konfigurationen immer wichtiger wird, je schneller die Hardware wird.

Dieser Ansatz bietet Teams, die llama.cpp oder Ollama nutzen, eine risikoarme, aber lohnende Tuning-Möglichkeit. Da keine Code-Änderungen erforderlich sind und die Auswirkungen auf Stabilität oder Antwortqualität minimal sind, kann sie schnell eingesetzt werden, um die Benutzererfahrung zu verbessern. Die Reduktion der Zeit bis zum ersten Token ist besonders wertvoll für interaktive Anwendungen, bei denen die wahrgenommene Latenz die Nutzerzufriedenheit bestimmt.

Was Sie tun können

  • Überprüfen Sie, ob Ihr System glibc 2.35 oder neuer hat, indem Sie ldd --version im Terminal ausführen.
  • Prüfen Sie, ob transparente Huge Pages aktiviert sind, indem Sie /sys/kernel/mm/transparent_hugepage/enabled inspizieren.
  • Starten Sie Ihren llama.cpp-Server, indem Sie GLIBC_TUNABLES=glibc.malloc.hugetlb=1 dem Befehl voranstellen.
  • Für Ollama wenden Sie dieselbe Umgebungsvariable beim Start des ollama serve-Prozesses an.
  • Überwachen Sie die Wirksamkeit, indem Sie AnonHugePages in /proc/[pid]/smaps_rollup prüfen, um sicherzustellen, dass Huge Pages verwendet werden.
  • Vergleichen Sie die Anzahl der Page Faults vor und nach der Änderung mit ps -o min_flt=, um die Reduktion zu quantifizieren.
  • #llama.cpp
  • #linux
  • #performance
  • #ollama
  • #inference

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel