LookAtMyQuant-Compiler reduziert Modellgröße bei minimalen Genauigkeitsverlusten
Ein neuer Open-Source-Quantisierungscompiler nutzt Trellis-Codes und Fisher-Information, um große Sprachmodelle erheblich zu komprimieren, während hohe Benchmark-Ergebnisse beibehalten werden.
Automatisch aus dem englischen Original übersetzt.
Der GitHub-Nutzer ShinMegamiBoson hat LookAtMyQuant veröffentlicht, einen Open-Source-Quantisierungscompiler, der eine deutlich geringere Abweichung von den Originalmodellen erzielt als herkömmliche Methoden. Das am 21. November 2026 vorgestellte Projekt demonstriert, wie gezielte Komprimierung die Dateigrößen um mehr als die Hälfte reduzieren kann, ohne kritische Fähigkeiten im logischen Denken zu opfern. Die Veröffentlichung umfasst detaillierte Benchmarks für mehrere aktuelle Modelle sowie eine spezielle Laufzeitumgebung für Apple-Silicon-Hardware.
Was passiert ist
Die Kernleistung von LookAtMyQuant liegt in der Fähigkeit, Modelle wie Gemma 4 E2B in GGUF-Formate zu komprimieren, wobei die Kullback-Leibler-Divergenz zwölfmal geringer ausfällt als bei der gängigen Q4_K_M-Methode bei identischer Dateigröße. Der Compiler wendet keine einheitliche Komprimierung auf das gesamte Netzwerk an. Stattdessen misst er die Auswirkungen der Komprimierung jeder spezifischen Komponente und weist Bits dort zu, wo sie am wichtigsten sind. Dieser Ansatz ermöglicht es Entwicklern, größere und leistungsfähigere Modelle in Umgebungen mit begrenztem Speicherplatz unterzubringen, ohne die übliche Verschlechterung der Ausgabequalität.
Das Projekt stellt zudem LookAtMyQuant 2 vor, ein verfeinertes Rezept, das Qwen3.5-4B auf nur 1,23 GB komprimierte. Trotz dieser extremen Reduktion auf 2,3 Bits pro Gewicht löste das Modell 330 von 540 exakten Mathematikaufgaben und erreichte damit fast die Leistung viel größerer Vergleichsmodelle. Beim größeren Qwen3.8-27B-Modell reduzierte der Compiler den Speicherbedarf von 53,7 GB auf 7,2 GB. In dieser Konfiguration erreichte das komprimierte Modell dieselbe Punktzahl wie das Original in komplexen Mathematik-Benchmarks und übertraf andere quantisierte Versionen bei Codegenerierung und Tests des allgemeinen Wissens.
Wie es funktioniert
LookAtMyQuant arbeitet als Post-Training-Quantisierungswerkzeug, das die Komprimierung als Optimierungsproblem behandelt. Es berechnet die Fisher-Information für jede Zeile der Gewichte, um deren Empfindlichkeit gegenüber Änderungen zu bestimmen. Zeilen, die stärker zur Präzision der Modellausgabe beitragen, erhalten mehr Bits, während weniger kritische Zeilen aggressiver komprimiert werden. Der Compiler verwendet Trellis-Codes, effiziente fehlerkorrigierende Codes, zur Darstellung der Gewichte. Diese Methode stellt sicher, dass die Gesamtdateigröße innerhalb eines strengen Budgets bleibt, während die Gesamtverzerrung des Modellverhaltens minimiert wird.
Der Prozess umfasst mehrere unterschiedliche Phasen. Zunächst misst der Compiler die durch die Komprimierung einzelner Teile des Modells verursachte KL-Divergenz. Dann erstellt er einen Plan, der Bits pro Zeile basierend auf der berechneten Wichtigkeit zuweist. Abschließend führt er einen Distillationsschritt durch, bei dem das Modell über Tausende von Schritten feinabgestimmt wird. Während dieser Phase wird jede Schicht einmal aus den ursprünglichen Gewichten requantisiert, was dem Modell hilft, sich an die neue komprimierte Repräsentation anzupassen. Die gesamte Pipeline ist so konzipiert, dass sie automatisiert abläuft, mit Skripten, die jeden Job auf Cloud-GPU-Infrastruktur ausführen können.
Wichtige Details
- Der Compiler erzielte eine 12× niedrigere KL-Divergenz als Q4_K_M für Gemma 4 E2B bei gleicher Dateigröße.
- Qwen3.5-4B wurde auf 1,23 GB komprimiert und löste 330 von 540 Mathematikaufgaben, nahe am Wert des Originals (359).
- Qwen3.8-27B wurde auf 7,2 GB reduziert und erreichte dieselbe Punktzahl wie das Originalmodell im GSM8K-Mathematik-Benchmark.
- Das Inkling-2-Mini-Modell wurde in vier Varianten komprimiert; die 12,8-GB-Version entsprach 100 % der Benchmark-Werte des Lehrmodells.
- Die Apple-Silicon-Laufzeitumgebung unterstützt spekulatives Decoding und erreicht bei medianen Aufgaben über 100 Tokens pro Sekunde für den 12,8-GB-Inkling-Build.
- Das vollständige Rezept für Qwen3.5-4B kostete etwa 34 US-Dollar an GPU-Zeit zur Ausführung auf Cloud-Infrastruktur.
Warum es wichtig ist
Für Ingenieure, die lokale KI-Anwendungen entwickeln, sind Speicherbandbreite und Speicherplatz oft die primären Engpässe. Herkömmliche Quantisierungsmethoden wie die Konvertierung in 4-Bit- oder 8-Bit-Ganzzahlen sind einfach umzusetzen, führen aber häufig zu spürbaren Einbußen beim logischen Denken, insbesondere bei komplexen Aufgaben wie Programmierung oder Mathematik. LookAtMyQuant bietet einen Weg, hochrangige kognitive Leistungen in Modellen beizubehalten, die klein genug sind, um auf Consumer-Hardware zu laufen. Dies ermöglicht ausgefeiltere Agenten auf Laptops und Edge-Geräten, ohne ständige Cloud-Konnektivität zu benötigen.
Die Verfügbarkeit des Codes unter der MIT-Lizenz senkt zudem die Hürde für Experimente. Entwickler können diese fortgeschrittenen Komprimierungstechniken nun auf ihre eigenen feinabgestimmten Modelle anwenden. Durch die Nutzung der Fisher-Information zur Steuerung der Bitzuweisung können Teams maßgeschneiderte Quantisierungspläne erstellen, die die spezifischen Fähigkeiten priorisieren, die ihr Modell benötigt, wie etwa Codegenerierung oder Mehrsprachigkeit. Dieses Maß an Kontrolle war zuvor großen Forschungslabors mit erheblichen Rechenressourcen vorbehalten.
Was Sie tun können
- Installieren Sie die Apple-Silicon-Laufzeitumgebung mit pip, um die vorkomprimierten Qwen- und Inkling-Modelle lokal zu testen.
- Verwenden Sie den Befehl
lamq generate, um Inferenzen mit spekulativem Decoding für schnellere Antwortzeiten auszuführen. - Führen Sie den Compiler auf kleineren Modellen wie SmolLM2-360M aus, um den Mess- und Zuweisungsworkflow zu verstehen.
- Untersuchen Sie die bereitgestellten Zeilenpläne, um zu sehen, wie Bits über verschiedene Netzwerkschichten verteilt werden.
- Passen Sie die
modal_app.py-Skripte an, um das vollständige Quantisierungsrezept auf Ihren eigenen Modellen unter Verwendung von Cloud-GPUs auszuführen. - Vergleichen Sie die KL-Divergenz-Metriken Ihrer aktuellen Quantisierungsmethoden mit der LookAtMyQuant-Baseline.



