16B-LLMs mit 1 GB RAM dank eigener llama.cpp-Patches
Das Projekt smolmaxxing zeigt, wie sich große Mixture-of-Experts-Modelle auf Geräten mit nur 1 GB nutzbarem RAM ausführen lassen, indem Gewichte vom Flash-Speicher gestreamt werden.
Automatisch aus dem englischen Original übersetzt.
Ein neues Open-Source-Projekt namens smolmaxxing beweist, dass moderne Large Language Models (LLMs) auf Hardware laufen können, die zuvor als veraltet galt. Durch spezielle Patches für die Inferenz-Engine llama.cpp ist es Entwicklern gelungen, Modelle mit 16 Milliarden Parametern auf einer Xiaomi-TV-Box und einem iPad Air von 2013 auszuführen. Das im November 2026 auf GitHub veröffentlichte Projekt setzt auf aggressives Speichermanagement und eigene Kernels, um Standard-Hardware-Einschränkungen zu umgehen.
Was passiert ist
Das Repository smolmaxxing dokumentiert Experimente zur Ausführung großer Mixture-of-Experts-Modelle (MoE) auf Geräten mit stark eingeschränktem Arbeitsspeicher (RAM). Die primären Testgeräte waren eine Xiaomi TV Box S (3. Generation) mit etwa 1 GB nutzbarem RAM und ein Apple iPad Air (2013) mit rund 700 MB nutzbarem RAM. Trotz dieser engen Grenzen erreichte das Projekt funktionale Inferenzgeschwindigkeiten für Modelle, die deutlich größer sind als der verfügbare Speicher.
Auf der Android-basierten TV-Box lief das Modell Ling-mini-2.0 16B mit 5,1 Tokens pro Sekunde. Auf dem älteren iOS-Tablet wurde dasselbe Modell mit Geschwindigkeiten zwischen 2,6 und 4,5 Tokens pro Sekunde ausgeführt. Für leichtere tägliche Aufgaben bewältigte die TV-Box Qwen3.5-2B mit 7,7 Tokens pro Sekunde, während das iPad ein 1-Bit-quantisiertes Bonsai-1.7B-Modell mit 24 bis 26 Tokens pro Sekunde ausführte. Alle Leistungsmetriken wurden direkt auf den physischen Geräten gemessen, nicht simuliert.
Das Projekt betont, dass diese Ergebnisse keine isolierten Ausreißer sind, sondern das Ergebnis reproduzierbarer Engineering-Techniken. Die Autoren weisen darauf hin, dass die Methoden auf jedes Linux- oder Android-Gerät anwendbar sind, bei dem die Modellgröße den verfügbaren RAM übersteigt, vorausgesetzt, der Speichermedium ist schnell genug für das Streaming von Daten. Zukünftige Erweiterungen sollen Smartphones, Einplatinencomputer und Router einschließen.
Wie es funktioniert
Die Kerninnovation liegt in einer Reihe von Patches, die auf llama.cpp angewendet werden, einer beliebten C++-Bibliothek für die lokale Ausführung von LLMs. Standard-Inferenz-Engines erfordern typischerweise, dass das gesamte Modell oder zumindest alle aktiven Parameter im RAM resident sind. Smolmaxxing hebt diese Anforderung auf, indem der Flash-Speicher als Erweiterung des Arbeitsspeichers behandelt wird. Da MoE-Modelle für jedes Token nur eine kleine Teilmenge der „Experten“ aktivieren, hält das System häufig genutzte Experten im RAM und streamt den Rest bei Bedarf vom Flash-Speicher. Zudem werden die Experten der nächsten Ebene vorgezogen (Prefetching), um die Latenz zu minimieren.
Um dieses Streaming auf schwachen CPUs möglich zu machen, führt das Projekt eigene Kernels ein, die auf spezifische Chip-Architekturen zugeschnitten sind. Für den Cortex-A55-Prozessor in der TV-Box implementierten Ingenieure einen 1-Bit-Lookup-Table-Kernel und packten 2-Bit- und Ternär-Formate neu. Der Apple A7-Chip im iPad verfügt über keine Dot-Product-Anweisungen, daher entwickelte das Team alternative Versionen dieser Kernels, die nur auf grundlegenden NEON-Anweisungen basieren. Diese Optimierungen reduzieren die Rechenlast pro Operation, sodass langsamere Prozessoren mit dem Datenstrom aus dem Speicher Schritt halten können.
Weitere Speichereinsparungen werden durch das Beschneiden des Vokabulars des Modells erzielt. Da die meisten Wörter eines Standard-Vokabulars während der Inferenz selten verwendet werden, entfernt das Projekt ungenutzte Ausgabezeilen, um RAM freizugeben. Auf der TV-Box deaktiviert ein „Headless“-Modus den Android-Launcher und Hintergrund-Google-Dienste während der Inferenz, um sicherzustellen, dass jeder verfügbare Megabyte RAM dem Modell gewidmet ist. Diese Kombination aus selektivem Laden, eigenem Low-Level-Code und systemseitigem Ressourcenabbau ermöglicht es 8B- und 16B-Modellen, innerhalb eines 1-GB-Speicherbudgets zu arbeiten.
Wichtige Details
- Getestete Hardware: Xiaomi TV Box S (3. Gen.) mit Amlogic S7D-Chip und iPad Air (2013) mit Apple A7-Chip.
- Speicherbeschränkungen: Beide Geräte operierten mit etwa 1 GB oder weniger nutzbarem RAM.
- Spitzenleistung: Das 16B-Modell Ling-mini-2.0 lief mit 5,1 tok/s auf der TV-Box und bis zu 4,5 tok/s auf dem iPad.
- Kerntechnik: Mixture-of-Experts-Modelle werden vom Flash-Speicher gepagert, wobei nur aktive Experten im RAM gehalten werden.
- Softwarebasis: Alle Änderungen sind Patches, die auf die llama.cpp-Inferenz-Engine angewendet werden; das Standard-llama.cpp kann diese Modelle nicht laden.
- Verfügbarkeit: Fertige Modelldateien sind auf Hugging Face gehostet, zusammen mit Einrichtungsanleitungen für ARMv8.2-Android- und Jailbroken-iOS-12-Geräte.
Warum es wichtig ist
Für Software-Ingenieure und KI-Praktiker stellt dieses Projekt die Annahme infrage, dass lokale LLM-Inferenz High-End-GPUs oder erheblichen RAM erfordert. Es demonstriert, dass sorgfältiges Systemprogrammieren signifikante Fähigkeiten aus ungenutzter Consumer-Elektronik herausholen kann. TV-Boxen, alte Tablets und Router stehen oft ungenutzt herum, besitzen aber CPUs und Flash-Speicher, die sinnvolle KI-Workloads bewältigen können, wenn der Software-Stack korrekt optimiert ist. Dies eröffnet Wege für den Einsatz von Edge-KI in Umgebungen, in denen Stromverbrauch, Kosten oder Platz traditionelle Server verbieten.
Die Techniken unterstreichen auch die Bedeutung architekturspezifischer Optimierung. Generische Quantisierung reicht für extreme Randfälle oft nicht aus. Indem Entwickler eigene Kernels schreiben, die spezifische Befehlssätze wie NEON nutzen, können sie Leistungen herauskitzeln, die generische Bibliotheken verfehlen. Dieser Ansatz ist besonders relevant für Mixture-of-Experts-Modelle, die aufgrund ihrer dünn besetzten Aktivierungsmuster inhärent für Paging-Strategien geeignet sind. Wenn Modelle immer größer werden, wird effizientes Speichermanagement genauso kritisch wie reine Rechenleistung.
Was Sie tun können
- Laden Sie die gepatchten llama.cpp-Binaries und fertige Modelldateien aus dem smolmaxxing-Hugging-Face-Repository herunter.
- Testen Sie das Setup auf einem ARMv8.2-Android-Gerät anhand der Anleitung in
docs/tv-box-setup.md. - Experimentieren Sie mit einem Jailbroken-iPad unter iOS 12.5.7 unter Verwendung der Skripte im Verzeichnis
ipad-air/. - Lesen Sie
docs/how-it-works.md, um die spezifischen Vorteile jedes Kernels und jeder Speicheroptimierungstechnik zu verstehen. - Bauen Sie Modelle für Ihre eigene Hardware mit den Tools im Verzeichnis
tools/neu auf, folgen Sie dabei den Anweisungen indocs/models.md. - Lesen Sie
EXPERIMENT.md, um die 160 von den Autoren dokumentierten Experimente und Fehlschläge zu analysieren und so häufige Fehlerquellen zu vermeiden.



