Ausführen eines 180B-MoE-Modells mit 32 GB RAM unter Verwendung von Transformers
Ein Entwickler optimierte Hugging Face Transformers, um Qwen3.8-Flash-Next auf einem MacBook M5 auszuführen, und erreichte nahezu native Geschwindigkeiten durch das Streaming von Experten von der Festplatte.
Automatisch aus dem englischen Original übersetzt.
Ein Software-Ingenieur konnte das 180-Milliarden-Parameter-Modell Qwen3.8-Flash-Next erfolgreich auf einem MacBook M5 mit nur 32 GB Unified Memory ausführen. Durch die Modifikation der Hugging-Face-Transformers-Bibliothek zum direkten Streaming der Gewichte des Mixture-of-Experts-(MoE)-Modells von der Festplatte erzielte das Setup Inferenzgeschwindigkeiten, die mit spezialisierten Engines wie Strata vergleichbar sind. Dieses Experiment zeigt, wie Consumer-Hardware massive Modelle durch aggressives Auslagern von Gewichten (Weight Offloading) und Caching-Strategien bewältigen kann.
Was geschah
Der Autor, Tarek Ziadé, wollte die Abhängigkeit von Cloud-APIs reduzieren, indem er große Sprachmodelle lokal ausführt. Sein primärer Arbeitsplatz, ein PC mit zwei RTX 4090 Grafikkarten namens Orthrus, war oft für Gaming-Aktivitäten der Familie belegt, was ihn dazu veranlasste, lokale Inferenz auf seinem Arbeitslaptop, einem MacBook M5 mit 32 GB RAM, zu erkunden. Erste Versuche mit Standardtools wie llama.app und vLLM zeigten erhebliche Einschränkungen bei der Handhabung von MoE-Modellen, die den verfügbaren Speicher überstiegen. Während einige Engines Gewichte in den CPU-RAM auslagern konnten, litten sie unter Leistungseinbußen aufgrund von PCIe-Bandbreitenengpässen oder fehlenden effizienten Caching-Mechanismen für die Aktivierung spärlicher Experten.
Ziadé konzentrierte sich auf die Optimierung der Hugging-Face-Transformers-Bibliothek, die traditionell gesamte Module vor der Ausführung in den Speicher lädt. Das standardmäßige Offloading in Transformers kopiert alle Experten einer Schicht für jedes Token auf die GPU, unabhängig davon, welche vom Router ausgewählt werden. Dieser Ansatz ist für MoE-Modelle ineffizient, da pro Token nur ein kleiner Bruchteil der Experten aktiv ist. Um dies anzugehen, entwickelte er einen neuen Streaming-Mechanismus, der nur die erforderlichen Experten von der Festplatte in einen begrenzten Cache auf dem Gerät lädt. Die resultierende Implementierung, detailliert im Pull Request #50717 beschrieben, ermöglicht es Transformers, Modelle zu verarbeiten, die deutlich größer als der physische Speicher sind, indem der Festplattenspeicher als Erweiterung des VRAM behandelt wird.
Wie es funktioniert
Die Kerninnovation besteht darin, den Standardprozess des Modul-Ladens durch ein slot-basiertes Caching-System zu ersetzen. Anstatt gesamte Expert-Bänke auf die GPU zu kopieren, verwaltet das System einen vorab zugewiesenen Tensor-Pool auf dem Gerät. Eine Lookup-Tabelle ordnet spezifische Experten-IDs Slots in diesem Pool zu. Wenn der Router des Modells aktive Experten für ein Token auswählt, prüft das System, ob diese bereits im Cache vorhanden sind. Falls nicht, liest es die quantisierten Expert-Gewichte über mehrere I/O-Threads von der Festplatte. Dies ermöglicht es dem bestehenden grouped_mm-Kernel, ohne Modifikation auf den gecachten Slots zu operieren, wodurch die Notwendigkeit eigener Implementierungen für Matrixmultiplikationen entfällt.
Um den Overhead bei der Datenübertragung weiter zu reduzieren, werden die Experten offline auf 3 Bit quantisiert, was das 121 GB große FP8-Expert-Set auf 49 GB auf der Festplatte schrumpfen lässt. Die dichten Schichten werden auf 8 Bit quantisiert und belegen etwa 5,4 GB. Ein separater Pfad auf der Festplatte verarbeitet die 51 GB große N-Gramm-Einbettungstabelle und liest Zeilen nur bei Bedarf. Das System nutzt zudem Prefetching, wobei der Router Experten für nachfolgende Schichten vorhersagt, während die aktuelle Schicht berechnet wird, um einen Teil der Festplattenlatenz zu verbergen. Metal-Kernel, die zur Laufzeit kompiliert werden, übernehmen Operationen, die auf macOS keine schnellen Pfade haben, wie Gated DeltaNet und Hyper-Connections.
Wichtige Details
- Für das Experiment wurde Qwen3.8-Flash-Next verwendet, ein 180B-Parameter-MoE-Modell mit 48 Schichten und 512 Experten pro Schicht.
- Die Inferenz lief auf einem MacBook M5 mit 32 GB Unified Memory und nutzte bei einem 6K-Prompt bis zu ca. 25,4 GB im Spitzenwert.
- Experten wurden auf 3 Bit quantisiert, was den Festplattenbedarf von 121 GB auf 49 GB reduzierte, während dichte Schichten eine 8-Bit-Quantisierung verwendeten.
- Die optimierte Transformers-Implementierung erreichte 13,9 Tokens pro Sekunde bei kurzen Decode-Aufgaben, verglichen mit 14,8 tok/s für Strata.
- Die Prefill-Geschwindigkeit erreichte 228 Tokens pro Sekunde für einen 4K-Prompt und übertraf damit Stratas 220 tok/s leicht.
- Die Lösung erfordert keine C++-Erweiterungen und basiert auf Python, zur Laufzeit kompilierten Metal-Shadern und vorgefertigten Kerneln vom Hub.
Warum das wichtig ist
Für Entwickler, die KI-Anwendungen erstellen, hebt diese Arbeit das Potenzial hervor, State-of-the-Art-Modelle auf Standardhardware ohne teure GPU-Cluster auszuführen. Sie stellt die Annahme infrage, dass große MoE-Modelle spezialisierte Inferenz-Engines oder enorme Mengen an VRAM erfordern. Durch die Nutzung von Disk-Streaming und effizientem Caching können Ingenieure größere Modelle lokal für Tests, Debugging oder datenschutzkritische Aufgaben bereitstellen. Der Ansatz bietet zudem eine Blaupause zur Optimierung speicherlimitierter Workloads in anderen Bereichen, in denen Datensparsity genutzt werden kann.
Die Ergebnisse unterstreichen jedoch auch die Grenzen von General-Purpose-Frameworks wie PyTorch auf Nicht-NVIDIA-Hardware. Die verbleibende Leistungslücke zwischen Transformers und Strata ergibt sich größtenteils aus Synchronisationsproblemen zwischen Host und GPU sowie der Unfähigkeit, Berechnungen auf Kernel-Ebene vollständig mit I/O zu überlappen. Dies deutet darauf hin, dass zwar Softwareoptimierungen einen Großteil der Kluft überbrücken können, für maximale Effizienz jedoch eine tiefere Integration mit hardware-spezifischen Funktionen erforderlich ist. Entwickler sollten die Flexibilität von Transformers gegen die Rohleistung dedizierter Engines abwägen, wenn sie ihren Inferenz-Stack auswählen.
Was Sie tun können
- Installieren Sie den experimentellen Branch von Transformers aus Pull Request #50717, um das Expert-Streaming auf Ihrer eigenen Hardware zu testen.
- Konvertieren Sie MoE-Modell-Experten in Quantisierungen mit niedrigerer Bit-Tiefe (z. B. 3 Bit), um die Anforderungen an die Festplatten-I/O und den Cache-Fußabdruck zu reduzieren.
- Verwenden Sie eine schnelle NVMe-SSD, um die Latenz beim Streaming von Gewichten von der Festplatte in den Gerätespeicher zu minimieren.
- Überwachen Sie die Speichernutzung genau, da das System nahe an den Grenzen des verfügbaren RAMs arbeitet und geschlossene Hintergrundanwendungen erfordert.
- Experimentieren Sie mit Prefetching-Strategien, um die Festplattenlese-Latenz während der Multi-Schicht-Berechnung zu verbergen.
- Prüfen Sie den
moe-expert-streamingSpace für Codebeispiele und Benchmark-Details, um den Ansatz auf andere MoE-Architekturen zu übertragen.



