DeepSeek-V4 mit 284 Mrd. Parametern auf einer 64-GB-CPU dank neuer Kernel-Patches

Eine neue Reihe von Kernel-Patches und Quantisierungs-Tools namens llama-modchip ermöglicht es Entwicklern, das Modell DeepSeek-V4-Flash mit 284 Milliarden Parametern auf einem Standard-Rechner mit 64 GB RAM und ausschließlich CPU-Nutzung auszuführen. Das am 8. November 2026 veröffentlichte Projekt demonstriert, dass massive Mixture-of-Experts-Architekturen (MoE) effizient im System-RAM arbeiten können, ohne teure GPU-Cluster zu benötigen oder Speicherüberlauf-Fehler zu verursachen.

Was passiert ist

Die Hauptschwierigkeit bei großen Sprachmodellen war schon immer die Speicherkapazität. Standard-Builds von DeepSeek-V4-Flash erfordern in der Regel über 76 GiB Speicherplatz, was den verfügbaren RAM auf den meisten Linux-Systemen mit 64 GB übersteigt. Diese Diskrepanz zwingt das Betriebssystem meist dazu, langsames Disk-Swapping zu nutzen, oder führt zu Out-of-Memory-Abstürzen. Das llama-modchip-Projekt löst dieses Problem, indem es den Modell-Checkpoint auf 56,56 GiB komprimiert, sodass das gesamte Modell und sein Kontextfenster bequem in 62,5 GiB nutzbarem Linux-RAM Platz finden.

Neben dem reinen Einpassen des Modells in den Speicher führt das Projekt bedeutende Leistungsoptimierungen für die CPU-Inferenz ein. Durch den Ersatz standardmäßiger Matrix-Vektor-Schleifen durch Multi-Column-Tiling-Schedules und die Nutzung von AVX-512BW-Befehlen steigern die Patches die Prefill-Geschwindigkeit um 77 % und die Decode-Geschwindigkeit um 53 %. Auf einem 16-Kern-Zen-5-Prozessor entspricht dies 44,4 Tokens pro Sekunde während des Prefills und zwischen 9,1 und 14,7 Tokens pro Sekunde während der Generierung, was eine interaktive Nutzung auf Consumer-Hardware ermöglicht.

Das Projekt unterstützt auch kleinere MoE-Modelle wie Nemotron-3.5-30B-A3B, die auf Laptops mit 16–32 GB RAM laufen können. In diesen Konfigurationen erreicht das System Geschwindigkeiten zwischen 25,0 und 60,4 Tokens pro Sekunde. Für Nutzer mit Hybrid-Setups, die eine CPU mit einer 16-GB-GPU kombinieren, kann das Tool heiße Attention-Layer auf die GPU auslagern, während kalte geroutete Experten im CPU-RAM verbleiben, was den Durchsatz auf über 80 Tokens pro Sekunde treibt.

Wie es funktioniert

Die Kerninnovation liegt in einer benutzerdefinierten Quantisierungsmethode namens Fractal-64 sowie spezifischen Kernel-Patches für die ggml-Bibliothek. Fractal-64 nutzt einen hybriden Ansatz, bei dem empfindliche Layer wie Embeddings und geteilte Experten in höheren Präzisionsformaten wie Q4_K oder F32 gehalten werden, während der Großteil der gerouteten MoE-Experten auf IQ1_S oder Q2_0 komprimiert wird. Dies reduziert die effektive Bitbreite auf bis zu 1,71 Bits pro Gewicht für DeepSeek-V4-Flash, ohne die Modellqualität signifikant zu verschlechtern.

Um Datenbewegungen effizient zu verwalten, setzt das System auf einen Stockfish-PVS-v2-Drafter, ein winziges 1,64 MB großes N-Gramm-Modell, das wahrscheinliche nächste Tokens vorhersagt. Dies ermöglicht selbst-spekulatives Decoding, bei dem die CPU mehrere Tokens gleichzeitig verifiziert. Zusätzlich nutzen die Kernel-Patches Non-Temporal-Streaming-Hints, um sicherzustellen, dass das Laden kalter Expertengewichte aus dem RAM nicht die heißen Key-Value-Cache-Zeilen aus dem L3-Cache verdrängt, wodurch hohe Trefferquoten für den aktiven Kontext erhalten bleiben.

Wichtige Details

• DeepSeek-V4-Flash passt in 56,56 GiB Speicherplatz und läuft innerhalb von 57,61 GiB VmRSS auf einem 64-GB-Linux-System.
• Das Projekt erreicht 44,4 Tokens pro Sekunde beim Prefill und 9,1–14,7 Tokens pro Sekunde beim Decode auf einer reinen 64-GB-CPU-Konfiguration.
• Nemotron-3.5-30B-A3B läuft auf Laptops mit 16–32 GB RAM bei Geschwindigkeiten zwischen 25,0 und 60,4 Tokens pro Sekunde.
• Benutzerdefinierte GGUF-Tensoren verwenden Typ-ID 40 (GGML_TYPE_Q2_0), was bedeutet, dass unpatched Tools wie Standard-Ollama oder LM Studio diese Modelle ablehnen werden.
• Die Wiederherstellung des Kontexts für Claude-Code-Prompts mit 40 Tools dauert nur 13,1–32,6 Millisekunden unter Verwendung von /dev/shm KV-Slot-Snapshots.
• Die Standardkonfiguration evaluiert alle 6 gerouteten Experten plus einen geteilten Experten pro Layer ohne Expert-Dropping.

Warum das wichtig ist

Für Software-Ingenieure und technische Gründer senkt diese Entwicklung die Einstiegshürde für den Einsatz modernster KI-Modelle. Sie eliminiert die Notwendigkeit kostspieliger GPU-Infrastruktur für viele Inferenz-Aufgaben und ermöglicht es Teams, leistungsstarke Modelle auf vorhandener Server-Hardware oder sogar auf High-End-Entwickler-Laptops auszuführen. Dieser Wandel kann die Betriebskosten erheblich senken und die Deployment-Pipelines für Anwendungen vereinfachen, die lange Kontextfenster erfordern, wie Code-Analyse oder Dokumentenprüfung.

Die Fähigkeit, 256K-Kontextfenster vollständig im RAM auszuführen, verändert auch, wie Entwickler Agent-Workflows angehen. Mit sofortigen Kontext-Wiederherstellungszeiten können Agents komplexe Zustände über mehrere Tool-Aufrufe hinweg beibehalten, ohne die Latenzstrafen, die mit diskbasierter Speicherung verbunden sind. Dies macht lokale, private KI-Assistenten für Unternehmensumgebungen praktikabler, in denen Datensouveränität und Geschwindigkeit kritische Anliegen sind.

Was Sie tun können

• Prüfen Sie die Eignung Ihrer CPU für AVX-512- oder NEON-Unterstützung mit dem bereitgestellten Python-Skript, bevor Sie mit der Installation beginnen.
• Verwenden Sie die vorkompilierte llama-server-modchip-linux-x86_64-Binärdatei, um Kompatibilitätsprobleme mit Standard-builds von llama.cpp zu vermeiden.
• Beginnen Sie mit dem Nemotron-30B-Modell, wenn Sie weniger als 64 GB RAM haben, um die Leistung auf Ihrer spezifischen Hardware zu testen.
• Aktivieren Sie FlashAttention mit dem Flag -fa on, wenn Sie DeepSeek-V4-Flash ausführen, um den Prefill-Durchsatz zu maximieren.
• Überwachen Sie die L3-Cache-Nutzung und Token-Acceptance-Rates über das Web-Telemetrie-HUD, um Ihre Thread-Anzahl fein abzustimmen.
• Vermeiden Sie die Verwendung standardmäßiger Quantisierungs-Tools; verwenden Sie stattdessen den Befehl ./modchip quantize, um Modelle in das erforderliche Fractal-64-Format zu transkodieren.