DeepSeek veröffentlicht DeepInfer-Inferenz-Framework für den großskaligen Produktionseinsatz

DeepSeek hat DeepInfer veröffentlicht, ein Open-Source-Inferenz-Framework, das entwickelt wurde, um seine großskaligen Produktionsdienste zu unterstützen. Die im Oktober 2026 auf GitHub veröffentlichte Version stellt die Kernfunktionen bereit, die für die Bereitstellung der DeepSeek-V4.1-Flash-Modelle in großem Maßstab erforderlich sind, und richtet sich an Ingenieure, die hochdurchsatzfähige Offline-Inferenz-Funktionen benötigen.

Was passiert ist

Das DeepSeek-Team hat das DeepInfer-Repository veröffentlicht, das bereits erhebliche Aufmerksamkeit in der Entwicklergemeinschaft auf sich gezogen hat, mit Tausenden von Sternen und Forks. Diese Veröffentlichung markiert den Übergang ihrer internen Produktionsinfrastruktur zu einem öffentlichen Toolset, das externen Entwicklern ermöglicht, dieselben Optimierungstechniken zu nutzen, die in DeepSeeks eigenen Diensten verwendet werden. Das Framework ist speziell auf den Modell-Checkpoint DeepSeek-V4.1-Flash zugeschnitten und gewährleistet eine enge Integration zwischen dem Software-Stack und der Modellarchitektur.

Im Gegensatz zu allgemeinen Inferenz-Engines wurde DeepInfer mit spezifischen Hardware-Zielen im Sinn entwickelt. Es unterstützt NVIDIA SM100-GPUs und Huawei Ascend 950-NPUs, was einen strategischen Fokus auf High-End-Beschleuniger-Architekturen widerspiegelt. Die Veröffentlichung umfasst optimierte Kernel, Parallelisierungsstrategien und Scheduling-Mechanismen, die entscheidend sind, um niedrige Latenzen und hohen Durchsatz in großskaligen Bereitstellungen aufrechtzuerhalten. Während sich die aktuelle Version auf Offline-Inferenz konzentriert, legt sie den Grundstein für komplexere Serving-Konfigurationen.

Wie es funktioniert

DeepInfer erreicht Leistung durch eine Kombination aus benutzerdefinierten Kerneln und fortschrittlichen Scheduling-Algorithmen. Auf der niedrigsten Ebene nutzt es optimierte Kernel wie FlashMLA, DeepGEMM, DeepEP, TileKernels und DeepSelect sowie benutzerdefinierte TileLang-Kernel. Diese Komponenten erledigen die rechenintensiven Matrixmultiplikationen und Attention-Mechanismen effizient. Für die Parallelisierung unterstützt das Framework Attention Data Parallelism (DP), ausgeglichenes Context Parallelism (CP) und Mixture of Experts Expert Parallelism (MoE EP) mit Expert Parallel Load Balancing (EPLB).

Eine Schlüsselinnovation in DeepInfer ist sein Ansatz zur Beschleunigung des Decodings. Es implementiert DSpark und vertrauensbasiertes geplantes Verifizieren, das Entwurfs-Tokens (Draft Tokens) nutzt, um die Generierung zu beschleunigen. Das System schätzt Konfidenzniveaus ab, um Verifizierungsschritte zu planen, und reduziert so unnötige Berechnungen. Darüber hinaus setzt es Decoder Sliding Window Attention (SWA) bounded replay ein. Diese Technik reduziert die Vorverarbeitungsaufgaben (Prefill), indem nur ein begrenztes Suffix des Kontexts wiederverwendet wird, anstatt die gesamte Historie erneut zu verarbeiten. Ingenieure können dies konfigurieren, indem sie bestimmte Umgebungsvariablen festlegen, um den Truncation-Modus und die Anzahl der beizubehaltenden Tokens zu definieren.

Das Framework bietet außerdem asynchrones Scheduling, das CPU-Batch-Scheduling mit Geräteausführung überlappt, um Overhead zu eliminieren. Es unterstützt batch-invariante Inferenz, wodurch sichergestellt wird, dass die Modellergebnisse unabhängig von der Batch-Zusammensetzung identisch bleiben – ein entscheidender Faktor für Debugging und Reproduzierbarkeit. Deterministisches Sampling ist ebenfalls verfügbar und ermöglicht es Benutzern, bei identischen Eingaben identische Ausgaben zu generieren, indem der Sequenz-Seed fixiert wird. Darüber hinaus unterstützt DeepInfer strukturierte Ausgaben und ermöglicht Einschränkungen bei der Generierung über Regex, JSON-Schemas oder EBNF-Grammatiken.

Wichtige Details

• Unterstütztes Modell: DeepSeek-V4.1-Flash (Checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017).
• Hardware-Unterstützung: NVIDIA SM100 GPUs und Huawei Ascend 950 NPUs.
• Voraussetzungen: Linux, GCC >= 13.0, Python 3.12, CUDA 13 (für NVIDIA) oder CANN 9.2 (für Ascend).
• Parallelisierungsstrategien: Attention DP, ausgeglichenes CP, MoE EP mit EPLB.
• Optimierungstechniken: DSpark mit vertrauensbasiertem geplantem Verifizieren, SWA bounded replay und asynchrones Scheduling.
• Lizenz: Apache License 2.0.

Warum es wichtig ist

Für Software-Ingenieure und ML-Infrastruktur-Teams bietet DeepInfer eine Referenzimplementierung für die effiziente Ausführung großer Sprachmodelle auf moderner Hardware. Die Einbeziehung von batch-invarianter Inferenz und deterministischem Sampling adressiert häufige Schmerzpunkte in Produktionsumgebungen, wo Reproduzierbarkeit für Tests und Compliance unerlässlich ist. Durch die Open-Source-Veröffentlichung dieser Tools ermöglicht DeepSeek der Community, ihre eigenen Bereitstellungen gegen einen State-of-the-Art-Baseline zu benchmarken und zu optimieren.

Die Unterstützung sowohl für NVIDIA- als auch für Huawei-Hardware erweitert die Zugänglichkeit von Hochleistungs-Inferenz und bedient vielfältige Infrastruktur-Setups. Entwickler sollten jedoch beachten, dass diese Veröffentlichung auf Offline-Inferenz fokussiert ist. Ein vollständiger Produktionsdienst würde weiterhin zusätzliche Komponenten erfordern, wie ein KV-Cache-System, die Trennung von Prefill- und Decode-Phasen sowie Lastverteilung über Replikate hinweg. Diese Elemente sind nicht im aktuellen Open-Source-Paket enthalten, was bedeutet, dass Teams DeepInfer in ihre bestehenden Serving-Stacks integrieren oder diese fehlenden Teile selbst entwickeln müssen.

Was Sie tun können

• Klonen Sie das DeepInfer-Repository von GitHub und richten Sie eine Python 3.12-Umgebung ein.
• Installieren Sie die erforderlichen Abhängigkeiten basierend auf Ihrer Hardware unter Verwendung von requirements-nvidia.txt oder requirements-ascend.txt.
• Bauen Sie das Framework aus dem Quellcode mit dem bereitgestellten Skript build.sh, wobei Sie sicherstellen, dass die korrekte Umgebungsvariable DEEPINFER_ACCELERATOR exportiert wird.
• Führen Sie das Beispiel für Offline-Inferenz aus, um das Framework mit dem Standard-Checkpoint DeepSeek-V4.1-Flash zu testen.
• Experimentieren Sie mit strukturierten Ausgaben, indem Sie JSON-Schemas oder Regex-Muster an SamplingParams übergeben.
• Überprüfen Sie die Evaluations-Benchmarks im Verzeichnis eval, um die Leistungsmerkmale auf unterstützter Hardware zu verstehen.