DeepSeek veröffentlicht DeepInfer-Engine mit Unterstützung für Huawei Ascend als Open Source

DeepSeek hat DeepInfer veröffentlicht, die Open-Source-Inferenz-Engine, die hinter seiner API steht. Dies markiert eine bedeutende Abkehr von der bisherigen Strategie, nur Modellgewichte freizugeben. Am 20. Oktober 2026 angekündigt, ermöglicht dieses Framework Entwicklern, das Modell DeepSeek-V4.1 Flash auf ihrer eigenen Infrastruktur auszuführen, indem es optimierte Kernel und Scheduling-Mechanismen nutzt, die zuvor intern gehalten wurden.

Die Veröffentlichung ist nicht nur aufgrund der Software selbst bemerkenswert, sondern auch wegen ihrer Hardware-Unterstützung. DeepInfer läuft nativ auf Nvidias SM100-Architektur, die in den Blackwell-Rechenzentrums-GPUs zu finden ist, sowie auf Huaweis Ascend 950 NPU-Serie. Diese doppelte Unterstützung unterstreicht eine wachsende Annäherung zwischen DeepSeek und chinesischen Hardware-Herstellern angesichts der anhaltenden Exportbeschränkungen für fortschrittliche US-Chips.

Was passiert ist

Jahrelang stellte DeepSeek seine Modellgewichte zum Download bereit, sodass Entwickler Drittanbieter-Tools wie vLLM nutzen konnten, um sie auszuführen. Das Unternehmen wies jedoch darauf hin, dass die effiziente Ausführung eines Modells mehr erfordert als nur die Gewichte; es bedarf ausgefeilter Software zur Verwaltung von Anfragen, zur Verteilung der Arbeit über mehrere Chips hinweg und zur schnellen Generierung von Antworten. Im April 2025 erklärte DeepSeek, dass die Veröffentlichung des vollständigen Inferenz-Stacks aufgrund der engen Kopplung an die interne Infrastruktur und begrenzter Wartungsressourcen unpraktisch sei.

Diese Haltung hat sich mit dem Start von DeepInfer geändert. Unter der Apache 2.0 Lizenz veröffentlicht, umfasst das Framework optimierte Rechen-Kernel wie FlashMLA, DeepGEMM und DeepEP. Es enthält zudem Kommunikationsbibliotheken und Mechanismen zur Verteilung von Inferenzaufgaben über mehrere Chips. Das Unternehmen gibt an, dass das Teilen dieses Produktions-Stacks der Community helfen soll, Rechenkosten zu senken, den Energieverbrauch zu reduzieren und KI erschwinglicher zu machen.

Neben der Haupt-Engine hat DeepSeek deepseek-recipe als Open Source veröffentlicht, eine Begleitbibliothek für Rust und Python. Dieses Tool übernimmt die Konvertierung von API-Anfragen in Modelleingaben und verarbeitet Ausgaben zurück in Antworten, was Entwicklern hilft, das Verhalten der offiziellen DeepSeek-API in ihren eigenen Bereitstellungen nachzubilden. Eine aktualisierte Version dieser Bibliothek wurde zusammen mit der Hauptankündigung veröffentlicht, nachdem sie im September zunächst stillschweigend erschienen war.

Wie es funktioniert

DeepInfer setzt verschiedene fortgeschrittene Techniken ein, um den Durchsatz zu maximieren und die Latenz zu minimieren. Es unterstützt spekulatives Decoding, eine Methode, die mehrere Tokens gleichzeitig vorhersagt und verifiziert, um die Antwortgenerierung zu beschleunigen. Die Engine nutzt außerdem asynchrones Scheduling, um sicherzustellen, dass Prozessoren weniger Zeit damit verbringen, auf neue Aufgaben zu warten, was die Gesamteffizienz verbessert.

Das Framework ist für Offline-Inferenz konzipiert und umfasst Kernfunktionen, die für die Bereitstellung im großen Maßstab erforderlich sind. Es enthält jedoch nicht alle Komponenten, die für einen vollständigen Produktionsdienst nötig sind. Fehlende Elemente sind ein KV-Cache-Managementsystem, Infrastruktur zur Trennung von Inferenzstufen über Maschinen hinweg und Lastverteilung über Replikate. Entwickler müssen diese umgebenden Infrastrukturkomponenten selbst bereitstellen, was DeepSeek wahrscheinlich ermöglichte, die Kern-Engine zu veröffentlichen, ohne sein gesamtes internes Cluster-Management-System preiszugeben.

Strukturierte Ausgaben werden ebenfalls unterstützt, sodass Entwickler exakte Formate für Modellantworten spezifizieren können. Diese Funktion ist besonders nützlich für Anwendungen, die strenge Datenschemas erfordern, da sie den Bedarf an Nachbearbeitungskorrekturen reduziert.

Wichtige Details

• DeepInfer wird unter der Apache 2.0 Lizenz veröffentlicht und unterstützt das Modell DeepSeek-V4.1 Flash.
• Die Hardware-Unterstützung beschränkt sich auf Nvidia SM100 (Blackwell) GPUs und Huawei Ascend 950 NPUs; ältere Nvidia-Architekturen wie Hopper werden nicht unterstützt.
• Das Framework umfasst optimierte Kernel wie FlashMLA, DeepGEMM und DeepEP sowie spekulatives Decoding und asynchrones Scheduling.
• Eine Begleitbibliothek, deepseek-recipe, ist für Rust und Python verfügbar, um die Verarbeitung von Anfragen und Antworten zu übernehmen.
• Einige Funktionen, wie batch-invariante Inferenz und deterministisches Sampling, sind derzeit nur auf Nvidia-Hardware verfügbar.
• DeepSeek hat keine Leistungs-Benchmarks für Huawei-Chips bereitgestellt, wodurch die vergleichende Effizienz zwischen den beiden Plattformen unklar bleibt.

Warum es wichtig ist

Für Software-Ingenieure und Infrastruktur-Leads bietet DeepInfer einen direkten Weg, die Leistungsmerkmale der DeepSeek-API zu replizieren, ohne auf externe Dienste angewiesen zu sein. Durch den Zugang zu denselben Optimierungen, die in der Produktion verwendet werden, kann das Framework den Rechenaufwand bei der Ausführung großer Sprachmodelle erheblich reduzieren. Dies ist besonders relevant für Teams, die Kosten senken oder die Latenz in Umgebungen mit hohem Durchsatz verbessern möchten.

Die Einbeziehung der Unterstützung für Huawei Ascend 950 ist strategisch bedeutsam. Da US-Exportbeschränkungen den Zugang chinesischer Unternehmen zu Nvidias fortschrittlichsten Chips begrenzen, signalisiert DeepSeeks Investition in Huawei-Hardware ein viable alternatives Ökosystem. Für globale Entwickler bedeutet dies, dass die Optimierung für Nicht-Nvidia-Hardware zunehmend Mainstream wird, was die Lieferkette für KI-Infrastruktur potenziell diversifizieren könnte.

Allerdings bedeutet der teilweise Charakter der Veröffentlichung, dass die Integration von DeepInfer in bestehende Systeme zusätzlichen Engineering-Aufwand erfordert. Teams müssen fehlende Komponenten wie Load Balancer und Cache Manager selbst erstellen oder integrieren. Trotz dessen bietet die Verfügbarkeit der Kern-Engine einen wertvollen Referenzpunkt, um zu verstehen, wie Hochleistungs-Inferenz erreicht wird, und liefert Erkenntnisse, die auf andere Engines und Hardware-Plattformen übertragen werden können.

Was Sie tun können

• Ladenen Sie DeepInfer und die deepseek-recipe-Bibliothek aus den offiziellen Repositories von DeepSeek herunter, um Offline-Inferenz zu experimentieren.
• Prüfen Sie, ob Ihre aktuelle Hardware den unterstützten Spezifikationen SM100 oder Ascend 950 entspricht, bevor Sie eine Migration planen.
• Untersuchen Sie die enthaltenen optimierten Kernel und Kommunikationsbibliotheken, um mögliche Verbesserungen für Ihre eigenen Inferenz-Pipelines zu identifizieren.
• Nutzen Sie die Funktionen für strukturierte Ausgaben, um strenge Antwortformate in Ihren Anwendungen durchzusetzen und die Logik zur Nachbearbeitung zu reduzieren.
• Verfolgen Sie Community-Diskussionen und Updates bezüglich zukünftiger Unterstützung für fehlende Komponenten wie KV-Cache-Management und Lastverteilung.
• Vergleichen Sie die Leistung von spekulativem Decoding und asynchronem Scheduling in Ihrem spezifischen Anwendungsfall mit Ihrer aktuellen Einrichtung.