DeepSeek portiert Hochleistungs-GEMM-Bibliothek auf Huawei Ascend NPUs
DeepGEMM-Ascend bietet API-kompatible, nahezu peak-leistungsstarke Matrixmultiplikation für Huawei Ascend 950 Hardware und unterstützt FP4-, FP8- und BF16-Workloads.
Open-Weight-Modelle, KI auf dem Gerät und Modelle auf eigener Hardware.
DeepGEMM-Ascend bietet API-kompatible, nahezu peak-leistungsstarke Matrixmultiplikation für Huawei Ascend 950 Hardware und unterstützt FP4-, FP8- und BF16-Workloads.
Hugging Face veröffentlicht Olmo-core 3, eine offene Infrastruktur, die den Durchsatz beim MoE-Training steigert und Modelle mit über einer Billion Gesamtparametern unterstützt.
Bespoke Labs hat Nimble veröffentlicht, ein Open-Weight-Entscheidungsmodell mit 9 Milliarden Parametern, das auf Qwen3.5-9B feinabgestimmt wurde und probabilistische Antworten auf strukturierte Fragen in unter 100 ms auf lokaler Hardware liefert.
Magnitude kompiliert und optimiert Kernel direkt auf dem Gerät, um offene Modelle bis zu 2x schneller als llama.cpp auf Apple Silicon, NVIDIA, AMD und CPU-Systemen auszuführen.
Googles Leitfaden von 2026 beschreibt, wie LiteRT genutzt wird, um Gemma-Modelle auf dem Raspberry Pi 5 auszuführen. Dies ermöglicht Echtzeit-Inferenz für Robotik und Edge-Agenten ohne Abhängigkeit von der Cloud.