DeepSeek、高性能GEMMライブラリをHuawei Ascend NPUに移植
DeepGEMM-Ascendは、API互換性を保ちながら、Huawei Ascend 950ハードウェアでピークに近い行列乗算性能を実現し、FP4、FP8、BF16ワークロードをサポートします。
オープンウェイトモデル、オンデバイスAI、自分で管理するハードウェアでのモデル運用。
DeepGEMM-Ascendは、API互換性を保ちながら、Huawei Ascend 950ハードウェアでピークに近い行列乗算性能を実現し、FP4、FP8、BF16ワークロードをサポートします。
Hugging Faceがオープンインフラ「Olmo-core 3」を公開。MoE学習のスループットを向上させ、総パラメータ数1兆を超えるモデルに対応します。
Bespoke Labsは、Qwen3.5-9Bからファインチューニングされたオープンウェイトの9B意思決定モデル「Nimble」をリリースしました。このモデルは、ローカルハードウェア上で100ミリ秒未満で構造化された質問に対する確率的な回答を提供します。
Magnitude はデバイス上でカーネルをコンパイルし調整することで、Apple Silicon、NVIDIA、AMD、CPU環境において llama.cpp より最大2倍高速にオープンモデルを実行します。
Googleの2026年ガイドでは、LiteRTを使用してRaspberry Pi 5上でGemmaモデルを実行し、クラウド依存なしでロボティクスやエッジエージェント向けのリアルタイム推論を実現する方法が詳細に説明されています。