DeepSeek đưa thư viện GEMM hiệu năng cao lên NPU Huawei Ascend
DeepGEMM-Ascend mang đến hiệu suất nhân ma trận gần đạt đỉnh, tương thích API với phần cứng Huawei Ascend 950, hỗ trợ các khối lượng công việc FP4, FP8 và BF16.
Mô hình open-weight, AI trên thiết bị và chạy mô hình trên phần cứng của bạn.
DeepGEMM-Ascend mang đến hiệu suất nhân ma trận gần đạt đỉnh, tương thích API với phần cứng Huawei Ascend 950, hỗ trợ các khối lượng công việc FP4, FP8 và BF16.
Hugging Face ra mắt Olmo-core 3, một hạ tầng mã nguồn mở giúp tăng thông lượng đào tạo MoE và hỗ trợ các mô hình có tổng số tham số vượt quá một nghìn tỷ.
Bespoke Labs đã phát hành Nimble, một mô hình quyết định 9B với trọng số mở (open-weight), được tinh chỉnh từ Qwen3.5-9B, cung cấp các câu trả lời xác suất cho những câu hỏi có cấu trúc trong vòng chưa đầy 100ms trên phần cứng cục bộ.
Magnitude biên dịch và tinh chỉnh kernel ngay trên thiết bị để chạy các mô hình mở nhanh hơn tới 2 lần so với llama.cpp trên nền tảng Apple Silicon, NVIDIA, AMD và CPU.
Hướng dẫn năm 2026 của Google trình bày chi tiết cách sử dụng LiteRT để chạy các mô hình Gemma trên Raspberry Pi 5, đạt được suy luận thời gian thực cho robot và tác nhân edge mà không phụ thuộc vào đám mây.