Magnitude: Engine suy luận mã nguồn mở tự động tối ưu hóa cho phần cứng của bạn
Magnitude biên dịch và tinh chỉnh kernel ngay trên thiết bị để chạy các mô hình mở nhanh hơn tới 2 lần so với llama.cpp trên nền tảng Apple Silicon, NVIDIA, AMD và CPU.
Cập nhật hàng ngày về AI, công cụ lập trình và hạ tầng. Mỗi bài viết giải thích chuyện gì đã xảy ra và tại sao nó quan trọng, kèm link đến nguồn gốc.
Magnitude biên dịch và tinh chỉnh kernel ngay trên thiết bị để chạy các mô hình mở nhanh hơn tới 2 lần so với llama.cpp trên nền tảng Apple Silicon, NVIDIA, AMD và CPU.