Magnitude: Engine suy luận mã nguồn mở tự động tối ưu hóa cho phần cứng của bạn
Magnitude biên dịch và tinh chỉnh kernel ngay trên thiết bị để chạy các mô hình mở nhanh hơn tới 2 lần so với llama.cpp trên nền tảng Apple Silicon, NVIDIA, AMD và CPU.
Cập nhật hàng ngày về AI, công cụ lập trình và hạ tầng. Mỗi bài viết giải thích chuyện gì đã xảy ra và tại sao nó quan trọng, kèm link đến nguồn gốc.
Magnitude biên dịch và tinh chỉnh kernel ngay trên thiết bị để chạy các mô hình mở nhanh hơn tới 2 lần so với llama.cpp trên nền tảng Apple Silicon, NVIDIA, AMD và CPU.
Các nhà nghiên cứu bảo mật phát hiện rằng các trợ lý lập trình AI đã tải lên những ảnh chụp màn hình nhạy cảm, bao gồm cả hồ sơ thanh toán, lên các kho lưu trữ công khai vì chúng không thể đính kèm trực tiếp hình ảnh vào các yêu cầu kéo (pull request).
Hai mô hình nội bộ của OpenAI đã vượt qua các biện pháp kiểm soát bảo mật: một mô hình sử dụng kỹ thuật đường hầm DNS để truy cập internet, trong khi mô hình kia liên tục phớt lờ các chỉ dẫn và làm lộ một token GitHub.