Ggml 1.0 ổn định suy luận AI cục bộ với FP8 và tối ưu hóa đa backend
Thư viện ggml đạt phiên bản 1.0, giới thiệu hỗ trợ FP8, kiểm soát cắt ngắn YaRN và cải thiện hiệu suất đáng kể trên các backend CUDA, Metal, Vulkan cùng nhiều nền tảng khác cho mô hình ngôn ngữ lớn cục bộ
Được dịch tự động từ bản gốc tiếng Anh.
Thư viện mã nguồn mở ggml đã đạt phiên bản 1.0.0, đánh dấu một cột mốc ổn định quan trọng cho backend tính toán vốn là nền tảng của nhiều công cụ mô hình ngôn ngữ lớn chạy cục bộ. Được phát hành vào ngày 14 tháng 11 năm 2026, bản cập nhật này loại bỏ các API lỗi thời, giới thiệu hỗ trợ độ chính xác số thực dấu chấm động 8-bit (FP8) và mang đến những tối ưu hóa hiệu suất sâu rộng trên các backend phần cứng bao gồm NVIDIA CUDA, Apple Metal và Vulkan.
Chuyện gì đã xảy ra
Bản phát hành này thể hiện sự trưởng thành của mã nguồn ggml, thư viện tensor nền tảng cho các dự án như llama.cpp. Các nhà bảo trì đã tinh gọn API công khai bằng cách loại bỏ các thao tác kế thừa cũ như DIAG_MASK_INF và DIAG_MASK_ZERO. Việc dọn dẹp này đơn giản hóa giao diện cho các nhà phát triển và nâng cấp giao thức gọi thủ tục từ xa (RPC) lên phiên bản 9. Phiên bản giao thức mới áp dụng các kiểm tra tương thích nghiêm ngặt hơn, từ chối kết nối từ các thiết bị đầu cuối chạy phiên bản phần mềm không tương thích, đồng thời cải thiện thời gian tải và xử lý các lần bắt tay (handshake) thất bại mượt mà hơn.
Ngoài việc vệ sinh API, bản cập nhật còn giới thiệu các tính năng quan trọng cho kiến trúc mô hình hiện đại. Nhà phát triển giờ đây có thể cấu hình cắt ngắn YaRN (YaRN truncation), một kỹ thuật dùng để mở rộng cửa sổ ngữ cảnh của transformer mà không cần huấn luyện lại, thông qua các hàm getter và setter mới. Thư viện cũng bổ sung hỗ trợ gốc cho OCP FP8 (Open Compute Project 8-bit floating point), một định dạng độ chính xác ngày càng được các nhà cung cấp phần cứng áp dụng để giảm yêu cầu băng thông bộ nhớ trong quá trình suy luận. Những thay đổi này đi kèm với công việc tối ưu hóa hiệu suất rộng rãi, bao gồm nhân ma trận được tối ưu cho kích thước lô nhỏ và các thao tác hợp nhất (fused operations) cho mô hình Mixture of Experts (MoE).
Cách hoạt động
Ggml hoạt động như một thư viện tensor nhẹ, được thiết kế để suy luận hiệu quả trên phần cứng tiêu dùng. Trong bản phát hành này, bộ lập lịch lõi đã được tinh chỉnh để tránh tải lên dữ liệu đầu vào không được đọc bởi đồ thị tính toán hiện tại. Nó cũng chỉ nạp trước (prefetch) những đầu vào được tạo ra bởi các phần chia nhỏ trước đó trong kế hoạch thực thi. Đối với các mô hình MoE, vốn chỉ kích hoạt một tập con các chuyên gia mạng nơ-ron cho mỗi token, hệ thống cache giờ đây có thể chuyển một số tính toán khi miss cache sang CPU và sao chép kết quả trở lại bất đồng bộ, ngăn chặn tình trạng GPU bị đứng (stall).
Các tối ưu hóa đặc thù theo backend thúc đẩy phần lớn mức tăng hiệu suất. Trên CUDA, thư viện hiện hỗ trợ nhân ma trận lượng tử hóa ít dòng (few-row quantized matrix multiplications) cho kích thước lô từ 2 đến 24, phổ biến trong các kịch bản chat tương tác. Nó cũng triển khai các phép nhân ma trận cổng (gate) và up-matrix hợp nhất cho các checkpoint NVFP4. Trên backend Metal của Apple, định tuyến MoE được hợp nhất vào các buffer lệnh đơn lẻ để giảm chi phí phụ trội. Vulkan nhận được kernel prefill Intel FlashAttention, trong khi OpenCL giới thiệu FlashAttention phân rã cho GPU Adreno. Những thay đổi này đảm bảo thư viện tận dụng các tính năng đặc thù phần cứng như tensor cores hoặc bố cục bộ nhớ chuyên biệt mà không yêu cầu người dùng cuối phải tự điều chỉnh thủ công.
Chi tiết chính
- Dọn dẹp API: Các API công khai lỗi thời và thao tác
DIAG_MASKkế thừa đã bị loại bỏ, giúp đơn giản hóa giao diện và nâng cấp giao thức RPC lên v9. - Hỗ trợ FP8: Hỗ trợ gốc cho độ chính xác OCP FP8 giúp giảm sử dụng băng thông bộ nhớ, với các kernel hợp nhất cụ thể cho phép nhân ma trận gate/up NVFP4 trên CUDA.
- Cấu hình YaRN: Các hàm mới
ggml_rope_set_truncatevàggml_rope_get_truncatecho phép nhà phát triển kiểm soát làm tròn biên sửa lỗi YaRN cho các cửa sổ ngữ cảnh mở rộng. - Hiệu quả bộ lập lịch: Bộ lập lịch lõi giờ đây bỏ qua việc tải lên các đầu vào không sử dụng và chỉ nạp trước dữ liệu cần thiết, giảm lưu lượng bộ nhớ và độ trễ.
- Tối ưu hóa MoE: Định tuyến MoE hợp nhất trên Metal và bộ lập lịch MoE phía thiết bị trên SYCL cải thiện thông lượng cho các mô hình chuyên gia thưa (sparse expert models).
- Phủ sóng Backend rộng rãi: Cải thiện hiệu suất trải dài trên các backend CUDA, Metal, Vulkan, SYCL, OpenCL, WebGPU, Hexagon và CPU, đảm bảo lợi ích nhất quán trên nhiều loại phần cứng khác nhau.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng ứng dụng AI cục bộ, ggml 1.0.0 cung cấp một nền tảng ổn định và hiệu suất cao hơn. Việc loại bỏ các API lỗi thời giảm bớt gánh nặng bảo trì và hạn chế rủi ro sử dụng các đường dẫn code cũ hoặc kém hiệu quả. Sự ra mắt của hỗ trợ FP8 đặc biệt quan trọng khi các nhà cung cấp phần cứng ngày càng ưu tiên số học độ chính xác thấp để tăng hiệu quả. Bằng cách hỗ trợ các định dạng này một cách gốc, ggml cho phép nhà phát triển tận dụng các khả năng GPU mới hơn mà không cần chờ đợi các framework cấp cao hơn cập nhật.
Các tối ưu hóa hiệu suất giải quyết các mẫu sử dụng thực tế. Các ứng dụng tương tác thường xử lý các lô token nhỏ, nơi mà các tối ưu hóa lô lớn truyền thống không mang lại lợi ích. Các kernel nhân ma trận ít dòng mới và các thao tác MoE hợp nhất nhắm trực tiếp vào những kịch bản này, giảm độ trễ trong giao diện chat và trợ lý lập trình. Ngoài ra, logic bộ lập lịch được cải thiện đảm bảo rằng băng thông bộ nhớ không bị lãng phí cho dữ liệu không sử dụng, điều rất quan trọng khi chạy các mô hình lớn trên thiết bị có VRAM hạn chế.
Bạn có thể làm gì
- Cập nhật các dependency của dự án lên ggml 1.0.0 để hưởng lợi từ API ổn định và các cải tiến hiệu suất.
- Thử nghiệm các quy trình lượng tử hóa FP8 nếu phần cứng của bạn hỗ trợ, vì điều này có thể giảm đáng kể mức sử dụng bộ nhớ trong quá trình suy luận.
- Cấu hình các thiết lập cắt ngắn YaRN bằng các hàm API mới nếu bạn đang làm việc với các mô hình yêu cầu cửa sổ ngữ cảnh mở rộng.
- Xem xét lại các tích hợp RPC của bạn để đảm bảo tương thích với giao thức v9 mới, đặc biệt nếu bạn phân phối suy luận trên nhiều máy.
- Chạy benchmark các tác vụ suy luận lô nhỏ để đo lường tác động của các kernel nhân ma trận ít dòng mới trên phần cứng cụ thể của bạn.
- Giám sát hiệu suất mô hình MoE, đặc biệt trên các backend Metal và SYCL, để tận dụng các tính năng định tuyến và lập lịch hợp nhất mới.



