llama.cpp v1.0 mang lại cải thiện tốc độ đáng kể cho giải mã song song và suy đoán
Bản phát hành llama.cpp v1.0 giới thiệu các thay đổi API gây gián đoạn (breaking changes) cùng những cải tiến hiệu suất đáng kể cho khối lượng công việc xử lý đa yêu cầu và giải mã suy đoán trên GPU NVIDIA RTX dòng 30.
Được dịch tự động từ bản gốc tiếng Anh.
Vào ngày 13 tháng 11 năm 2026, dự án llama.cpp đã đạt phiên bản 1.0, đánh dấu sự chuyển đổi sang quy tắc lập phiên bản ngữ nghĩa nghiêm ngặt (strict semantic versioning) cho engine suy luận C/C++ của mình. Các bài kiểm tra chuẩn được thực hiện vào ngày 14 tháng 11 trên một chiếc NVIDIA RTX 3090 cho thấy trong khi hiệu suất cho người dùng đơn lẻ vẫn ổn định, thì xử lý song song và giải mã suy đoán chứng kiến mức tăng tốc độ đáng kể lên tới 55 phần trăm.
Điều gì đã xảy ra
Việc phát hành llama.cpp v1.0.0 (bản build 12359) giới thiệu một số thay đổi gây gián đoạn đối với C API công khai và giao diện dòng lệnh. Thay đổi vận hành tức thời nhất đối với người dùng là việc loại bỏ cờ --defrag-thold, vốn cần phải được gỡ bỏ khỏi các script khởi động trước khi cập nhật. Ngoài ra, các thiết lập mặc định về bảo mật đã được thắt chặt: llama-server giờ đây từ chối kích hoạt các công cụ tích hợp sẵn hoặc máy chủ Model Context Protocol (MCP) trên các địa chỉ mạng không phải loopback trừ khi có khóa API được cung cấp qua --api-key. Các yêu cầu tham chiếu đến URL phương tiện riêng tư hoặc cục bộ cũng bị chặn theo mặc định trừ khi được phép rõ ràng.
Kiểm thử hiệu suất so sánh bản build mới này với một phiên bản tiền-v1 (build 12199) từ năm ngày trước đó. Các bài kiểm tra chạy trên Fedora 44 với Docker 29.9.2, sử dụng CPU AMD Ryzen 9 5900X và GPU NVIDIA RTX 3090 với 24 GB VRAM. Các mô hình được kiểm thử bao gồm Qwen3.5 9B và 27B ở dạng lượng tử hóa Q4_K_M. Kết quả chỉ ra rằng đối với các phiên chat một người dùng mà không sử dụng các tính năng nâng cao, hiệu suất gần như giống hệt với các bản build trước đó. Tuy nhiên, các kịch bản liên quan đến nhiều yêu cầu đồng thời hoặc giải mã suy đoán cho thấy những cải thiện rõ rệt.
Cách thức hoạt động
Lợi ích hiệu suất chính trong v1.0 đến từ một kernel CUDA mới được thiết kế cho các GPU NVIDIA RTX dòng 30 (Ampere) và các thế hệ mới hơn. Kernel này tối ưu hóa các thao tác mà mô hình xử lý từ 2 đến 24 token đồng thời. Trong chế độ yêu cầu đơn tiêu chuẩn, mô hình xử lý một token mỗi bước, sử dụng một kernel cũ hơn không thay đổi. Tuy nhiên, khi xử lý các yêu cầu song song hoặc giải mã suy đoán, khối lượng công việc sẽ chuyển sang các bước đa token.
Giải mã suy đoán sử dụng một mô hình nháp nhỏ hơn để đoán các token tiếp theo, sau đó mô hình chính lớn hơn sẽ xác minh chúng trong một bước duy nhất. Quá trình xác minh này liên quan đến việc kiểm tra nhiều token cùng lúc, tận dụng trực tiếp khả năng của kernel mới để đọc trọng số một lần và nhân chúng với tất cả các token trong bước đó. Tương tự, các yêu cầu song song sử dụng kỹ thuật gom batch liên tục (continuous batching) để xử lý các token từ những người dùng khác nhau cùng lúc. Vì các luồng công việc này phù hợp với thiết kế của kernel mới, chúng ghi nhận mức tăng thông lượng đáng kể, trong khi quá trình xử lý tuần tự từng token thì không.
Chi tiết chính
- Thông lượng song song: Việc xử lý bốn yêu cầu đồng thời dẫn đến mức tăng tốc độ 14% cho mô hình 9B và 22% cho mô hình 27B so với bản build tiền-v1.
- Giải mã suy đoán: Sử dụng Multi-Token Prediction (MTP) với mô hình 27B tạo ra mức tăng từ 52% đến 55% số token mỗi giây, tăng từ khoảng 45 tok/s lên 68.5 tok/s.
- Hiệu suất người dùng đơn lẻ: Đối với một yêu cầu đơn không có giải mã suy đoán, sự khác biệt về tốc độ là không đáng kể, nằm trong biên độ sai số 1.5% theo cả hai hướng.
- Thay đổi gây gián đoạn: Cờ
--defrag-tholdbị loại bỏ. Máy chủ kết nối mạng yêu cầu khóa API để sử dụng các công cụ, và quyền truy cập URL riêng tư yêu cầu cờ--media-allow-private-urls. - Tính năng mới: Bản phát hành bao gồm tùy chọn FP8 cho cache ngữ cảnh, cache RAM hệ thống cho các mô hình mixture-of-experts, và endpoint chuyển văn bản thành giọng nói tại
/v1/audio/speech. - Chính sách phiên bản: Các lần tăng phiên bản chính trong tương lai sẽ chỉ diễn ra khi có thay đổi API hoặc ABI gây gián đoạn, cung cấp kỳ vọng ổn định hơn cho các nhà phát triển xây dựng ứng dụng dựa trên llama.cpp.
Tại sao điều này quan trọng
Đối với các nhà phát triển và trưởng nhóm kỹ thuật quản lý cơ sở hạ tầng LLM cục bộ, bản phát hành này báo hiệu sự trưởng thành của bộ công cụ. Việc chuyển sang lập phiên bản ngữ nghĩa có nghĩa là tích hợp llama.cpp vào các ứng dụng sản xuất trở nên ít rủi ro hơn, vì các thay đổi gây gián đoạn giờ đây được báo hiệu rõ ràng bằng số phiên bản chính. Tuy nhiên, tác động tức thời là về mặt vận hành: các đội ngũ phải cập nhật script triển khai của họ để loại bỏ các cờ lỗi thời và cấu hình khóa API cho bất kỳ instance nào được phơi bày ra mạng. Nếu không làm như vậy sẽ dẫn đến lỗi khởi động hoặc vô hiệu hóa chức năng.
Các hàm ý về hiệu suất phụ thuộc cụ thể vào loại khối lượng công việc. Nếu bạn chạy một chatbot cá nhân cho mục đích sử dụng đơn lẻ, bản nâng cấp không mang lại lợi ích hiệu suất cấp bách. Tuy nhiên, đối với các dịch vụ hỗ trợ nhiều người dùng đồng thời, các agent hoặc trợ lý lập trình truy cập máy chủ cùng lúc, mức tăng thông lượng 14-22% là rất đáng kể. Tác động lớn hơn nữa là sự thúc đẩy cho giải mã suy đoán, giúp việc chạy các mô hình lớn hơn, mạnh mẽ hơn như Qwen3.5 27B trở nên phản hồi nhanh hơn nhiều trên phần cứng tiêu dùng. Điều này làm cho suy luận cục bộ chất lượng cao trở nên khả thi hơn cho các ứng dụng tương tác nơi độ trễ đóng vai trò quan trọng.
Những gì bạn có thể làm
- Cập nhật script khởi động: Loại bỏ cờ
--defrag-tholdhoặc-dtkhỏi các lệnhllama-servercủa bạn trước khi nâng cấp lên v1.0. - Bảo vệ các instance kết nối mạng: Nếu máy chủ của bạn lắng nghe trên một địa chỉ không phải localhost, hãy thêm
--api-keyđể ngăn các công cụ và máy chủ MCP bị vô hiệu hóa theo mặc định. - Kích hoạt quyền truy cập phương tiện riêng tư: Nếu quy trình làm việc của bạn liên quan đến hình ảnh hoặc phương tiện được lưu trữ trên các địa chỉ mạng cục bộ, hãy thêm cờ
--media-allow-private-urlsđể duy trì tính tương thích. - Kiểm thử tải song song: Nếu bạn phục vụ nhiều khách hàng, hãy benchmark phần cứng cụ thể của bạn với bản build mới để định lượng mức tăng thông lượng 14-22% cho kích thước mô hình của bạn.
- Thử nghiệm với giải mã suy đoán: Thử bật MTP hoặc giải mã suy đoán với các mô hình lớn hơn để tận dụng mức tăng tốc độ trên 50% trên các GPU RTX dòng 30 và mới hơn.
- Kiểm tra tính tương thích của phụ thuộc: Nếu bạn xây dựng phần mềm dựa trên C API của llama.cpp, hãy xem xét các ghi chú phát hành về những thay đổi gây gián đoạn trước khi áp dụng các header v1.0.



