AI mở & chạy cục bộ

llama.cpp đạt phiên bản v1.0.0 với việc dọn dẹp API và hỗ trợ các mô hình mới

Dự án llama.cpp đã phát hành phiên bản 1.0.0, loại bỏ các API lỗi thời, bổ sung hỗ trợ cho các mô hình Kimi-K3.1 và Ripple, đồng thời tăng cường bảo mật cho máy chủ.

Một khối kim loại với các mạch phát sáng đại diện cho engine llama.cpp trên bàn làm việc của một nhà phát triển.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Các nhà duy trì dự án llama.cpp đã công bố phát hành phiên bản 1.0.0, đánh dấu một cột mốc quan trọng cho công cụ suy luận mô hình ngôn ngữ lớn cục bộ phổ biến này. Được xuất bản vào ngày 13 tháng 11 năm 2026, bản cập nhật lớn này giới thiệu những thay đổi đáng kể gây gián đoạn (breaking changes) đối với giao diện lập trình ứng dụng công khai, đồng thời mở rộng hỗ trợ cho các kiến trúc mô hình mới như Kimi-K3.1-Pro và Ripple. Bản phát hành cũng tập trung mạnh mẽ vào việc củng cố bảo mật cho máy chủ tích hợp sẵn và tối ưu hóa hiệu suất trong thư viện nền tảng ggml.

Chuyện gì đã xảy ra

Bản phát hành này đại diện cho một điểm trưởng thành của dự án, đặc trưng bởi việc loại bỏ nợ kỹ thuật và ổn định hóa các giao diện cốt lõi. Các nhà phát triển đã xóa ba mươi lăm hàm bị đánh dấu là lỗi thời khỏi tệp tiêu đề công khai llama.h, bao gồm llama_set_warmup và nhiều tham số ngưỡng khác nhau. Việc dọn dẹp này nhằm mục đích đơn giản hóa mã nguồn cho các nhà phát triển tích hợp thư viện vào ứng dụng của riêng họ. Song song với các lần xóa này, API giải mã suy đoán NextN đã được nâng cấp từ tệp tiêu đề thử nghiệm llama-ext.h lên giao diện chính llama.h, báo hiệu sự sẵn sàng cho việc sử dụng trong môi trường sản xuất.

Sự chú ý đáng kể đã được dành cho tính đa phương thức (multi-modality) và các kiến trúc mô hình mới. Bản cập nhật bổ sung hỗ trợ gốc cho ba kiến trúc dựa trên văn bản mới: Kimi-K3.1-Pro, thay thế các lớp attention đầy đủ bằng DSA; Ripple-65B-Preview, một mô hình dày đặc (dense model) với 65 tỷ tham số; và xing4_0, sử dụng kết hợp giữa kỹ thuật hybrid attention và mixture-of-experts. Ngoài ra, hệ thống hiện hỗ trợ khả năng chuyển văn bản thành giọng nói drama-3 và xử lý thị giác cho các mô hình MageVL-Cowork và Kimi-K3.1. Những bổ sung này mở rộng phạm vi các tác vụ có thể thực hiện cục bộ mà không cần phụ thuộc vào dịch vụ đám mây bên ngoài.

Bảo mật và sự ổn định của máy chủ cũng là những trọng tâm chính. Thành phần llama-server đã nhận được các bản vá để giải quyết vấn đề giả mạo yêu cầu phía máy chủ (SSRF), các vấn đề chia sẻ tài nguyên giữa các nguồn gốc (CORS) và lỗ hổng trói buộc DNS (DNS rebinding). Nhóm phát triển đã giới thiệu các cờ tùy chọn (opt-in flags) để cho phép các công cụ không xác thực và URL phương tiện riêng tư, cung cấp cho quản trị viên quyền kiểm soát chi tiết hơn về truy cập. Hơn nữa, bản phát hành bao gồm một giao diện người dùng web được thiết kế lại với các tính năng như nhóm trò chuyện, trình chỉnh sửa markdown và khả năng tương thích tốt hơn với thiết bị di động, giúp front-end mặc định dễ sử dụng hơn cho các tương tác hàng ngày.

Cách hoạt động

Bên dưới lớp vỏ, bản phát hành cập nhật thư viện nền tảng ggml lên phiên bản 1.0.0, cắt bỏ các thao tác cũ và giới thiệu hỗ trợ FP8 có thể cấu hình. FP8, hay dấu chấm động 8-bit, cho phép sử dụng bộ nhớ hiệu quả hơn trong quá trình suy luận, đặc biệt là đối với bộ đệm khóa-giá trị (key-value caches). Hệ thống hiện hỗ trợ bộ đệm KV OCP FP8 với các thang đo tĩnh theo tensor tùy chọn, cho phép xử lý nhanh hơn các ngữ cảnh dài trong khi giảm yêu cầu băng thông bộ nhớ. Điều này được bổ sung bởi bộ đệm mixture-of-experts lưu trữ trên bộ nhớ host, cho phép người dùng cấu hình lượng dữ liệu chuyên gia nằm trong bộ nhớ CPU, giảm thời gian chờ đợi khi truy cập các chuyên gia đã được lưu trữ.

Cơ sở hạ tầng đa phương thức đã được hợp nhất vào một module mtmd thống nhất, loại bỏ phụ thuộc clip.h cũ. Thay đổi này cho phép các subcontext khác nhau, chẳng hạn như bộ xử lý thị giác và âm thanh, chia sẻ bộ đệm tính toán, tiết kiệm đáng kể tài nguyên bộ nhớ. Đối với việc tạo âm thanh, hệ thống hiện tính toán trực tiếp các biểu đồ tần suất log-mel spectrogram trong đồ thị tính toán thay vì khởi tạo các luồng riêng biệt cho mỗi yêu cầu. Sự thay đổi kiến trúc này giảm thiểu chi phí phát sinh (overhead) và cải thiện độ trễ cho các tác vụ âm thanh thời gian thực. Máy chủ cũng có thêm một endpoint tương thích OpenAI cho việc tạo giọng nói âm thanh, chuẩn hóa cách các ứng dụng tương tác với các mô hình chuyển văn bản thành giọng nói cục bộ.

Chi tiết chính

  • API công khai trong llama.h đã xóa 35 hàm lỗi thời và nâng cấp API giải mã suy đoán NextN.
  • Hỗ trợ mô hình mới bao gồm Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0 và chuyển văn bản thành giọng nói drama-3.
  • Bảo mật máy chủ được củng cố chống lại các cuộc tấn công SSRF, lạm dụng CORS và trói buộc DNS với các cờ tùy chọn mới.
  • Bộ đệm khóa-giá trị FP8 hiện đã được hỗ trợ, mang lại hiệu quả bộ nhớ cho suy luận ngữ cảnh dài.
  • Giao diện web được thiết kế lại với các nhóm trò chuyện, trình chỉnh sửa markdown xem trước trực tiếp và bố cục di động tốt hơn.
  • Thư viện ggml nền tảng đã đạt v1.0.0, bổ sung hỗ trợ FP8 và tối ưu hóa hiệu suất backend cho CUDA, Metal và Vulkan.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng sản phẩm trên nền tảng các mô hình ngôn ngữ lớn cục bộ, bản phát hành này báo hiệu sự chuyển dịch hướng tới độ ổn định và khả năng dự đoán cao hơn. Việc loại bỏ các API lỗi thời có nghĩa là các tích hợp được xây dựng dựa trên các phiên bản cũ sẽ cần phải cập nhật, nhưng mã nguồn kết quả sẽ sạch sẽ và dễ bảo trì hơn. Việc nâng cấp API NextN gợi ý rằng giải mã suy đoán giờ đây được coi là một tính năng tiêu chuẩn, cho phép các nhà phát triển triển khai các chiến lược suy luận nhanh hơn với sự tự tin vào tuổi thọ của giao diện.

Các cải tiến bảo mật trong llama-server rất quan trọng đối với các nhóm triển khai những mô hình này trong môi trường mạng. Các lỗ hổng trước đó có thể đã cho phép các tác nhân độc hại khai thác máy chủ để truy cập trái phép hoặc rò rỉ dữ liệu. Bằng cách giải quyết các vấn đề này và cung cấp các biện pháp kiểm soát chi tiết về xác thực công cụ và truy cập phương tiện, bản phát hành làm cho việc phơi bày các mô hình cục bộ ra mạng nội bộ hoặc người dùng tin cậy trở nên an toàn hơn. Điều này đặc biệt quan trọng đối với các doanh nghiệp muốn áp dụng AI cục bộ mà không làm tổn hại đến tư thế bảo mật của họ.

Các tối ưu hóa hiệu suất như bộ đệm FP8 và bộ đệm tính toán chia sẻ cho các tác vụ đa phương thức cho phép thực hiện các quy trình làm việc phức tạp hơn trên phần cứng tiêu dùng. Các nhà phát triển hiện có thể chạy các mô hình thị giác và âm thanh cùng với việc tạo văn bản với mức tiêu thụ bộ nhớ thấp hơn, khiến việc xây dựng các ứng dụng đa phương thức phong phú trên các thiết bị có tài nguyên hạn chế trở nên khả thi. Điều này dân chủ hóa quyền truy cập vào các khả năng AI tiên tiến, cho phép các nhóm nhỏ hơn thử nghiệm và triển khai các hệ thống tinh vi mà không cần cơ sở hạ tầng đám mây đắt tiền.

Bạn có thể làm gì

  • Xem xét lại mã tích hợp của bạn để thay thế các lệnh gọi đến 35 hàm lỗi thời đã bị xóa trong llama.h.
  • Cập nhật các kịch bản triển khai của bạn để bao gồm các cờ bảo mật mới cho llama-server nếu bạn đang phơi bày nó ra mạng.
  • Kiểm tra các cài đặt bộ đệm KV FP8 mới để đánh giá mức tiết kiệm bộ nhớ và lợi ích hiệu suất cho các mô hình cụ thể của bạn.
  • Khám phá endpoint /v1/audio/speech mới nếu ứng dụng của bạn yêu cầu khả năng chuyển văn bản thành giọng nói cục bộ.
  • Nâng cấp các phụ thuộc backend ggml lên v1.0.0 để hưởng lợi từ các tối ưu hóa hiệu suất mới nhất trên các nền tảng GPU.
  • Thử nghiệm với các tính năng giao diện web mới như nhóm trò chuyện để cải thiện trải nghiệm người dùng trong các công cụ nội bộ.
  • #llama.cpp
  • #local llm
  • #inference
  • #security
  • #ggml

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết