Tăng tốc suy luận llama.cpp chỉ với một biến môi trường Linux
Việc thiết lập GLIBC_TUNABLES để kích hoạt huge pages giúp giảm lỗi trang (page faults) trong llama.cpp, mang lại hiệu suất thông lượng cao hơn tới 21% trên GPU H100.
Được dịch tự động từ bản gốc tiếng Anh.
Một thay đổi cấu hình đơn giản liên quan đến quản lý bộ nhớ của Linux đã được chứng minh là giúp tăng tốc đáng kể việc phục vụ các mô hình ngôn ngữ lớn (LLM) cục bộ. Bằng cách thiết lập một biến môi trường duy nhất, các kỹ sư sử dụng llama.cpp và Ollama có thể giảm tải cho CPU do cấp phát bộ nhớ gây ra, dẫn đến thời gian phản hồi nhanh hơn và thông lượng yêu cầu cao hơn mà không cần chỉnh sửa mã nguồn.
Chuyện gì đã xảy ra
Các kỹ sư tại Tensward, một công ty công cụ mã nguồn mở tập trung vào tối ưu hóa suy luận LLM, phát hiện rằng máy chủ llama.cpp của họ mất nhiều thời gian chờ nhân Linux cấp phát bộ nhớ. Nút thắt cổ chai không nằm ở GPU, mà ở cách hệ điều hành xử lý các yêu cầu RAM để lưu trữ ảnh chụp trạng thái cuộc hội thoại. Bằng cách kích hoạt "huge pages" thông qua một tham số điều chỉnh của glibc, họ đã giảm số lượng lỗi trang mỗi yêu cầu từ khoảng 145.000 xuống chỉ còn 1.850 trên GPU NVIDIA H100.
Nhóm đã thử nghiệm điều chỉnh này trên Qwen3.8-27B, một mô hình phổ biến trong các triển khai AI cục bộ. Thay đổi này không yêu cầu biên dịch lại mã hay quyền root, chỉ cần thêm GLIBC_TUNABLES=glibc.malloc.hugetlb=1 trước khi khởi động tiến trình máy chủ. Điều chỉnh này hướng dẫn bộ phân bổ bộ nhớ yêu cầu các khối bộ nhớ liên tục lớn hơn, giảm thiểu sự can thiệp của nhân trong các thao tác ghi.
Hiệu suất cải thiện khác nhau tùy thuộc vào phần cứng và khối lượng công việc. Trên H100 khi xử lý các prompt gọi công cụ (tool-calling), thông lượng tăng 21% và thời gian trung bình cho token đầu tiên giảm 22%. Ngay cả trên phần cứng chậm hơn như NVIDIA L4, các kịch bản chat đơn thuần cũng thấy token đầu tiên xuất hiện sớm hơn 22%, mặc dù cải thiện tổng thể về thông lượng khiêm tốn hơn ở mức 3,5%. Những kết quả này cho thấy lợi ích rõ rệt nhất khi độ trễ cấp phát bộ nhớ CPU chiếm tỷ trọng đáng kể trong tổng thời gian xử lý yêu cầu.
Cơ chế hoạt động
Linux thường cấp phát bộ nhớ theo các khối nhỏ 4 KB gọi là trang (pages). Khi một chương trình như llama.cpp ghi vào một trang mới lần đầu tiên, nhân phải can thiệp để thiết lập nó, một sự kiện được gọi là lỗi trang (page fault). Đối với các mô hình lớn, việc lưu trạng thái cuộc hội thoại bao gồm tạo các ảnh chụp có thể lên tới 150 MB hoặc lớn hơn, kích hoạt hàng trăm nghìn lỗi trang này. Vì luồng quản lý các ảnh chụp này cũng cung cấp dữ liệu cho GPU, nên mỗi lần tạm dừng do lỗi trang sẽ làm tắc nghẽn toàn bộ quy trình suy luận.
Huge pages cho phép hệ thống cấp phát bộ nhớ theo các khối 2 MB thay vì 4 KB. Bằng cách thiết lập tham số điều chỉnh của glibc, ứng dụng sẽ yêu cầu rõ ràng các khối lớn hơn này. Điều này giảm mạnh số lần nhân phải dừng thực thi để quản lý siêu dữ liệu bộ nhớ. Kết quả là dòng chảy dữ liệu đến GPU mượt mà hơn, vì CPU dành ít thời gian hơn cho các nhiệm vụ quản trị bộ nhớ và nhiều thời gian hơn để chuẩn bị đầu vào cho quá trình xử lý song song.
Chi tiết chính
- Tối ưu hóa này yêu cầu phiên bản glibc 2.35 trở lên, có sẵn trên Ubuntu 22.04 và Debian 12 hoặc mới hơn.
- Số lỗi trang giảm từ ~145.000 xuống ~1.850 mỗi yêu cầu trên phần cứng H100 trong quá trình thử nghiệm.
- Thông lượng tăng 21% cho các prompt gọi công cụ trên H100, nhưng chỉ tăng 6,5% trên L4 với cùng khối lượng công việc.
- Người dùng Ollama cũng thấy lợi ích, với mức cải thiện hiệu suất từ 2% đến 7% tùy thuộc vào máy.
- Bản sửa lỗi này không mang lại lợi ích đáng kể cho các framework như vLLM hoặc SGLang, vốn đã tối thiểu hóa lỗi trang.
- Mức sử dụng bộ nhớ tăng khoảng 0,5 GB trung bình khi chạy Ollama với cài đặt này được bật.
Tại sao điều này quan trọng
Đối với các nhà phát triển xây dựng sản phẩm bằng LLM cục bộ, phát hiện này nhấn mạnh rằng sức mạnh GPU không phải là yếu tố duy nhất quyết định tốc độ suy luận. Khi GPU trở nên nhanh hơn, chẳng hạn như H100 so với L4, chi phí tương đối của các thao tác phía CPU như cấp phát bộ nhớ sẽ tăng lên. Một độ trễ cố định 0,1 giây mỗi yêu cầu chiếm tỷ lệ phần trăm lớn hơn nhiều trong tổng thời gian trên card nhanh so với card chậm. Điều này có nghĩa là tối ưu hóa các cấu hình cấp hệ thống trở nên ngày càng quan trọng khi phần cứng tăng tốc.
Cách tiếp cận này mang lại cơ hội tinh chỉnh rủi ro thấp, lợi nhuận cao cho các nhóm sử dụng llama.cpp hoặc Ollama. Vì nó không yêu cầu thay đổi mã và có tác động tối thiểu đến tính ổn định hoặc chất lượng câu trả lời, nó có thể được triển khai nhanh chóng để cải thiện trải nghiệm người dùng. Việc giảm thời gian cho token đầu tiên đặc biệt có giá trị đối với các ứng dụng tương tác, nơi độ trễ cảm nhận được thúc đẩy sự hài lòng của người dùng.
Bạn có thể làm gì
- Xác minh hệ thống của bạn có glibc 2.35 trở lên bằng cách chạy
ldd --versiontrong terminal. - Kiểm tra xem transparent huge pages đã được bật chưa bằng cách kiểm tra
/sys/kernel/mm/transparent_hugepage/enabled. - Khởi động máy chủ llama.cpp của bạn với
GLIBC_TUNABLES=glibc.malloc.hugetlb=1được thêm vào phía trước lệnh. - Đối với Ollama, áp dụng cùng biến môi trường khi khởi động tiến trình
ollama serve. - Giám sát hiệu quả bằng cách kiểm tra
AnonHugePagestrong/proc/[pid]/smaps_rollupđể đảm bảo huge pages đang được sử dụng. - So sánh số lượng lỗi trang trước và sau khi thay đổi bằng cách sử dụng
ps -o min_flt=để định lượng mức độ giảm.



