Giảm thời gian chuyển đổi LLM cục bộ từ 10 giây xuống dưới 2 giây

Việc chạy nhiều mô hình ngôn ngữ lớn (LLM) trên một GPU đơn lẻ thường đòi hỏi phải hoán đổi chúng ra và vào bộ nhớ, một quá trình truyền thống gây ra độ trễ đáng kể. Một công cụ mã nguồn mở mới có tên llama-sleep, kết hợp với các cấu hình kernel Linux cụ thể, đã giảm thời gian hoán đổi này từ hơn 10 giây xuống dưới 2 giây trong khi vẫn giữ nguyên các prompt được cache.

Chuyện gì đã xảy ra

Các nhà phát triển tự host các mô hình AI cục bộ thường gặp nút thắt cổ chai khi phần cứng không thể chứa tất cả các mô hình cần thiết vào bộ nhớ GPU cùng lúc. Trong một thiết lập điển hình sử dụng proxy như llama-swap, việc chuyển đổi giữa hai mô hình chiếm đầy GPU bao gồm dừng tiến trình hiện tại, giải phóng bộ nhớ của nó và tải mô hình mới từ đầu. Trong các bài kiểm tra cơ bản thực hiện trên NVIDIA RTX 3060, quá trình hoán đổi lạnh này mất khoảng 10,3 giây. Độ trễ này không chỉ ảnh hưởng đến khả năng phản hồi mà còn phá hủy bộ nhớ đệm key-value (KV), buộc hệ thống phải tính toán lại các system prompt dài mỗi lần chuyển đổi.

Để giải quyết sự kém hiệu quả này, Robert Zaage đã phát triển llama-sleep, một wrapper nhẹ cho server của llama.cpp. Thay vì chấm dứt tiến trình mô hình trong các khoảng thời gian nhàn rỗi, llama-sleep sử dụng các tính năng checkpointing CUDA của NVIDIA để tạm dừng trạng thái của mô hình. Nó sao chép nội dung bộ nhớ GPU vào RAM của máy chủ, về cơ bản là "đỗ" mô hình đó. Khi mô hình được cần lại, trạng thái sẽ được khôi phục trực tiếp từ RAM sang GPU. Cách tiếp cận này loại bỏ nhu cầu tải lại trọng số mô hình từ đĩa và giữ lại bộ nhớ đệm KV, cho phép hệ thống tiếp tục suy luận gần như ngay lập tức.

Việc triển khai ban đầu của cơ chế đỗ này đã giảm thời gian hoán đổi xuống còn 2,1 giây. Tuy nhiên, các tối ưu hóa sâu hơn cho thấy tốc độ truyền dữ liệu bị giới hạn bởi cách hệ điều hành xử lý các trang bộ nhớ. Bằng cách kích hoạt các trang lớn minh bạch đa kích thước (mTHP) trong kernel Linux, nhà phát triển đã giảm thời gian hoán đổi xuống còn 1,7 giây. Điều này đại diện cho mức cải thiện gấp sáu lần so với baseline ban đầu, làm cho việc chuyển đổi mô hình nhanh chóng trở nên khả thi cho các ứng dụng thời gian thực như trợ lý giọng nói và quy trình làm việc tự động.

Cách thức hoạt động

Công nghệ cốt lõi đằng sau llama-sleep dựa vào khả năng cuda-checkpoint được giới thiệu trong phiên bản driver NVIDIA 550. Tính năng này cho phép một tiến trình CUDA đang chạy có bộ nhớ thiết bị của nó được chụp ảnh và di chuyển sang bộ nhớ máy chủ mà không cần chấm dứt tiến trình. llama-sleep hoạt động như một reverse proxy và trình quản lý tiến trình. Nó chạy llama-server như một daemon tách biệt, bảo vệ nó khỏi các yêu cầu bên ngoài trực tiếp. Khi mô hình trở nên nhàn rỗi trong một khoảng thời gian được cấu hình, chẳng hạn như năm giây, llama-sleep kích hoạt chức năng checkpoint. Điều này tạm dừng ngữ cảnh CUDA, sao chép dữ liệu VRAM sang RAM hệ thống và giải phóng tài nguyên GPU cho các tác vụ khác.

Một thách thức quan trọng trong thiết kế này là xử lý các yêu cầu đến trong khi một mô hình đang được đỗ hoặc khôi phục. Nếu một yêu cầu đến trong khi bộ nhớ GPU đang được sao chép ngược lại, tiến trình có thể gặp lỗi hoặc trả về thông báo lỗi. llama-sleep giải quyết vấn đề này bằng cách giữ tất cả các yêu cầu đến, bao gồm cả các kiểm tra sức khỏe từ proxy, trong một hàng đợi. Nó chỉ giải phóng các yêu cầu này khi mô hình đã hoàn toàn tỉnh dậy và sẵn sàng phản hồi. Điều này đảm bảo rằng proxy không bao giờ thấy trạng thái "sẵn sàng" cho một mô hình vẫn đang trong quá trình chuyển đổi, ngăn ngừa lỗi phân đoạn và đảm bảo hoạt động liền mạch.

Lợi ích hiệu suất cuối cùng đến từ việc tối ưu hóa chính quá trình sao chép bộ nhớ. Việc truyền vài gigabyte dữ liệu giữa GPU và RAM máy chủ chịu ảnh hưởng lớn bởi các lỗi trang (page faults). Các trang bộ nhớ tiêu chuẩn 4 KB đòi hỏi hệ điều hành phải quản lý hàng triệu mục nhập trang riêng lẻ trong quá trình sao chép, tạo ra chi phí phụ trội đáng kể. Bằng cách kích hoạt các trang lớn minh bạch đa kích thước trong các phiên bản kernel Linux 6.8 trở lên, hệ thống có thể sử dụng các khối bộ nhớ lớn hơn dao động từ 16 KB đến 1 MB. Điều này làm giảm đáng kể số lượng lỗi trang, cho phép truyền dữ liệu tiếp cận các giới hạn băng thông lý thuyết của bus PCIe thay vì bị nghẽn cổ chai bởi việc quản lý bộ nhớ CPU.

Chi tiết chính

• Cải thiện hiệu suất: Thời gian hoán đổi giữa hai mô hình tham số 26B giảm từ 10,3 giây xuống còn 1,7 giây.
• Bảo toàn bộ nhớ đệm: Bộ nhớ đệm KV vẫn nguyên vẹn trong quá trình hoán đổi, loại bỏ nhu cầu tính toán lại các prompt có hàng nghìn token.
• Yêu cầu phần cứng: Đòi hỏi GPU NVIDIA với driver phiên bản 570 trở lên và hệ thống máy chủ Linux.
• Phụ thuộc phần mềm: Sử dụng llama-swap v263, llama.cpp b11552 và binary llama-sleep độc lập viết bằng Go.
• Cấu hình kernel: Hiệu suất tối ưu đòi hỏi kích hoạt các trang lớn minh bạch đa kích thước (mTHP) cho bộ nhớ ẩn danh trong kernel Linux.
• Đánh đổi bộ nhớ: Các mô hình được đỗ tiêu thụ RAM máy chủ tương đương với mức sử dụng bộ nhớ GPU của chúng, đòi hỏi đủ bộ nhớ hệ thống.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng hạ tầng AI cục bộ, sự phát triển này biến đổi tính khả thi của kiến trúc đa mô hình trên phần cứng người dùng phổ thông. Trước đây, độ trễ cao khi hoán đổi mô hình khiến việc sử dụng các mô hình chuyên biệt cho các tác vụ khác nhau trở nên bất khả thi, chẳng hạn như một mô hình nhỏ cho lệnh giọng nói và một mô hình lớn hơn cho suy luận phức tạp. Người dùng phải lựa chọn giữa việc giữ một mô hình lớn duy nhất được tải, lãng phí tài nguyên cho các tác vụ đơn giản, hoặc chấp nhận độ trễ dài khi chuyển đổi ngữ cảnh. Với thời gian hoán đổi dưới hai giây, các hệ thống có thể phân bổ tài nguyên động dựa trên nhu cầu mà không có độ trễ cảm nhận được.

Việc bảo toàn bộ nhớ đệm KV cũng quan trọng không kém đối với trải nghiệm người dùng và hiệu quả tính toán. Việc tính toán lại các system prompt dài hoặc lịch sử hội thoại tiêu tốn cả thời gian và năng lượng. Bằng cách giữ lại trạng thái này trong RAM máy chủ, llama-sleep đảm bảo rằng việc tạo token đầu tiên sau khi hoán đổi diễn ra gần như tức thì. Điều này đặc biệt có giá trị cho các ứng dụng như tự động hóa gia đình hoặc tác nhân tương tác, nơi tính liên tục của ngữ cảnh là thiết yếu. Khả năng đỗ các mô hình ở nền nghĩa là hệ thống luôn sẵn sàng phản hồi, thu hẹp khoảng cách giữa sự linh hoạt của API đám mây và quyền riêng tư của suy luận cục bộ.

Bạn có thể làm gì

• Cập nhật driver: Đảm bảo driver GPU NVIDIA của bạn được cập nhật lên phiên bản 570 trở lên để hỗ trợ các tính năng checkpointing CUDA.
• Cài đặt llama-sleep: Tải xuống binary Go độc lập cho llama-sleep và tích hợp nó với cấu hình llama-swap hiện có của bạn.
• Cấu hình thời gian chờ nhàn rỗi: Đặt tham số --idle trong llama-sleep để khớp với mẫu sử dụng của bạn, đảm bảo các mô hình chỉ đỗ khi không được sử dụng tích cực.
• Kích hoạt huge pages: Nếu chạy kernel Linux 6.8 hoặc mới hơn, hãy kích hoạt các trang lớn minh bạch đa kích thước bằng cách ghi "always" vào các mục sysfs liên quan cho các kích thước từ 16 KB đến 1 MB.
• Theo dõi mức sử dụng bộ nhớ: Xác minh rằng hệ thống máy chủ của bạn có đủ RAM trống để chứa các mô hình được đỗ cùng với các tiến trình đang chạy khác.
• Kiểm tra độ trễ hoán đổi: Đo thời gian từ yêu cầu đến token đầu tiên sau khi hoán đổi để xác nhận lợi ích hiệu suất trong môi trường phần cứng cụ thể của bạn.