Khung tự động hill-climbing tinh chỉnh vLLM và SGLang trên một GPU A100
Một khung Kubernetes mã nguồn mở mới tự động hóa việc tinh chỉnh theo phương pháp coordinate-ascent cho các engine suy luận LLM, hoàn thành 432 lần thử nghiệm để tối ưu hóa cấu hình của vLLM và SGLang.
Được dịch tự động từ bản gốc tiếng Anh.
Johnson Shi đã phát hành một khung Kubernetes tự động vào ngày 22 tháng 11 năm 2026, được thiết kế để tinh chỉnh các engine suy luận mô hình ngôn ngữ lớn thông qua thuật toán leo đồi (hill climbing) theo phương pháp coordinate-ascent. Công cụ này nhắm mục tiêu vào vLLM và SGLang, thực hiện một nghiên cứu benchmark toàn diện gồm 432 lần thử nghiệm trên một GPU NVIDIA A100 80GB duy nhất nhằm xác định các cấu hình phục vụ tối ưu.
Điều gì đã xảy ra
Kho lưu trữ có tên a100-inference-hillclimb cung cấp một phương pháp có cấu trúc để tối ưu hóa hiệu suất suy luận mà không cần thử sai thủ công. Nó thực thi các lần thử nghiệm riêng biệt trong các pod Kubernetes, đảm bảo rằng mỗi thay đổi cấu hình đều được kiểm tra trong điều kiện phần cứng nhất quán. Hệ thống ghép nối container máy chủ suy luận với một sidecar benchmark, cho phép đo lường chính xác độ trễ, thông lượng và mức sử dụng tài nguyên.
Cách tiếp cận của Shi tập trung vào tính tái lập và giảm nhiễu. Bằng cách gắn mỗi lần thử nghiệm vào một nút GPU chuyên dụng, hay còn gọi là "lane", khung này loại bỏ sự can thiệp từ các quy trình khác. Hệ thống tự động kích thước bộ nhớ chia sẻ, thu thập nhật ký máy chủ và lấy mẫu các chỉ số GPU như công suất, tốc độ xung nhịp và mức sử dụng thông qua nvidia-smi. Tất cả các chỉ số thử nghiệm có cấu trúc đều được ghi lại trong cơ sở dữ liệu SQLite, tạo ra một sổ cái vĩnh viễn cho mọi thí nghiệm đã chạy.
Dự án bao gồm một báo cáo đầy đủ về 337 lần thử nghiệm benchmark dành riêng cho mô hình Nanbeige4.3-33B. Bộ dữ liệu này chi tiết hóa những thay đổi cấu hình nào đã cải thiện hiệu suất và những thay đổi nào gây ra sự suy giảm. Các kỹ sư có thể truy cập trực tiếp vào kết quả này thông qua tệp RESULTS.md được cung cấp hoặc bằng cách truy vấn cơ sở dữ liệu results/ledger.sqlite, mang đến cái nhìn minh bạch về quy trình tối ưu hóa.
Cách thức hoạt động
Cơ chế cốt lõi dựa trên các kế hoạch khối lượng công việc có phiên bản và các driver sidecar chuyên dụng. Khung này định nghĩa nhiều loại bài kiểm tra, bao gồm benchmark giải mã cho người dùng đơn lẻ và tìm kiếm dung lượng Poisson. Trong các tìm kiếm dung lượng, hệ thống sử dụng thang tốc độ hình học sau đó áp dụng phương pháp chia đôi để tìm tỷ lệ yêu cầu đến tối đa mà tại đó ít nhất 90% yêu cầu đáp ứng các mục tiêu mức dịch vụ nghiêm ngặt. Các mục tiêu này yêu cầu thời gian cho token đầu tiên (TTFT) phải dưới hai giây và thời gian cho mỗi token đầu ra (TPOT) phải dưới 100 mili giây.
Để đảm bảo độ tin cậy, khung này sử dụng phương pháp coordinate ascent được hiệu chuẩn theo nhiễu. Khi một cấu hình thách thức mới cố gắng vượt qua thiết lập tốt nhất hiện tại, hay còn gọi là incumbent, nó phải vượt qua điểm số của incumbent với biên độ ý nghĩa thống kê. Biên độ này được định nghĩa là giá trị lớn nhất giữa ba độ lệch chuẩn hoặc một giá trị sàn cố định, được tính toán từ các lần chạy lặp lại của incumbent trên cùng một nút. Nếu bên thách thức thành công, nó phải lặp lại chiến thắng trong một lần chạy xác nhận mới trước khi được chấp nhận làm incumbent mới.
Các cổng chất lượng được tích hợp trực tiếp vào vòng lặp kiểm tra để ngăn chặn việc tăng hiệu suất làm ảnh hưởng đến độ chính xác của mô hình. Hệ thống đánh giá các cấu hình bằng cách sử dụng 200 bài toán toán học GSM8K, các nhiệm vụ truy xuất passkey trong ngữ cảnh dài được chôn ở nhiều độ dài ngữ cảnh khác nhau, và các kiểm tra negative log-likelihood bắt buộc giáo viên (teacher-forced) so với các token tham chiếu BF16. Điều này đảm bảo rằng bất kỳ cải thiện tốc độ nào cũng không đánh đổi bằng khả năng suy luận hoặc giữ lại ngữ cảnh.
Chi tiết quan trọng
- Khung hỗ trợ 22 cài đặt vLLM và 21 cài đặt SGLang qua nhiều lớp, được quản lý thông qua hệ thống băm cấu hình chuẩn hóa.
- Các phiên tác nhân đa lượt mô phỏng 48 người dùng đồng thời với sáu lượt mỗi người, chấm điểm hiệu suất dựa trên p90 TTFT trên tổng cộng 288 lượt.
- Các tìm kiếm dung lượng trạng thái ổn định chạy trong 420 đến 540 giây, bỏ qua dữ liệu từ giai đoạn khởi động ban đầu để đảm bảo các phép đo ổn định.
- Sự cô lập pod-per-trial tự động điều chỉnh kích thước
/dev/shm, bắt đầu với cơ sở 32 GiB cộng với bất kỳ vùng offload KV CPU nào đã được cấu hình. - Bộ dữ liệu đầy đủ gồm 432 lần thử nghiệm được lưu trữ trong
results/ledger.sqlite, cho phép người dùng tạo lại biểu đồ và thực hiện phân tích tùy chỉnh. - Các script triển khai bao gồm pre-commit hooks để ngăn chặn rò rỉ các định danh đặc thù môi trường như kube contexts hoặc container registries.
Tại sao điều này quan trọng
Đối với các nhóm kỹ thuật quản lý dịch vụ LLM trong sản xuất, việc tinh chỉnh thủ công thường là một nút thắt cổ chai. Các kỹ sư thường điều chỉnh các tham số như kích thước batch, mức lượng tử hóa và phân bổ bộ nhớ dựa trên trực giác hoặc thử nghiệm A/B hạn chế. Khung này thay thế sự phỏng đoán bằng một thuật toán tìm kiếm có hệ thống khám phá không gian cấu hình một cách hiệu quả. Bằng cách tự động hóa quá trình leo lên hiệu suất tốt hơn, các nhóm có thể đạt được thông lượng cao hơn và độ trễ thấp hơn mà không cần dành hàng tuần cho thử nghiệm thủ công.
Việc nhấn mạnh vào ý nghĩa thống kê và hiệu chuẩn nhiễu giải quyết một điểm đau phổ biến trong kỹ thuật hiệu suất hệ thống: sự biến thiên. Biến động phần cứng và các quy trình nền có thể làm sai lệch kết quả benchmark, dẫn đến dương tính giả. Bằng cách yêu cầu các bên thách thức phải vượt qua incumbent với biên độ ba độ lệch chuẩn và xác nhận kết quả trên cùng một nút, khung này đảm bảo rằng các cải thiện được báo cáo là thực tế và có thể tái lập. Sự chặt chẽ này rất quan trọng khi triển khai các mô hình ở quy mô lớn, nơi những kém hiệu quả nhỏ tích lũy thành chi phí đáng kể.
Hơn nữa, việc bao gồm các cổng chất lượng thu hẹp khoảng cách giữa kỹ thuật hệ thống và học máy. Thường thì các tối ưu hóa cải thiện tốc độ có thể làm giảm chất lượng đầu ra của mô hình. Bằng cách tích hợp các kiểm tra độ chính xác như GSM8K và truy xuất passkey trực tiếp vào vòng lặp tinh chỉnh hiệu suất, công cụ này đảm bảo rằng hiệu quả vận hành không làm ảnh hưởng đến trải nghiệm người dùng. Cách tiếp cận toàn diện này cho phép các trưởng nhóm kỹ thuật cân bằng chi phí, tốc độ và chất lượng với sự tự tin cao hơn.
Những gì bạn có thể làm
- Chạy các bài kiểm tra mô phỏng ngoại tuyến được bao gồm trong kho lưu trữ để hiểu logic leo đồi mà không cần cụm GPU.
- Kiểm tra cơ sở dữ liệu
results/ledger.sqliteđể phân tích bộ dữ liệu 432 lần thử nghiệm và xác định các cấu hình hiệu suất cao cho mô hình của riêng bạn. - Triển khai khung trên cụm GPU Kubernetes của bạn bằng cách cấu hình tệp
.envvới tên nút cụ thể và chi tiết registry container của bạn. - Sử dụng các lệnh CLI được cung cấp để chạy các lần thử nghiệm riêng lẻ hoặc các chiến dịch hàng loạt, cho phép bạn kiểm tra các giả thuyết cụ thể về tương tác tham số.
- Xem xét nhật ký
docs/decisions.mdđể hiểu lý do kỹ thuật đằng sau thiết kế của khung và áp dụng các nguyên tắc của nó vào hạ tầng của bạn. - Tạo các báo cáo trực quan từ dữ liệu chiến dịch của riêng bạn bằng cách sử dụng script
tools/post_charts.pyđể theo dõi xu hướng hiệu suất theo thời gian.



