GPU trên laptop RTX Spark bị giới hạn xung nhịp khi chạy Linux, làm chậm tốc độ LLM cục bộ

Các nhà phát triển cố gắng chạy Linux gốc trên các laptop Nvidia RTX Spark mới đang đối mặt với một nút thắt hiệu năng nghiêm trọng, làm giảm đáng kể tốc độ suy luận AI. Một bài đánh giá kỹ thuật gần đây về chiếc MSI Prestige N16 Flip AI Plus cho thấy mặc dù hệ điều hành được cài đặt đúng cách, nhưng xung nhịp GPU lại sụp đổ khi thiết bị được kết nối với nguồn điện tường. Hạn chế đặc thù phần cứng này hiện khiến Windows Subsystem for Linux (WSL) trở thành lựa chọn khả thi duy nhất để huấn luyện và suy luận mô hình cục bộ hiệu suất cao trên những cỗ máy này.

Chuyện gì đã xảy ra

Nền tảng RTX Spark, có trong các thiết bị như MSI Prestige, Asus ProArt và Dell XPS, sử dụng kiến trúc bộ nhớ hợp nhất được thiết kế cho các khối lượng công việc AI nặng. Những chiếc laptop này đi kèm với Windows on ARM và hỗ trợ lên đến 128GB RAM được chia sẻ giữa CPU và GPU. Vì nhiều công cụ kỹ thuật AI được xây dựng ưu tiên cho Linux trước, các nhà phát triển thường cố gắng khởi động kép hoặc thay thế Windows bằng một bản phân phối Linux gốc. Tuy nhiên, quá trình chuyển đổi này kích hoạt sự suy giảm hiệu năng nghiêm trọng liên quan đến firmware quản lý năng lượng.

Khi chạy Linux gốc, xung nhịp GPU giảm xuống khoảng 780 MHz ngay khi laptop được cắm vào nguồn điện ngoài. Ngược lại, cùng phần cứng đó khi chạy Windows hoặc WSL vẫn duy trì xung nhịp trên 2 GHz dưới tải. Sự chênh lệch này không phải do nhiệt độ; nhiệt độ vẫn thấp trong khoảng từ 40 đến 47°C. Thay vào đó, GPU bị giới hạn nhân tạo bởi logic firmware mà driver Linux hiện tại không thể truy cập hoặc ghi đè. Kết quả là tốc độ tạo token cho các mô hình ngôn ngữ lớn giảm đi gấp năm lần.

Việc cài đặt Linux trên các thiết bị này cũng đòi hỏi cấu hình thủ công đáng kể. Các bản phân phối tiêu chuẩn như Debian thường không nhận ra các thành phần phần cứng thiết yếu như Wi-Fi, bàn phím hoặc touchpad nếu thiếu các bản vá kernel cụ thể. Các thiết lập thành công thường dựa vào những bản phân phối như Omarchy, bao gồm các driver kernel mã nguồn mở của Nvidia. Ngay cả sau khi đạt được môi trường desktop ổn định với đầu ra 4K ở tần số quét 120Hz, người dùng vẫn phải điều chỉnh các thiết lập cấp phát bộ nhớ trong Windows trước khi khởi động Linux để đảm bảo hệ điều hành có thể truy cập nhiều hơn một phần nhỏ dung lượng RAM khả dụng.

Cơ chế hoạt động

Nguyên nhân gốc rễ của việc throttling (giới hạn hiệu năng) là một thành phần firmware chỉ dành cho Windows có tên gọi Nvidia Platform Controllers and Framework. Trong dạng thức laptop, bộ điều khiển này quản lý ngân sách năng lượng chung giữa CPU và GPU, đảm bảo rằng không thành phần nào vượt quá giới hạn tổng công suất cung cấp của khung máy. Khác với đơn vị DGX Spark để bàn, vốn có đường dây nguồn riêng biệt, laptop phải cân bằng động mức tiêu thụ năng lượng. Firmware cung cấp một bảng cài đặt năng lượng được mã hóa mà driver Windows có thể giải mã và áp dụng, cho phép GPU tăng xung nhịp lên tần số tối đa.

Linux thiếu một driver tương đương có khả năng giải mã bảng năng lượng này. Khi không có quyền truy cập vào các thiết lập này, kernel Linux mặc định chuyển sang trạng thái an toàn, tiết kiệm năng lượng khi thiết bị được cắm sạc, khóa xung nhịp GPU ở mức khoảng 780 MHz. Thú vị là, hành vi này đảo ngược khi laptop chạy bằng pin, nơi hiệu năng Linux gần như khớp với Windows vì các ràng buộc năng lượng được xử lý theo cách khác. Các nỗ lực bỏ qua hạn chế này thông qua các biện pháp phần mềm đều thất bại, một số thậm chí gây ra kernel panic, cho thấy khóa mã hóa được liên kết chặt chẽ với stack driver của Windows.

Chi tiết chính

• Linux gốc trên MSI Prestige RTX Spark chỉ đạt 13,9 token mỗi giây trên GPT-OSS-120B, so với 65,4 token mỗi giây trên Windows.
• Xung nhịp GPU bị khóa ở mức khoảng 780 MHz trên Linux khi cắm sạc, so với 2,2 GHz trên Windows.
• WSL hoạt động gần như giống hệt Windows gốc, đạt 65,1 token mỗi giây, vì nó sử dụng stack driver của Windows.
• Người dùng phải giảm mức dự trữ bộ nhớ GPU trong Windows từ 96GB xuống 4GB trước khi cài đặt Linux để cho phép hệ điều hành nhìn thấy 120GB RAM.
• Vấn đề throttling được gây ra bởi một bảng quản lý năng lượng được mã hóa, chỉ accessible (có thể truy cập) bởi driver Windows Nvidia Platform Controllers.
• Việc vô hiệu hóa bộ điều khiển nền tảng trong Windows tái tạo lại sự chậm chạp của Linux, xác nhận rằng thành phần này chịu trách nhiệm cho khoảng cách hiệu năng.

Tại sao điều này quan trọng

Đối với các kỹ sư AI và chuyên gia ML, phát hiện này thay đổi cơ bản khuyến nghị phần cứng cho các trạm phát triển di động. Lời hứa về một chiếc laptop chạy Linux gốc sánh ngang hiệu năng với DGX Spark để bàn hiện chưa được thực hiện do khóa firmware này. Các nhà phát triển mua những cỗ máy cao cấp này với kỳ vọng chạy LLM cục bộ, tinh chỉnh mô hình hoặc sử dụng các công cụ như vLLM trong môi trường Linux gốc sẽ gặp phải một nút thắt nghiêm trọng. Sự sụt giảm hiệu năng từ 65 xuống 14 token mỗi giây khiến việc tương tác thời gian thực với các mô hình lớn trở nên bất khả thi trên Linux gốc.

Tình huống này nhấn mạnh sự phức tạp ngày càng tăng trong việc hỗ trợ phần cứng AI trên các hệ điều hành khác nhau. Khi Nvidia đẩy mạnh vào thị trường Windows dựa trên ARM với hỗ trợ CUDA, hệ sinh thái Linux tụt hậu về độ trưởng thành của driver cho các kiến trúc lai cụ thể này. Cho đến khi Nvidia chuyển logic bộ điều khiển nền tảng sang driver Linux của họ, các nhà phát triển buộc phải lựa chọn giữa sự tiện lợi của các công cụ Linux và hiệu năng thô của Windows. Sự phân mảnh này thêm ma sát vào các quy trình làm việc lẽ ra nên độc lập với nền tảng.

Bạn có thể làm gì

• Sử dụng Windows Subsystem for Linux (WSL) cho tất cả các khối lượng công việc AI nặng để giữ nguyên tốc độ boost đầy đủ của GPU trong khi vẫn truy cập được các công cụ tương thích Linux.
• Tăng thủ công mức cấp phát bộ nhớ cho WSL, vì giới hạn mặc định 14GB là không đủ cho các mô hình lớn trên máy có bộ nhớ hợp nhất 128GB.
• Nếu bắt buộc phải dùng Linux gốc, hãy thực hiện tất cả các tác vụ suy luận cường độ cao khi chạy bằng pin, nơi không xảy ra hiện tượng throttling xung nhịp.
• Điều chỉnh mức dự trữ bộ nhớ GPU trong cài đặt Windows xuống 4GB trước khi cài đặt Linux để đảm bảo hệ điều hành có thể truy cập phần lớn RAM hệ thống.
• Tránh phụ thuộc vào các trình cài đặt Debian hoặc Ubuntu tiêu chuẩn mà không kiểm tra xem chúng có bao gồm các driver kernel mã nguồn mở cần thiết của Nvidia cho chip RTX Spark hay không.
• Theo dõi các ghi chú phát hành driver của Nvidia để tìm kiếm các bản cập nhật liên quan đến hỗ trợ Platform Controllers and Framework trên Linux, vì đây là con đường duy nhất dẫn đến một giải pháp vĩnh viễn.