Chạy các mô hình LLM 16B trên RAM 1 GB với các bản vá tùy chỉnh cho llama.cpp
Dự án smolmaxxing minh họa cách chạy các mô hình lớn dạng mixture-of-experts trên thiết bị chỉ có 1 GB RAM khả dụng bằng cách truyền tải trọng số từ bộ nhớ flash.
Được dịch tự động từ bản gốc tiếng Anh.
Một dự án mã nguồn mở mới tên là smolmaxxing chứng minh rằng các mô hình ngôn ngữ lớn hiện đại có thể chạy trên phần cứng vốn được coi là lỗi thời. Bằng cách áp dụng các bản vá chuyên biệt cho engine suy luận llama.cpp, các nhà phát triển đã thực thi thành công các mô hình có 16 tỷ tham số trên một hộp TV Xiaomi và iPad Air đời 2013. Dự án, được công bố trên GitHub vào tháng 11 năm 2026, dựa vào việc quản lý bộ nhớ quyết liệt và các kernel tùy chỉnh để vượt qua những giới hạn phần cứng tiêu chuẩn.
Chuyện gì đã xảy ra
Kho lưu trữ smolmaxxing ghi lại các thử nghiệm chạy những mô hình mixture-of-experts (MoE) lớn trên các thiết bị có bộ nhớ truy cập ngẫu nhiên (RAM) bị hạn chế nghiêm trọng. Đối tượng thử nghiệm chính là Xiaomi TV Box S (Thế hệ thứ 3) với khoảng 1 GB RAM khả dụng và Apple iPad Air (2013) với khoảng 700 MB RAM khả dụng. Bất chấp những ràng buộc khắt khe này, dự án đã đạt được tốc độ suy luận hoạt động tốt cho các mô hình lớn hơn nhiều so với dung lượng bộ nhớ khả dụng.
Trên hộp TV chạy Android, hệ thống vận hành mô hình Ling-mini-2.0 16B ở tốc độ 5,1 token mỗi giây. Chiếc máy tính bảng iOS cũ hơn xử lý cùng mô hình đó với tốc độ từ 2,6 đến 4,5 token mỗi giây. Đối với các tác vụ nhẹ nhàng hàng ngày, hộp TV xử lý Qwen3.5-2B ở tốc độ 7,7 token mỗi giây, trong khi iPad chạy mô hình Bonsai-1.7B được lượng tử hóa 1-bit ở tốc độ 24 đến 26 token mỗi giây. Mọi chỉ số hiệu năng đều được đo trực tiếp trên thiết bị vật lý, không phải qua mô phỏng.
Dự án nhấn mạnh rằng những kết quả này không phải là ngoại lệ đơn lẻ mà là sản phẩm của các kỹ thuật kỹ thuật có thể tái lập. Các tác giả lưu ý rằng phương pháp này áp dụng cho bất kỳ thiết bị Linux hoặc Android nào nơi kích thước mô hình vượt quá RAM khả dụng, miễn là phương tiện lưu trữ đủ nhanh để truyền dữ liệu. Các kế hoạch mở rộng trong tương lai nhằm bao gồm điện thoại thông minh, máy tính một bo mạch và router.
Cách thức hoạt động
Đổi mới cốt lõi nằm ở một loạt bản vá được áp dụng cho llama.cpp, một thư viện C++ phổ biến để chạy LLM cục bộ. Các engine suy luận tiêu chuẩn thường yêu cầu toàn bộ mô hình, hoặc ít nhất là tất cả các tham số đang hoạt động, phải nằm trong RAM. Smolmaxxing phá vỡ yêu cầu này bằng cách coi bộ nhớ flash như một phần mở rộng của bộ nhớ. Vì các mô hình MoE chỉ kích hoạt một tập hợp nhỏ các "chuyên gia" (experts) cho mỗi token, hệ thống giữ các chuyên gia thường xuyên sử dụng trong RAM và truyền tải phần còn lại từ bộ nhớ flash theo yêu cầu. Nó cũng nạp trước các chuyên gia của lớp tiếp theo để giảm thiểu độ trễ.
Để làm cho việc truyền tải này khả thi trên các CPU yếu, dự án giới thiệu các kernel tùy chỉnh được thiết kế riêng cho kiến trúc chip cụ thể. Đối với bộ vi xử lý Cortex-A55 trong hộp TV, các kỹ sư đã triển khai kernel tra cứu bảng 1-bit và đóng gói lại các định dạng 2-bit và ternary. Chip Apple A7 trong iPad thiếu các lệnh dot-product, vì vậy nhóm đã phát triển các phiên bản thay thế của những kernel này chỉ dựa vào các lệnh NEON cơ bản. Những tối ưu hóa này giảm tải tính toán cho mỗi phép toán, cho phép các bộ vi xử lý chậm hơn bắt kịp với dòng dữ liệu truyền từ bộ nhớ.
Việc tiết kiệm bộ nhớ còn được thực hiện bằng cách cắt tỉa từ vựng của mô hình. Vì hầu hết các từ trong từ vựng tiêu chuẩn hiếm khi được sử dụng trong quá trình suy luận, dự án loại bỏ các hàng đầu ra không dùng đến để giải phóng RAM. Trên hộp TV, chế độ "headless" vô hiệu hóa launcher Android và các dịch vụ nền Google trong quá trình suy luận, đảm bảo rằng mỗi megabyte RAM khả dụng đều được dành cho mô hình. Sự kết hợp giữa nạp chọn lọc, mã cấp thấp tùy chỉnh và loại bỏ tài nguyên ở cấp hệ thống cho phép các mô hình 8B và 16B hoạt động trong ngân sách bộ nhớ 1 GB.
Chi tiết chính
- Phần cứng đã kiểm tra: Xiaomi TV Box S (Thế hệ thứ 3) với chip Amlogic S7D và iPad Air (2013) với chip Apple A7.
- Ràng buộc bộ nhớ: Cả hai thiết bị đều hoạt động với khoảng 1 GB hoặc ít hơn RAM khả dụng.
- Hiệu năng đỉnh điểm: Mô hình Ling-mini-2.0 16B chạy ở tốc độ 5,1 tok/s trên hộp TV và lên tới 4,5 tok/s trên iPad.
- Kỹ thuật cốt lõi: Các mô hình mixture-of-experts được phân trang từ bộ nhớ flash, chỉ giữ các chuyên gia đang hoạt động trong RAM.
- Nền tảng phần mềm: Tất cả các sửa đổi là bản vá áp dụng cho engine suy luận llama.cpp; llama.cpp nguyên bản không thể tải các mô hình này.
- Khả năng sẵn có: Các tệp mô hình dựng sẵn được lưu trữ trên Hugging Face, kèm theo hướng dẫn cài đặt cho thiết bị Android ARMv8.2 và iOS 12 đã jailbreak.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và chuyên gia AI, dự án này thách thức giả định rằng suy luận LLM cục bộ đòi hỏi GPU cao cấp hoặc RAM đáng kể. Nó chứng minh rằng lập trình hệ thống cẩn thận có thể mở khóa khả năng đáng kể từ các thiết bị điện tử tiêu dùng nhàn rỗi. Hộp TV, máy tính bảng cũ và router thường nằm không, nhưng chúng sở hữu CPU và bộ nhớ flash có khả năng xử lý các khối lượng công việc AI có ý nghĩa nếu stack phần mềm được tối ưu hóa đúng cách. Điều này mở ra các hướng đi cho việc triển khai AI biên (edge AI) trong các môi trường mà năng lượng, chi phí hoặc không gian cấm sử dụng máy chủ truyền thống.
Các kỹ thuật này cũng nêu bật tầm quan trọng của tối ưu hóa đặc thù kiến trúc. Lượng tử hóa đa mục đích thường không đủ cho các trường hợp biên cực đoan. Bằng cách viết các kernel tùy chỉnh tận dụng các tập lệnh cụ thể như NEON, các nhà phát triển có thể vắt kiệt hiệu năng mà các thư viện chung bỏ lỡ. Cách tiếp cận này đặc biệt liên quan đến các mô hình mixture-of-experts, vốn phù hợp tự nhiên với các chiến lược phân trang do mẫu kích hoạt thưa thớt của chúng. Khi các mô hình trở nên lớn hơn, quản lý bộ nhớ hiệu quả sẽ trở nên quan trọng ngang với sức mạnh tính toán thô.
Bạn có thể làm gì
- Tải xuống các binary llama.cpp đã vá và các tệp mô hình dựng sẵn từ kho lưu trữ Hugging Face của smolmaxxing.
- Thử nghiệm thiết lập trên thiết bị Android ARMv8.2 bằng cách sử dụng hướng dẫn trong
docs/tv-box-setup.md. - Thực nghiệm với iPad đã jailbreak trên iOS 12.5.7 bằng cách sử dụng các script được cung cấp trong thư mục
ipad-air/. - Xem xét
docs/how-it-works.mdđể hiểu rõ những lợi ích cụ thể từ mỗi kernel và kỹ thuật tối ưu hóa bộ nhớ. - Xây dựng lại các mô hình cho phần cứng của bạn bằng cách sử dụng các công cụ trong thư mục
tools/, tuân theo các hướng dẫn trongdocs/models.md. - Đọc
EXPERIMENT.mdđể phân tích 160 thí nghiệm và thất bại được các tác giả ghi nhận, giúp bạn tránh những cạm bẫy phổ biến.



