Chạy mô hình DeepSeek-V4 284B trên CPU 64GB với các bản vá kernel mới

Một bộ bản vá kernel và công cụ lượng tử hóa mới có tên llama-modchip cho phép các nhà phát triển chạy mô hình DeepSeek-V4-Flash với 284 tỷ tham số trên một máy tính chỉ dùng CPU thông thường với dung lượng RAM 64GB. Được công bố vào ngày 8 tháng 11 năm 2026, dự án này chứng minh rằng các kiến trúc Mixture-of-Experts (MoE) quy mô lớn có thể hoạt động hiệu quả trong RAM hệ thống mà không cần đến các cụm GPU đắt đỏ hay gây ra lỗi tràn bộ nhớ.

Chuyện gì đã xảy ra

Thách thức chính đối với các mô hình ngôn ngữ lớn luôn là dung lượng bộ nhớ. Các bản build tiêu chuẩn của DeepSeek-V4-Flash thường yêu cầu hơn 76 GiB dung lượng lưu trữ, vượt quá khả năng RAM thực tế trên hầu hết các hệ thống Linux 64GB. Sự chênh lệch này thường buộc hệ điều hành phải sử dụng cơ chế swap đĩa chậm chạp hoặc dẫn đến các sự cố crash do thiếu bộ nhớ. Dự án llama-modchip giải quyết vấn đề này bằng cách nén checkpoint của mô hình xuống còn 56,56 GiB, cho phép toàn bộ mô hình cùng cửa sổ ngữ cảnh của nó vừa vặn trong 62,5 GiB RAM khả dụng của Linux.

Ngoài việc đưa mô hình vào bộ nhớ, dự án còn giới thiệu các tối ưu hóa hiệu suất đáng kể cho suy luận trên CPU. Bằng cách thay thế các vòng lặp nhân ma trận-vector tiêu chuẩn bằng lịch trình tiling nhiều cột và tận dụng các lệnh AVX-512BW, các bản vá giúp tăng tốc độ prefill lên 77% và tốc độ decode lên 53%. Trên bộ xử lý Zen 5 16 lõi, điều này tương đương với 44,4 token mỗi giây trong giai đoạn prefill và từ 9,1 đến 14,7 token mỗi giây trong giai đoạn tạo sinh, giúp việc sử dụng tương tác trở nên khả thi trên phần cứng dành cho người dùng phổ thông.

Dự án cũng hỗ trợ các mô hình MoE nhỏ hơn như Nemotron-3.5-30B-A3B, có thể chạy trên laptop với RAM từ 16–32 GB. Trong các cấu hình này, hệ thống đạt tốc độ từ 25,0 đến 60,4 token mỗi giây. Đối với người dùng có thiết lập lai kết hợp CPU với GPU 16 GB, công cụ này có thể offload các lớp attention "nóng" sang GPU trong khi giữ các chuyên gia routed "lạnh" trong RAM CPU, đẩy thông lượng lên hơn 80 token mỗi giây.

Cách thức hoạt động

Đổi mới cốt lõi nằm ở phương pháp lượng tử hóa tùy chỉnh có tên Fractal-64 và các bản vá kernel cụ thể cho thư viện ggml. Fractal-64 sử dụng cách tiếp cận lai, nơi các lớp nhạy cảm như embeddings và shared experts được giữ ở định dạng độ chính xác cao hơn như Q4_K hoặc F32, trong khi phần lớn các chuyên gia MoE routed được nén xuống IQ1_S hoặc Q2_0. Điều này giảm độ rộng bit hiệu dụng xuống thấp nhất là 1,71 bit cho mỗi trọng số đối với DeepSeek-V4-Flash mà không làm suy giảm đáng kể chất lượng mô hình.

Để quản lý việc di chuyển dữ liệu một cách hiệu quả, hệ thống sử dụng một drafter Stockfish-PVS v2, một mô hình n-gram siêu nhỏ chỉ 1,64 MB để dự đoán các token tiếp theo có khả năng xuất hiện. Điều này cho phép giải mã tự suy đoán (self-speculative decoding), nơi CPU xác minh nhiều token cùng một lúc. Ngoài ra, các bản vá kernel sử dụng gợi ý streaming non-temporal để đảm bảo rằng việc nạp trọng số của các chuyên gia lạnh từ RAM không đẩy các dòng cache key-value nóng ra khỏi bộ nhớ đệm L3, duy trì tỷ lệ hit cao cho ngữ cảnh đang hoạt động.

Chi tiết quan trọng

• DeepSeek-V4-Flash chiếm 56,56 GiB dung lượng ổ đĩa và chạy trong phạm vi 57,61 GiB VmRSS trên hệ thống Linux 64GB.
• Dự án đạt tốc độ prefill 44,4 token/giây và decode 9,1–14,7 token/giây trên cấu hình CPU thuần túy 64GB.
• Nemotron-3.5-30B-A3B chạy trên laptop RAM 16–32 GB với tốc độ từ 25,0 đến 60,4 token/giây.
• Các tensor GGUF tùy chỉnh sử dụng type ID 40 (GGML_TYPE_Q2_0), nghĩa là các công cụ chưa được vá như Ollama hoặc LM Studio tiêu chuẩn sẽ từ chối các mô hình này.
• Việc khôi phục ngữ cảnh cho các prompt Claude Code với 40 công cụ chỉ mất từ 13,1 đến 32,6 mili giây khi sử dụng snapshot KV slot qua /dev/shm.
• Cấu hình mặc định đánh giá tất cả 6 chuyên gia routed cộng với một chuyên gia shared cho mỗi lớp mà không loại bỏ bất kỳ chuyên gia nào (zero expert dropping).

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, sự phát triển này hạ thấp rào cản gia nhập cho việc triển khai các mô hình AI tiên tiến nhất. Nó loại bỏ nhu cầu về cơ sở hạ tầng GPU tốn kém cho nhiều tác vụ suy luận, cho phép các nhóm chạy những mô hình mạnh mẽ trên phần cứng máy chủ hiện có hoặc thậm chí là laptop dành cho nhà phát triển cao cấp. Sự thay đổi này có thể giảm đáng kể chi phí vận hành và đơn giản hóa các pipeline triển khai cho các ứng dụng yêu cầu cửa sổ ngữ cảnh dài, chẳng hạn như phân tích mã nguồn hoặc xem xét tài liệu.

Khả năng chạy các cửa sổ ngữ cảnh 256K hoàn toàn trong RAM cũng thay đổi cách các nhà phát triển tiếp cận quy trình làm việc của agent. Với thời gian khôi phục ngữ cảnh tức thì, các agent có thể duy trì trạng thái phức tạp qua nhiều lần gọi công cụ mà không gặp phải các hình phạt về độ trễ liên quan đến lưu trữ dựa trên đĩa. Điều này làm cho các trợ lý AI cục bộ, riêng tư trở nên khả thi hơn cho môi trường doanh nghiệp, nơi quyền chủ quyền dữ liệu và tốc độ là những mối lo ngại then chốt.

Bạn có thể làm gì

• Kiểm tra khả năng sẵn sàng của CPU cho hỗ trợ AVX-512 hoặc NEON bằng cách sử dụng script Python được cung cấp trước khi thử cài đặt.
• Sử dụng binary llama-server-modchip-linux-x86_64 đã được biên dịch sẵn để tránh các vấn đề tương thích với các bản build llama.cpp tiêu chuẩn.
• Bắt đầu với mô hình Nemotron-30B nếu bạn có ít hơn 64 GB RAM để kiểm tra hiệu suất trên phần cứng cụ thể của mình.
• Bật FlashAttention với cờ -fa on khi chạy DeepSeek-V4-Flash để tối đa hóa thông lượng prefill.
• Giám sát mức sử dụng bộ nhớ đệm L3 và tỷ lệ chấp nhận token qua HUD telemetry web để tinh chỉnh số lượng thread.
• Tránh sử dụng các công cụ lượng tử hóa tiêu chuẩn; thay vào đó, hãy dùng lệnh ./modchip quantize để chuyển mã các mô hình sang định dạng Fractal-64 bắt buộc.