Kiến trúc DeepSeek V3 được hiện thực hóa trong 190 dòng mã JAX
Một nhà phát triển đã tái tạo kiến trúc DeepSeek V3 bằng JAX thuần túy, huấn luyện mô hình 36 triệu tham số trên MacBook Air để minh họa các cơ chế chính như MLA và MoE.
Được dịch tự động từ bản gốc tiếng Anh.
Vaibhaav Tiwari đã công bố một bản cài đặt mã nguồn mở của kiến trúc DeepSeek V3 chỉ sử dụng 190 dòng mã JAX thuần túy. Dự án, được đăng tải trên GitHub vào tháng 11 năm 2026, chứng minh rằng các cấu trúc mô hình ngôn ngữ lớn (LLM) hiện đại phức tạp có thể được hiểu và chạy trên phần cứng tiêu dùng mà không cần các framework nặng nề. Bằng cách loại bỏ các thư viện như PyTorch, Flax hoặc Equinox, bản cài đặt này cung cấp cái nhìn minh bạch về cách các thành phần như Multi-head Latent Attention và Mixture of Experts hoạt động ở mức độ nền tảng.
Chuyện gì đã xảy ra
Trọng tâm của bản phát hành này là một tệp Python duy nhất, deepseek_v3.py, chứa toàn bộ định nghĩa mô hình. Tiwari đã huấn luyện mô hình này từ đầu trên một chiếc MacBook Air trang bị chip M5 và 24 GB bộ nhớ. Dữ liệu huấn luyện bao gồm 207 cuốn tiểu thuyết trinh thám thuộc phạm vi công cộng, tổng cộng khoảng 21,7 triệu token. Lựa chọn tập dữ liệu này đảm bảo tính rõ ràng về pháp lý đồng thời cung cấp một cấu trúc ngôn ngữ mạch lạc để mô hình học theo.
Quá trình huấn luyện kéo dài 12.000 bước, xử lý khoảng 98 triệu token trong vòng khoảng 2,6 giờ. Mô hình kết quả chứa 36,2 triệu tham số, với 13,6 triệu tham số hoạt động cho mỗi token nhờ cơ chế định tuyến chuyên gia thưa (sparse expert routing). Mặc dù quy mô nhỏ hơn nhiều so với các mô hình công nghiệp, bản cài đặt vẫn tái tạo thành công những đổi mới kiến trúc được mô tả trong báo cáo kỹ thuật gốc của DeepSeek-V3. Dự án không chỉ bao gồm mã nguồn mà còn cả checkpoint đã huấn luyện, tokenizer và các script để tái tạo kết quả hoặc tạo văn bản mới.
Cách thức hoạt động
Bản cài đặt dựa vào các hàm JAX đơn giản và từ điển mảng, tránh mọi trừu tượng hóa cấp cao. Cách tiếp cận này cho phép các kỹ sư đọc mã từ trên xuống dưới và hiểu chính xác cách dữ liệu chảy qua mạng. Các đặc điểm kiến trúc chính bao gồm Multi-head Latent Attention (MLA), giúp nén cache khóa-giá trị để tiết kiệm bộ nhớ, và DeepSeekMoE, sử dụng sự kết hợp giữa các chuyên gia chia sẻ (shared experts) và chuyên gia định tuyến (routed experts) để xử lý tính toán hiệu quả.
Một cơ chế đáng chú ý là chiến lược cân bằng không phụ thuộc vào tổn thất phụ trợ (auxiliary-loss-free balancing strategy). Thay vì sử dụng một thành phần tổn thất phức tạp để buộc các chuyên gia chia đều khối lượng công việc, mô hình áp dụng một độ lệch (bias) cho từng chuyên gia nhằm hướng dẫn định tuyến sang các chuyên gia đang nhàn rỗi. Điều này thay đổi việc lựa chọn chuyên gia cho một token cụ thể mà không làm thay đổi trọng số của chúng. Mã nguồn cũng hiện thực hóa Multi-token Prediction (MTP), trong đó một module bổ sung dự đoán token sau token tiếp theo, giúp ổn định quá trình huấn luyện. Tất cả các tính toán sử dụng độ chính xác bfloat16 trên nền tảng trọng số master float32, đảm bảo tính ổn định số học trong các bước cập nhật.
Chi tiết quan trọng
- Kích thước mã nguồn: Logic cốt lõi của mô hình nằm gọn trong 190 dòng mã JAX thuần túy (không tính dòng trống và dòng chú thích).
- Yêu cầu phần cứng: Việc huấn luyện được thực hiện trên MacBook Air M5 với 24 GB RAM, đạt tốc độ ~10,7k token/giây.
- Quy mô mô hình: Tổng cộng 36,2 triệu tham số, với 13,6 triệu tham số hoạt động cho mỗi token thông qua định tuyến thưa.
- Dữ liệu huấn luyện: 21,7 triệu token từ 207 cuốn tiểu thuyết tội phạm và trinh thám thuộc phạm vi công cộng.
- Hiệu suất: Tổn thất kiểm tra (validation loss) giảm từ 5,02 xuống 3,51 sau 12.000 bước.
- Hiệu quả cân bằng: Tải trọng của các chuyên gia dao động từ 5,7–6,9% khi có bias, so với 0,09–18,6% khi không có.
Tại sao điều này quan trọng
Đối với các nhà phát triển phần mềm và kỹ sư ML, dự án này đóng vai trò như một công cụ giáo dục chất lượng cao. Các kiến trúc LLM hiện đại thường bị che khuất bởi những mã nguồn khổng lồ và hạ tầng độc quyền, khiến việc nắm bắt cách các đổi mới cụ thể như MLA hoặc decoupled rotary embeddings hoạt động trở nên khó khăn. Bằng cách rút gọn bản cài đặt xuống các phép toán toán học thiết yếu, Tiwari cung cấp một tài liệu tham khảo giúp giải mã những khái niệm này. Các kỹ sư có thể kiểm tra mã nguồn để xem chính xác cách xử lý cache hay cách cập nhật bias định tuyến, thu hẹp khoảng cách giữa các bài báo lý thuyết và việc triển khai thực tế.
Hơn nữa, khả năng huấn luyện một kiến trúc đại diện trên laptop thách thức giả định rằng thử nghiệm có ý nghĩa đòi hỏi tài nguyên quy mô cụm máy chủ (cluster-scale). Mặc dù mô hình kết quả không cạnh tranh được với các hệ thống tiên tiến nhất, nó chứng minh rằng tính toàn vẹn cấu trúc của các thiết kế nâng cao có thể được xác thực trên phần cứng tiêu dùng. Điều này hạ thấp rào cản gia nhập cho các nhà nghiên cứu và sinh viên muốn thử nghiệm với các sửa đổi kiến trúc, chẳng hạn như thay đổi số lượng chuyên gia hoặc điều chỉnh cơ chế attention, mà không cần truy cập vào tài nguyên điện toán đám mây đắt đỏ.
Bạn có thể làm gì
- Nhân bản repository và cài đặt các phụ thuộc đã được ghim phiên bản (pinned dependencies) bằng
uvđể đảm bảo tương thích vớijax-metal. - Chạy các bài kiểm tra được cung cấp để xác minh môi trường của bạn hỗ trợ các thao tác JAX cần thiết trên Apple Silicon.
- Thực thi script chuẩn bị dữ liệu để tải xuống và tokenize kho dữ liệu thuộc phạm vi công cộng, hoặc tải xuống các binary đã được tiền xử lý để đảm bảo khả năng tái tạo chính xác.
- Huấn luyện mô hình cục bộ bằng cấu hình mặc định hoặc cấu hình nhỏ hơn cho các máy có ít bộ nhớ hơn.
- Tạo các mẫu văn bản bằng checkpoint được cung cấp để quan sát đầu ra của mô hình đối với các prompt tiểu thuyết trinh thám.
- Nghiên cứu tệp
deepseek_v3.pytừng dòng một để hiểu cách hiện thực hóa MLA, định tuyến MoE và multi-token prediction.



