DeepSeek mã nguồn mở DeepInfer, hỗ trợ Huawei Ascend

DeepSeek đã phát hành DeepInfer, công cụ suy luận mã nguồn mở cung cấp năng lượng cho API của họ, đánh dấu sự thay đổi đáng kể so với chiến lược trước đây là chỉ chia sẻ trọng số mô hình. Được công bố vào ngày 20 tháng 10 năm 2026, framework này cho phép các nhà phát triển chạy mô hình DeepSeek-V4.1 Flash trên hạ tầng riêng của họ bằng cách sử dụng các kernel được tối ưu hóa và cơ chế lập lịch trước đó vẫn được giữ nội bộ.

Việc phát hành này đáng chú ý không chỉ vì phần mềm tự thân nó, mà còn vì khả năng hỗ trợ phần cứng. DeepInfer chạy gốc trên kiến trúc SM100 của Nvidia, có trong các GPU trung tâm dữ liệu Blackwell, và dòng NPU Huawei Ascend 950. Sự hỗ trợ kép này làm nổi bật xu hướng liên kết ngày càng tăng giữa DeepSeek và các nhà sản xuất phần cứng Trung Quốc giữa bối cảnh các hạn chế xuất khẩu đối với chip tiên tiến của Mỹ đang tiếp diễn.

Điều gì đã xảy ra

Trong nhiều năm, DeepSeek đã cung cấp trọng số mô hình để tải xuống, cho phép các nhà phát triển sử dụng các công cụ bên thứ ba như vLLM để chạy chúng. Tuy nhiên, công ty lưu ý rằng việc chạy một mô hình hiệu quả đòi hỏi nhiều hơn là chỉ có trọng số; nó cần phần mềm tinh vi để quản lý yêu cầu, phân phối khối lượng công việc qua các chip và tạo phản hồi nhanh chóng. Vào tháng 4 năm 2025, DeepSeek giải thích rằng việc phát hành toàn bộ stack suy luận của họ là không thực tế do sự gắn kết chặt chẽ với hạ tầng nội bộ và nguồn lực bảo trì hạn chế.

Quan điểm đó đã thay đổi với sự ra mắt của DeepInfer. Được phát hành theo giấy phép Apache 2.0, framework này bao gồm các kernel tính toán được tối ưu hóa như FlashMLA, DeepGEMM và DeepEP. Nó cũng có các thư viện giao tiếp và cơ chế phân phối tác vụ suy luận qua nhiều chip. Công ty tuyên bố rằng việc chia sẻ stack sản xuất này nhằm giúp cộng đồng giảm chi phí tính toán, giảm mức tiêu thụ năng lượng và làm cho AI trở nên dễ tiếp cận hơn về mặt chi phí.

Cùng với engine chính, DeepSeek đã mã nguồn mở deepseek-recipe, một thư viện đồng hành cho Rust và Python. Công cụ này xử lý việc chuyển đổi các yêu cầu API thành đầu vào mô hình và xử lý đầu ra trở lại thành phản hồi, giúp các nhà phát triển tái tạo hành vi của API chính thức DeepSeek trong các triển khai của riêng họ. Một phiên bản cập nhật của thư viện này đã được công bố cùng với thông báo chính, sau khi phát hành ban đầu một cách lặng lẽ vào tháng 9.

Cách hoạt động

DeepInfer áp dụng nhiều kỹ thuật tiên tiến để tối đa hóa thông lượng và giảm thiểu độ trễ. Nó hỗ trợ suy luận dự đoán (speculative decoding), một phương pháp dự đoán và xác minh nhiều token đồng thời để đẩy nhanh quá trình tạo phản hồi. Engine cũng sử dụng lập lịch bất đồng bộ để đảm bảo các bộ xử lý dành ít thời gian chờ đợi công việc mới, từ đó cải thiện hiệu suất tổng thể.

Framework được thiết kế cho suy luận ngoại tuyến (offline inference) và bao gồm các tính năng cốt lõi cần thiết để phục vụ ở quy mô lớn. Tuy nhiên, nó không bao gồm mọi thành phần cần thiết cho một dịch vụ sản xuất hoàn chỉnh. Các yếu tố bị thiếu bao gồm hệ thống quản lý cache KV, hạ tầng để tách biệt các giai đoạn suy luận qua các máy khác nhau và cân bằng tải giữa các bản sao. Các nhà phát triển phải tự cung cấp các thành phần hạ tầng xung quanh này, điều có thể đã cho phép DeepSeek phát hành engine cốt lõi mà không tiết lộ toàn bộ hệ thống quản lý cụm nội bộ của mình.

Đầu ra có cấu trúc cũng được hỗ trợ, cho phép các nhà phát triển chỉ định định dạng chính xác cho phản hồi của mô hình. Tính năng này đặc biệt hữu ích cho các ứng dụng yêu cầu schema dữ liệu nghiêm ngặt, giảm nhu cầu sửa lỗi hậu xử lý.

Chi tiết chính

• DeepInfer được phát hành theo giấy phép Apache 2.0 và hỗ trợ mô hình DeepSeek-V4.1 Flash.
• Hỗ trợ phần cứng giới hạn ở GPU Nvidia SM100 (Blackwell) và NPU Huawei Ascend 950; các kiến trúc Nvidia cũ hơn như Hopper không được hỗ trợ.
• Framework bao gồm các kernel được tối ưu hóa như FlashMLA, DeepGEMM và DeepEP, cùng với suy luận dự đoán và lập lịch bất đồng bộ.
• Một thư viện đồng hành, deepseek-recipe, có sẵn cho Rust và Python để xử lý yêu cầu và phản hồi.
• Một số tính năng, chẳng hạn như suy luận bất biến theo batch và lấy mẫu xác định, hiện chỉ khả dụng trên phần cứng Nvidia.
• DeepSeek chưa cung cấp benchmark hiệu suất cho chip Huawei, khiến hiệu quả tương đối giữa hai nền tảng vẫn chưa rõ ràng.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và trưởng nhóm hạ tầng, DeepInfer mang đến một con đường trực tiếp để tái tạo các đặc tính hiệu suất của API DeepSeek mà không phụ thuộc vào các dịch vụ bên ngoài. Bằng cách cung cấp quyền truy cập vào các tối ưu hóa giống hệt như trong môi trường sản xuất, framework có thể giảm đáng kể chi phí tính toán liên quan đến việc chạy các mô hình ngôn ngữ lớn. Điều này đặc biệt liên quan đến các đội ngũ muốn cắt giảm chi phí hoặc cải thiện độ trễ trong môi trường thông lượng cao.

Việc bao gồm hỗ trợ Huawei Ascend 950 có ý nghĩa chiến lược quan trọng. Khi các hạn chế xuất khẩu của Mỹ giới hạn quyền truy cập vào các chip tiên tiến nhất của Nvidia cho các công ty Trung Quốc, khoản đầu tư của DeepSeek vào phần cứng Huawei báo hiệu một hệ sinh thái thay thế khả thi. Đối với các nhà phát triển toàn cầu, điều này có nghĩa là việc tối ưu hóa cho phần cứng không phải Nvidia đang trở nên phổ biến hơn, có khả năng đa dạng hóa chuỗi cung ứng cho hạ tầng AI.

Tuy nhiên, tính chất một phần của bản phát hành có nghĩa là việc tích hợp DeepInfer vào các hệ thống hiện có sẽ đòi hỏi nỗ lực kỹ thuật bổ sung. Các đội ngũ phải xây dựng hoặc tích hợp các thành phần bị thiếu như bộ cân bằng tải và bộ quản lý cache. Mặc dù vậy, sự sẵn có của engine cốt lõi cung cấp một tài liệu tham khảo giá trị để hiểu cách đạt được suy luận hiệu suất cao, mang lại những insight có thể được điều chỉnh cho các engine và nền tảng phần cứng khác.

Bạn có thể làm gì

• Tải xuống DeepInfer và thư viện deepseek-recipe từ các repository chính thức của DeepSeek để thử nghiệm suy luận ngoại tuyến.
• Đánh giá xem phần cứng hiện tại của bạn có khớp với các thông số kỹ thuật SM100 hoặc Ascend 950 được hỗ trợ hay không trước khi lên kế hoạch di chuyển.
• Nghiên cứu các kernel được tối ưu hóa và thư viện giao tiếp đi kèm để xác định các cải tiến tiềm năng cho pipeline suy luận của riêng bạn.
• Sử dụng các tính năng đầu ra có cấu trúc để thực thi định dạng phản hồi nghiêm ngặt trong ứng dụng của bạn, giảm logic hậu xử lý.
• Theo dõi các cuộc thảo luận cộng đồng và bản cập nhật để biết về hỗ trợ tương lai cho các thành phần bị thiếu như quản lý cache KV và cân bằng tải.
• So sánh hiệu suất của suy luận dự đoán và lập lịch bất đồng bộ trong trường hợp sử dụng cụ thể của bạn với thiết lập hiện tại.