DeepSeek ra mắt DeepInfer, framework suy luận cho môi trường sản xuất quy mô lớn

DeepSeek đã phát hành DeepInfer, một framework suy luận mã nguồn mở được thiết kế để vận hành các dịch vụ sản xuất quy mô lớn của họ. Được công bố trên GitHub vào tháng 10 năm 2026, phiên bản này cung cấp các tính năng cốt lõi cần thiết để phục vụ các mô hình DeepSeek-V4.1-Flash ở quy mô lớn, nhắm đến các kỹ sư cần khả năng suy luận ngoại tuyến (offline inference) với thông lượng cao.

Chuyện gì đã xảy ra

Nhóm DeepSeek đã công bố kho lưu trữ DeepInfer, thu hút sự chú ý đáng kể từ cộng đồng nhà phát triển với hàng nghìn sao (stars) và fork. Phiên bản này đánh dấu sự chuyển đổi cơ sở hạ tầng sản xuất nội bộ của họ thành một bộ công cụ công khai, cho phép các nhà phát triển bên ngoài tận dụng các kỹ thuật tối ưu hóa tương tự như những gì được sử dụng trong chính các dịch vụ của DeepSeek. Framework này được thiết kế riêng cho điểm kiểm tra (checkpoint) mô hình DeepSeek-V4.1-Flash, đảm bảo tích hợp chặt chẽ giữa stack phần mềm và kiến trúc mô hình.

Khác với các engine suy luận đa mục đích, DeepInfer được xây dựng với các mục tiêu phần cứng cụ thể. Nó hỗ trợ GPU NVIDIA SM100 và NPU Huawei Ascend 950, phản ánh trọng tâm chiến lược vào các kiến trúc bộ tăng tốc cao cấp. Phiên bản bao gồm các kernel được tối ưu hóa, chiến lược song song hóa và cơ chế lập lịch, những yếu tố then chốt để duy trì độ trễ thấp và thông lượng cao trong các triển khai quy mô lớn. Mặc dù phiên bản hiện tại tập trung vào suy luận ngoại tuyến, nó đặt nền móng cho các cấu hình phục vụ phức tạp hơn.

Cách thức hoạt động

DeepInfer đạt được hiệu suất thông qua sự kết hợp giữa các kernel tùy chỉnh và thuật toán lập lịch nâng cao. Ở mức thấp nhất, nó sử dụng các kernel được tối ưu hóa như FlashMLA, DeepGEMM, DeepEP, TileKernels và DeepSelect, cùng với các kernel TileLang tùy chỉnh. Các thành phần này xử lý hiệu quả các phép nhân ma trận nặng và cơ chế attention. Về mặt song song hóa, framework hỗ trợ Attention Data Parallelism (DP), Context Parallelism (CP) cân bằng và Mixture of Experts Expert Parallelism (MoE EP) với Expert Parallel Load Balancing (EPLB).

Một đổi mới quan trọng trong DeepInfer là cách tiếp cận đối với việc tăng tốc giải mã (decoding). Nó triển khai DSpark và xác minh theo lịch trình dựa trên độ tin cậy (confidence-scheduled verification), sử dụng các token nháp (draft tokens) để đẩy nhanh quá trình tạo văn bản. Hệ thống ước lượng mức độ tin cậy để lên lịch các bước xác minh, giảm bớt tính toán không cần thiết. Ngoài ra, nó áp dụng Decoder Sliding Window Attention (SWA) bounded replay. Kỹ thuật này giảm khối lượng công việc prefill bằng cách chỉ phát lại một hậu tố giới hạn của ngữ cảnh, thay vì xử lý lại toàn bộ lịch sử. Các kỹ sư có thể cấu hình điều này bằng cách đặt các biến môi trường cụ thể để xác định chế độ cắt ngắn và số lượng token cần giữ lại.

Framework cũng có tính năng lập lịch bất đồng bộ, chồng lấn việc lập lịch batch trên CPU với thực thi trên thiết bị để loại bỏ chi phí phụ trội (overhead). Nó hỗ trợ suy luận bất biến theo batch (batch-invariant inference), đảm bảo kết quả mô hình vẫn giống hệt nhau bất kể thành phần batch, điều rất quan trọng cho việc gỡ lỗi và tái lập. Việc lấy mẫu xác định (deterministic sampling) cũng khả dụng, cho phép người dùng tạo ra đầu ra giống hệt nhau cho các đầu vào giống hệt nhau bằng cách cố định seed của chuỗi. Hơn nữa, DeepInfer hỗ trợ đầu ra có cấu trúc, cho phép ràng buộc việc tạo văn bản thông qua regex, JSON schema hoặc văn phạm EBNF.

Chi tiết chính

• Mô hình hỗ trợ: DeepSeek-V4.1-Flash (điểm kiểm tra deepseek-ai/DeepSeek-V4.1-Flash-1017).
• Hỗ trợ phần cứng: GPU NVIDIA SM100 và NPU Huawei Ascend 950.
• Yêu cầu tiên quyết: Linux, GCC >= 13.0, Python 3.12, CUDA 13 (cho NVIDIA) hoặc CANN 9.2 (cho Ascend).
• Chiến lược song song hóa: Attention DP, CP cân bằng, MoE EP với EPLB.
• Kỹ thuật tối ưu hóa: DSpark với xác minh theo lịch trình dựa trên độ tin cậy, SWA bounded replay và lập lịch bất đồng bộ.
• Giấy phép: Apache License 2.0.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và đội ngũ hạ tầng ML, DeepInfer cung cấp một triển khai tham chiếu để chạy các mô hình ngôn ngữ lớn hiệu quả trên phần cứng hiện đại. Việc bao gồm suy luận bất biến theo batch và lấy mẫu xác định giải quyết các điểm đau phổ biến trong môi trường sản xuất, nơi khả năng tái lập là thiết yếu cho việc thử nghiệm và tuân thủ. Bằng cách mã nguồn mở các công cụ này, DeepSeek cho phép cộng đồng đánh giá chuẩn (benchmark) và tối ưu hóa các triển khai của riêng họ so với một baseline tiên tiến nhất.

Việc hỗ trợ cả phần cứng NVIDIA và Huawei mở rộng khả năng tiếp cận suy luận hiệu năng cao, đáp ứng các thiết lập hạ tầng đa dạng. Tuy nhiên, các nhà phát triển nên lưu ý rằng phiên bản này tập trung vào suy luận ngoại tuyến. Một dịch vụ sản xuất hoàn chỉnh vẫn sẽ yêu cầu các thành phần bổ sung như hệ thống cache KV, tách biệt giai đoạn prefill và decode, và cân bằng tải giữa các replica. Những yếu tố này không được bao gồm trong gói mã nguồn mở hiện tại, nghĩa là các đội ngũ sẽ cần tích hợp DeepInfer vào stack phục vụ hiện có của họ hoặc tự xây dựng các phần còn thiếu.

Bạn có thể làm gì

• Nhân bản (Clone) kho lưu trữ DeepInfer từ GitHub và thiết lập môi trường Python 3.12.
• Cài đặt các phụ thuộc cần thiết dựa trên phần cứng của bạn, sử dụng requirements-nvidia.txt hoặc requirements-ascend.txt.
• Xây dựng framework từ mã nguồn bằng script build.sh được cung cấp, đảm bảo bạn xuất đúng biến DEEPINFER_ACCELERATOR.
• Chạy ví dụ suy luận ngoại tuyến để kiểm thử framework với điểm kiểm tra DeepSeek-V4.1-Flash mặc định.
• Thử nghiệm với đầu ra có cấu trúc bằng cách truyền JSON schema hoặc mẫu regex vào SamplingParams.
• Xem xét các benchmark đánh giá trong thư mục eval để hiểu đặc tính hiệu suất trên phần cứng được hỗ trợ.