Baidu phát hành ERNIE 5.5 Flash Base, mô hình MoE mã nguồn mở hiệu quả cao

Baidu đã công bố các trọng số tiền huấn luyện cho ERNIE-5.5-Flash-Base, một kiến trúc mô hình ngôn ngữ lớn mới được thiết kế nhằm tối ưu hóa hiệu suất và khả năng thích ứng. Được phát hành vào ngày 5 tháng 11 năm 2026, bản phát hành mã nguồn mở này cung cấp cho các nhà phát triển một điểm kiểm tra cơ sở trước khi thực hiện bất kỳ điều chỉnh nào về tinh chỉnh theo chỉ dẫn (instruction tuning) hoặc học tăng cường.

Mô hình có tổng cộng 280 tỷ tham số nhưng chỉ kích hoạt 14 tỷ tham số cho mỗi token, tận dụng thiết kế Mixture-of-Experts (MoE) dạng thưa để cân bằng giữa chi phí tính toán và dung lượng cao. Nó được huấn luyện trên 33,5 nghìn tỷ token và hỗ trợ cửa sổ ngữ cảnh lên đến một triệu token trong quá trình suy luận, mang lại một điểm khởi đầu vững chắc cho việc thích ứng theo lĩnh vực cụ thể và các ứng dụng tác nhân (agentic applications).

Điều gì đã xảy ra

Bản phát hành tập trung vào việc cung cấp một đường cơ sở sạch sẽ cho sự phát triển tiếp theo. Khác với nhiều mô hình thương mại che giấu trạng thái huấn luyện ban đầu của chúng, Baidu đã chia sẻ chính xác điểm kiểm tra từ cuối giai đoạn tiền huấn luyện. Điều này cho phép các nhà nghiên cứu và kỹ sư xây dựng dựa trên các khả năng chung mà không bị ảnh hưởng bởi các kỹ thuật căn chỉnh sau huấn luyện, vốn đôi khi có thể làm mờ đi khả năng suy luận thô của mô hình hoặc đưa ra những thiên lệch hành vi cụ thể.

ERNIE-5.5-Flash-Base được tiền huấn luyện từ đầu sử dụng bộ tối ưu Muon và độ chính xác hỗn hợp FP8. Quá trình huấn luyện dần mở rộng cửa sổ ngữ cảnh lên 128.000 token, mặc dù mô hình cuối cùng hỗ trợ lên đến một triệu token cho các nhiệm vụ tinh chỉnh và suy luận. Các nhà phát triển nhấn mạnh rằng mô hình cơ sở này nhằm mục đích tiết kiệm cho các nhóm khác chi phí khổng lồ của việc tiền huấn luyện quy mô lớn, cho phép họ tập trung nguồn lực vào các nhiệm vụ chuyên biệt như hiểu mã ở quy mô kho lưu trữ hoặc các luồng công việc phức tạp của tác nhân.

Kho dữ liệu huấn luyện được chọn lọc để ưu tiên các khả năng khó bổ sung sau này. Bao gồm dữ liệu web đa ngôn ngữ phong phú, các kho mã chất lượng cao kèm theo lịch sử cam kết (commit histories) và kết quả kiểm thử, cùng với dữ liệu tổng hợp được thiết kế để cải thiện việc truy xuất ngữ cảnh dài và trả lời câu hỏi đa bước. Bằng cách tập trung vào những lĩnh vực này trong quá trình tiền huấn luyện, mô hình thiết lập một nền tảng vững chắc cho các nhiệm vụ đòi hỏi sự hiểu biết sâu sắc về cấu trúc phần mềm và tài liệu dài.

Cách thức hoạt động

Kiến trúc đạt được hiệu quả thông qua một số cơ chế mới lạ, chủ yếu trong cách nó xử lý cơ chế chú ý (attention) và định tuyến chuyên gia (expert routing). Hầu hết các lớp sử dụng Heavily Compressed Attention (HCA), nén mỗi 128 token thành một mục nhập được lưu trữ duy nhất. Điều này cho phép mô hình duy trì cái nhìn toàn bộ chuỗi trong khi giảm đáng kể mức sử dụng bộ nhớ. Chỉ một trong bảy lớp sử dụng Multi-head Latent Attention (MLA) để truy cập chi tiết đầy đủ ở cấp độ token, và ngay cả những lớp này cũng áp dụng cơ chế chú ý thưa để giữ cho việc tính toán không đổi khi ngữ cảnh tăng lên.

Việc định tuyến trong các lớp Mixture-of-Experts được xử lý bởi hệ thống Multi-Router thay vì một router đơn lẻ. Trong các thiết lập truyền thống, lỗi của một router đơn lẻ có thể tự củng cố vì các chuyên gia không được chọn không nhận được tín hiệu gradient. ERNIE 5.5 Flash sử dụng nhiều router sigmoid độc lập chấm điểm các chuyên gia một cách đồng thời. Cách tiếp cận này đảm bảo rằng các quyết định định tuyến ít nhạy cảm hơn với nhiễu và sự dịch chuyển phân phối, dẫn đến mối tương quan tốt hơn giữa các chuyên gia được chọn và tiện ích thực tế, đặc biệt là ở các lớp sâu hơn.

Các đổi mới kiến trúc khác bao gồm Manifold-Constrained Hyper-Connections, thay thế các kết nối dư thừa tiêu chuẩn bằng các luồng song song để cải thiện dòng chảy thông tin, và một đầu ra MultiMax sử dụng nhiệt độ hàm từng khúc có thể học được để cân bằng các phân phối xác suất. Ngoài ra, mô hình sử dụng ECHO, một phương pháp tái sử dụng lớp cuối cùng của backbone để dự đoán các token tương lai, cải thiện khả năng suy luận mà không cần thêm các mô-đun dự đoán riêng biệt.

Chi tiết chính

• Số lượng tham số: Tổng cộng 280 tỷ tham số, với 14 tỷ tham số được kích hoạt cho mỗi token.
• Dữ liệu huấn luyện: Tiền huấn luyện trên 33,5 nghìn tỷ token, bao gồm dữ liệu web đa ngôn ngữ, mã ở quy mô kho lưu trữ và dữ liệu tổng hợp ngữ cảnh dài.
• Cửa sổ ngữ cảnh: Hỗ trợ lên đến 128K token trong quá trình tiền huấn luyện và lên đến 1M token cho việc tinh chỉnh và suy luận.
• Cơ chế chú ý: Sử dụng sự kết hợp giữa Multi-head Latent Attention và Heavily Compressed Attention để tối ưu hóa việc sử dụng KV cache.
• Bộ tối ưu: Huấn luyện bằng phiên bản phân tán của bộ tối ưu Muon với các cập nhật giao tiếp hiệu quả và phân mảnh cân bằng bộ nhớ.
• Tokenizer: Có tokenizer BPE với từ vựng 200K, xử lý các số từ phải sang trái theo nhóm ba chữ số để cải thiện hiệu suất tính toán số học.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà nghiên cứu ML, sự sẵn có của các trọng số cơ sở chất lượng cao làm giảm rào cản gia nhập cho việc tạo ra các mô hình chuyên biệt. Việc tiền huấn luyện một mô hình ở quy mô này là quá đắt đỏ đối với hầu hết các tổ chức. Bằng cách cung cấp một điểm kiểm tra đã hấp thụ khối lượng lớn mã và kiến thức kỹ thuật, Baidu cho phép các nhóm tập trung vào giai đoạn huấn luyện trung gian và tinh chỉnh theo chỉ dẫn cho các trường hợp sử dụng cụ thể của họ, chẳng hạn như phân tích tài liệu pháp lý hoặc trợ lý lập trình chuyên biệt.

Các lựa chọn kiến trúc cũng mang lại những bài học giá trị cho việc thiết kế mô hình hiệu quả. Việc sử dụng cơ chế chú ý nén và hệ thống MoE đa router chứng minh cách duy trì hiệu suất cao trong khi kiểm soát chi phí bộ nhớ và tính toán. Khi các ứng dụng tác nhân trở nên phổ biến hơn, khả năng xử lý ngữ cảnh dài một cách hiệu quả mà không làm bùng nổ yêu cầu về KV cache sẽ trở nên then chốt. Mô hình này cung cấp một triển khai tham chiếu cụ thể cho các kỹ thuật này.

Hơn nữa, sự nhấn mạnh vào chất lượng mã và dữ liệu ở cấp độ kho lưu trữ cho thấy sự chuyển dịch hướng tới các mô hình hiểu được sự tiến hóa của phần mềm, chứ không chỉ cú pháp tĩnh. Việc bao gồm lịch sử cam kết, yêu cầu kéo (pull requests) và kết quả kiểm thử trong dữ liệu huấn luyện giúp mô hình nắm bắt ý định đằng sau các thay đổi mã, điều cần thiết để xây dựng các tác nhân AI lập trình đáng tin cậy.

Bạn có thể làm gì

• Tải xuống các trọng số ERNIE-5.5-Flash-Base để sử dụng làm điểm khởi đầu cho các dự án thích ứng theo lĩnh vực.
• Thử nghiệm với cửa sổ ngữ cảnh 1M token của mô hình cho các nhiệm vụ tóm tắt tài liệu dài hoặc truy xuất thông tin.
• Nghiên cứu triển khai Multi-Router MoE để cải thiện sự ổn định định tuyến trong các mô hình thưa của riêng bạn.
• Tận dụng chiến lược mã hóa số từ phải sang trái nếu bạn đang xây dựng các mô hình cho ứng dụng toán học hoặc tài chính.
• Khai thác khả năng soạn thảo nhiều token của mô-đun ECHO để giải mã suy đoán nhanh hơn trong các pipeline suy luận.
• So sánh các phương pháp huấn luyện tùy chỉnh của bạn với đường cơ sở sạch sẽ này để cô lập tác động của dữ liệu hoặc mục tiêu cụ thể của bạn.