Meta phát hành Muse Spark Open, mô hình MoE đa phương tiện với 816 tỷ tham số

Meta chính thức phát hành Muse Spark Open, một mô hình mã nguồn mở quy mô tiên phong được thiết kế cho các tác vụ đa phương tiện phức tạp. Được công bố vào ngày 15 tháng 10 năm 2026, kiến trúc hỗn hợp chuyên gia này đại diện cho mô hình mã nguồn mở mạnh nhất của Mỹ tính đến nay, nhắm mục tiêu đến các nhà phát triển cần khả năng suy luận nâng cao trên mã nguồn, phương tiện truyền thông và ngữ cảnh dài.

Điều gì đã xảy ra

Muse Spark Open xuất hiện như phiên bản đầy đủ kích thước của Muse Glimmer, mà Meta đã phát hành vào tháng 8 năm 2026. Trong khi Glimmer là một mô hình đặc (dense model) nhỏ hơn phù hợp để chạy cục bộ, Spark Open tăng quy mô đáng kể để xử lý các khối lượng công việc cấp doanh nghiệp. Mô hình có khoảng 816 tỷ tham số tổng cộng, nhưng chỉ kích hoạt khoảng 42 tỷ tham số mỗi token trong quá trình suy luận. Thiết kế này cho phép duy trì hiệu suất cao trong khi quản lý chi phí tính toán hiệu quả hơn so với các mô hình đặc truyền thống có cùng kích thước.

Trọng tâm chính của bản phát hành này là lập trình tự động (agentic coding). Meta đã huấn luyện mô hình trên các quy trình làm việc thực tế của nhà phát triển, bao gồm tái cấu trúc nhiều tệp, các phiên bản gỡ lỗi kéo dài và sử dụng công cụ. Khác với các phiên bản trước, Muse Spark Open tích hợp văn bản, hình ảnh, âm thanh và video vào một giao diện duy nhất. Điều này có nghĩa là các nhà phát triển có thể cung cấp cho mô hình ảnh chụp màn hình, ghi chú giọng nói hoặc quay màn hình cùng với cơ sở mã nguồn, cho phép AI lập kế hoạch, hành động, quan sát và tự sửa lỗi qua các tác vụ kéo dài. Nó cũng hỗ trợ duyệt web với đầu vào hình ảnh, mở rộng tiện ích vượt ra ngoài phân tích mã tĩnh.

Cách thức hoạt động

Đổi mới cốt lõi trong Muse Spark Open là kiến trúc Hỗn hợp Chuyên gia (MoE). Mô hình ngôn ngữ bao gồm 62 lớp, mỗi lớp chứa một chiều ẩn (hidden dimension) là 8192. Thay vì sử dụng một mạng feed-forward đặc duy nhất trong mỗi lớp, mô hình áp dụng một khối MoE với 256 chuyên gia riêng biệt. Cơ chế định tuyến chọn chỉ tám trong số các chuyên gia này cho mỗi token được xử lý. Mỗi chuyên gia là một mạng feed-forward chiếu dữ liệu từ 8192 xuống 4096 chiều và ngược lại, áp dụng chuẩn hóa riêng. Mặc dù tất cả 256 chuyên gia phải luôn nằm trong bộ nhớ, đòi hỏi dung lượng lưu trữ tương đương với một mô hình 816 tỷ tham số, tải trọng tính toán mỗi token tương đương với một mô hình 42 tỷ tham số. Cấu trúc này chiếm khoảng 97% tổng số tham số của mô hình.

Để xử lý các đầu vào không phải văn bản, mô hình sử dụng các bộ mã hóa chuyên dụng. Bộ mã hóa nhận thức (perception encoder), với 1,8 tỷ tham số, xử lý hình ảnh và khung video bằng cách chia chúng thành các mảnh (patches) 14x14. Nó sử dụng cơ chế chú ý thưa (sparse attention) ở hầu hết các lớp, với cơ chế chú ý đầy đủ được áp dụng cứ sau bốn lớp và ở lớp cuối cùng. Đối với âm thanh, một tokenizer riêng biệt chuyển đổi âm thanh thành các token với tốc độ một token mỗi 80 mili giây, hay 12,5 token mỗi giây. Các token âm thanh này được đánh dấu trong mẫu trò chuyện (chat template) và đưa vào một bộ mã hóa kim tự tháp tích chập (convolutional pyramid encoder) xử lý các khung thời gian thông qua nhiều kích thước mảnh khác nhau.

Mô hình hỗ trợ cửa sổ ngữ cảnh lên đến một triệu token, bao gồm kết hợp các token văn bản, hình ảnh, video và âm thanh. Để quản lý bộ nhớ đệm khóa-giá trị (key-value cache) khổng lồ yêu cầu cho ngữ cảnh dài như vậy, Muse Spark Open sử dụng cơ chế chú ý truy vấn nhóm (grouped-query attention) với 128 đầu truy vấn và 16 đầu khóa-giá trị. Ở độ chính xác BF16, bộ nhớ đệm tiêu tốn khoảng 250 KB mỗi token, tổng cộng khoảng 266 GB cho một ngữ cảnh đầy đủ một triệu token. Mô hình có sẵn dưới hai định dạng điểm kiểm tra (checkpoint): BF16, yêu cầu bốn nút GPU H200 với song song hóa tensor, và NVFP4, một định dạng độ chính xác 4-bit được tối ưu hóa cho GPU NVIDIA Blackwell có thể chạy trên một nút B200 đơn lẻ.

Chi tiết chính

• Quy mô mô hình: Khoảng 816 tỷ tham số tổng cộng với 42 tỷ tham số hoạt động mỗi token.
• Kiến trúc: Mixture-of-Experts 62 lớp với 256 chuyên gia mỗi lớp, chọn 8 chuyên gia mỗi token.
• Cửa sổ ngữ cảnh: Hỗ trợ lên đến 1.048.576 token, bao gồm văn bản, hình ảnh, âm thanh và video.
• Các phương thức đầu vào: Chấp nhận văn bản, hình ảnh, âm thanh (12,5 token/giây) và video thông qua các bộ mã hóa chuyên dụng.
• Định dạng điểm kiểm tra: Có sẵn ở định dạng BF16 (khoảng 1,5 TB) và NVFP4 cho GPU NVIDIA Blackwell.
• Yêu cầu suy luận: BF16 yêu cầu song song hóa tensor 32-way trên các GPU H200; NVFP4 chạy trên một nút B200 đơn lẻ.

Tại sao điều này quan trọng

Đối với kỹ sư phần mềm và trưởng nhóm kỹ thuật, Muse Spark Open cung cấp một giao diện thống nhất cho các nhiệm vụ phát triển đa phương tiện. Khả năng xử lý ảnh chụp màn hình và quay màn hình cùng với mã nguồn cho phép gỡ lỗi trực quan hơn và tạo tài liệu dễ dàng hơn. Bằng cách huấn luyện cụ thể trên các quy trình làm việc tự động, Meta đã tạo ra một mô hình có thể tự động điều hướng các cơ sở mã phức tạp, giảm bớt nỗ lực thủ công cần thiết cho việc tái cấu trúc quy mô lớn. Tính chất mã nguồn mở của bản phát hành cũng có nghĩa là các tổ chức có thể tinh chỉnh mô hình trên các cơ sở mã độc quyền mà không cần phụ thuộc vào các dịch vụ API đóng, nâng cao bảo mật dữ liệu và khả năng tùy biến.

Tuy nhiên, các yêu cầu về cơ sở hạ tầng đặt ra rào cản đáng kể đối với việc tiếp cận. Chạy điểm kiểm tra BF16 đòi hỏi tài nguyên GPU đáng kể, cụ thể là nhiều nút GPU H200. Ngay cả phiên bản NVFP4 đã được tối ưu hóa cũng yêu cầu quyền truy cập vào phần cứng Blackwell thế hệ tiếp theo. Điều này giới hạn việc áp dụng ngay lập tức đối với các doanh nghiệp được tài trợ tốt hoặc các tổ chức nghiên cứu có quyền truy cập vào các cụm tính toán tiên tiến. Các nhà phát triển phải cẩn thận đánh giá khả năng phần cứng của họ trước khi cố gắng triển khai hoặc tinh chỉnh mô hình này, vì nhu cầu về bộ nhớ và xử lý vượt xa các môi trường phát triển cục bộ điển hình.

Bạn có thể làm gì

• Tải xuống các điểm kiểm tra Muse-Spark-Open-816B-A42B hoặc NVFP4 từ kho lưu trữ chính thức.
• Sử dụng các công thức llama.cpp, vLLM hoặc SGLang được cung cấp để thiết lập môi trường suy luận.
• Cấu hình MuseSparkProcessor để xử lý các đầu vào đa phương tiện bao gồm hình ảnh, âm thanh và video.
• Thử nghiệm với cửa sổ ngữ cảnh 1M token để tóm tắt tài liệu dài hoặc phân tích cơ sở mã sâu rộng.
• Tinh chỉnh mô hình cho các nhiệm vụ lập trình cụ thể bằng cách sử dụng các cài đặt cấu hình phân tán cho song song hóa tensor và chuyên gia.
• Đánh giá điểm kiểm tra NVFP4 nếu bạn có quyền truy cập vào GPU NVIDIA Blackwell để giảm yêu cầu phần cứng.