llama.cpp thử nghiệm mở rộng chuyên gia MoE lúc chạy mà không cần huấn luyện lại
Một nhánh cộng đồng của llama.cpp hiện cho phép các mô hình Mixture of Experts (MoE) thưa kích hoạt nhiều chuyên gia hơn trong quá trình suy luận, đánh đổi tốc độ để có thể cải thiện chất lượng.
