Giảm 77% chi phí suy luận LLM bằng bộ tokenizer chuyên biệt cho từng lĩnh vực

Các nhà nghiên cứu tại Hugging Face đã chứng minh rằng việc tùy chỉnh từ vựng của các mô hình ngôn ngữ nhỏ có thể giảm chi phí suy luận lên tới 77%. Bằng cách thay thế các bộ tokenizer đa năng bằng một phương pháp gọi là VocabX, họ đã tối ưu hóa hệ thống chấm điểm bài luận tiếng Bồ Đào Nha xây dựng trên nền tảng Qwen3-4B mà không cần thay đổi trọng số mô hình gốc hay dữ liệu huấn luyện. Cách tiếp cận này nhắm vào những điểm kém hiệu quả cụ thể trong các triển khai chuyên biệt, nơi các bộ tokenizer tiêu chuẩn tạo ra gánh nặng tính toán không cần thiết.

Chuyện gì đã xảy ra

Nhóm nghiên cứu đã phân tích một hệ thống tự động chấm điểm bài luận tiếng Bồ Đào Nha đang hoạt động thực tế. Hệ thống này sử dụng Qwen3-4B, một mô hình mã nguồn mở nhỏ, để đánh giá các bài nộp của sinh viên và trả về kết quả dưới dạng JSON có cấu trúc. Mặc dù bản thân mô hình đã được tinh chỉnh (fine-tune) cho tác vụ cụ thể này, nó vẫn giữ nguyên bộ tokenizer ban đầu được thiết kế cho các trường hợp sử dụng đa ngôn ngữ rộng rãi. Sự không tương thích này khiến mô hình xử lý văn bản kém hiệu quả, chia tách các cụm từ phổ biến đặc thù của lĩnh vực thành nhiều token và duy trì một kho từ vựng khổng lồ chứa các mục không bao giờ được sử dụng.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển VocabX, một kỹ thuật tái cấu trúc từ vựng của mô hình dựa trên chi phí suy luận chứ không chỉ dựa trên tần suất xuất hiện của token. Họ đã thử nghiệm phương pháp này so với ba kỹ thuật tham chiếu hiện có: chuyển đổi từ vựng nhanh (fast vocabulary transfer), token hóa đa từ (multi-word tokenization) và mở rộng BPE tại chỗ (in-place BPE expansion). Trong các thí nghiệm được kiểm soát chặt chẽ sử dụng GPU RTX 5090 và máy chủ suy luận vLLM, mô hình được tăng cường bởi VocabX đã giảm độ dài phản hồi trung bình từ 350 token xuống còn 101 token. Quan trọng hơn, chi phí suy luận đo được giảm 77,0% trong khi điểm chất lượng tăng từ 0,703 lên 0,810.

Nghiên cứu cũng xác nhận các kết quả này trên năm lĩnh vực công khai, bao gồm hợp đồng, bài báo y khoa, tài liệu khoa học, tin tức và mã Python. VocabX vượt trội hơn các phương pháp tham chiếu mạnh nhất trong tất cả mười lăm sự kết hợp giữa các lĩnh vực và dòng mô hình, bao gồm Qwen3, Llama-3.1 và Gemma-3. Kết quả cho thấy chuyên biệt hóa từ vựng là một đòn bẩy quan trọng, thường bị bỏ qua, để giảm chi phí vận hành trong các ứng dụng AI chuyên biệt.

Cơ chế hoạt động

Các bộ tokenizer tiêu chuẩn được huấn luyện trên các tập dữ liệu đa dạng bao phủ nhiều ngôn ngữ và định dạng, dẫn đến hai loại lãng phí trong các ứng dụng chuyên biệt. Thứ nhất, tình trạng phân mảnh xảy ra khi bộ tokenizer chia nhỏ các đoạn văn bản đặc thù lặp lại thường xuyên, chẳng hạn như khung JSON hoặc các điều khoản pháp lý, thành nhiều phần nhỏ. Thứ hai, tồn tại dư thừa năng lực vì mô hình phải tính toán điểm số cho hàng chục nghìn mục từ vựng không bao giờ được sử dụng trong lĩnh vực cụ thể, ví dụ như ký tự Trung Quốc trong một hệ thống chấm điểm thi sinh học. Mỗi token được tạo ra đòi hỏi mô hình phải đọc toàn ma trận từ vựng, gây tiêu tốn đáng kể băng thông bộ nhớ.

VocabX giải quyết các vấn đề này bằng cách tối ưu hóa cho chi phí thay vì tần suất. Phương pháp này nhận ra rằng việc tạo ra một token đắt đỏ hơn nhiều so với việc đọc một token, với nghiên cứu ghi nhận tỷ lệ chi phí là 7,4 lần trong môi trường thử nghiệm của họ. Kỹ thuật này hoạt động đồng thời trên hai lớp. Ở cấp độ sub-word (phần từ), nó tái cấu trúc cách các từ được chia nhỏ. Ở cấp độ multi-word (đa từ), nó xác định các chuỗi lặp lại như câu hoàn chỉnh hoặc cấu trúc JSON và chuyển đổi chúng thành các "macro token" đơn lẻ. Năm trình khai thác chuyên biệt tìm kiếm các mẫu này, đảm bảo rằng cả các biểu thức ngắn lẫn các yếu tố cấu trúc phức tạp đều được nén một cách hiệu quả.

Một đổi mới chính trong VocabX là ước lượng thống kê dành cho các ứng viên hiếm gặp. Các phương pháp lấy mẫu truyền thống thường bỏ sót những token ít xuất hiện nhưng có giá trị cao, gán cho chúng mức lợi ích bằng không. VocabX sử dụng một mô hình thống kê để ước lượng tiềm năng tiết kiệm của các ứng viên chưa từng thấy này, cho phép nó chọn ra một bộ từ vựng hiệu quả hơn ngay cả khi dữ liệu mẫu hạn chế. Cách tiếp cận này đảm bảo rằng bộ từ vựng cuối cùng được thiết kế riêng để giảm thiểu các thao tác đắt đỏ nhất trong giai đoạn giải mã, nơi băng thông bộ nhớ là nút thắt cổ chai chính.

Chi tiết chính

• Giảm chi phí: Chi phí suy luận giảm 77,0% trong trường hợp nghiên cứu hệ thống chấm điểm bài luận tiếng Bồ Đào Nha.
• Hiệu quả token: Độ dài phản hồi trung bình giảm từ 350 token xuống còn 101 token mỗi yêu cầu.
• Cải thiện chất lượng: Điểm chuẩn (bench score), đo lường độ chính xác khi chấm điểm và khả năng sàng lọc, tăng từ 0,703 lên 0,810.
• Kích thước từ vựng: Từ vựng ở lớp đầu ra được giảm từ khoảng 152.000 mục xuống còn 65.000.
• Thiết lập phần cứng: Các bài kiểm tra được thực hiện trên GPU RTX 5090 sử dụng máy chủ suy luận vLLM.
• Khả năng tổng quát hóa: VocabX vượt trội hơn các phương pháp tham chiếu trong tất cả 15 sự kết hợp được thử nghiệm giữa các lĩnh vực và dòng mô hình.

Tại sao điều này quan trọng

Đối với các kỹ sư triển khai các mô hình ngôn ngữ nhỏ, nghiên cứu này nhấn mạnh rằng việc lựa chọn tokenizer là một yếu tố hiệu suất then chốt, chứ không chỉ là một bước tiền xử lý. Trong các kịch bản suy luận bị giới hạn bởi bộ nhớ (memory-bound), vốn phổ biến đối với các mô hình nhỏ có kích thước batch vừa phải, mỗi mục từ vựng không được sử dụng đều làm tăng độ trễ. Bằng cách cắt tỉa từ vựng để chỉ bao gồm các token liên quan, các nhà phát triển có thể giảm đáng kể lượng di chuyển dữ liệu cần thiết cho mỗi bước tạo sinh. Điều này dẫn đến thời gian phản hồi nhanh hơn và hóa đơn điện toán đám mây thấp hơn mà không cần đầu tư vào phần cứng lớn hơn.

Hơn nữa, nghiên cứu thách thức giả định rằng nén tối đa luôn mang lại kết quả tốt nhất. Phiên bản đầu tiên của bộ từ vựng chuyên biệt đã gộp chung điểm số với các cấu trúc JSON, làm giảm chất lượng. Việc tách riêng các yếu tố này làm tăng nhẹ số lượng token nhưng cải thiện độ chính xác và hiệu quả chi phí tổng thể. Điều này chỉ ra rằng thiết kế từ vựng phải cân bằng giữa việc nén và khả năng đưa ra các quyết định phân biệt rõ ràng của mô hình. Các nhà phát triển nên xem việc thích ứng từ vựng là một phần của thiết kế kiến trúc mô hình, đặc biệt đối với các tác vụ chuyên biệt nơi các cấu trúc lặp đi lặp lại chiếm ưu thế trong đầu ra.

Bạn có thể làm gì

• Kiểm toán bộ tokenizer hiện tại của bạn để xác định các cụm từ đặc thù lĩnh vực xuất hiện thường xuyên nhưng bị chia thành nhiều token.
• Tính toán tỷ lệ chi phí giữa token đầu vào và đầu ra trong hạ tầng của bạn để ưu tiên nỗ lực tối ưu hóa.
• Cân nhắc triển khai macro token cho các yếu tố cấu trúc lặp lại như wrapper JSON hoặc boilerplate code.
• Đánh giá các công cụ thích ứng từ vựng hiện có như fast vocabulary transfer hoặc in-place BPE trước khi xây dựng giải pháp tùy chỉnh.
• Theo dõi chặt chẽ các chỉ số chất lượng khi nén từ vựng, đảm bảo rằng các điểm quyết định quan trọng vẫn là các token riêng biệt.
• Kiểm tra các thay đổi từ vựng trên phần cứng đại diện để đo lường cải thiện độ trễ và băng thông trong thực tế.