Đánh giá hiệu năng các mô hình text-to-speech CPU nhỏ cho triển khai cục bộ
Một bài kiểm tra chuẩn (benchmark) vào tháng 11 năm 2026 so sánh độ trễ, bộ nhớ và chất lượng của các mô hình TTS nhẹ trên CPU AMD EPYC đơn luồng.
Được dịch tự động từ bản gốc tiếng Anh.
Các kỹ sư xây dựng tính năng AI offline hoặc edge giờ đây đã có dữ liệu cụ thể về hiệu suất của các mô hình text-to-speech (chuyển văn bản thành giọng nói) cỡ nhỏ trên phần cứng máy chủ tiêu chuẩn. Một bài đánh giá chi tiết được công bố vào tháng 11 năm 2026 đã kiểm tra hai mươi mô hình trên CPU AMD EPYC Rome đơn luồng, đo lường độ trễ, mức sử dụng bộ nhớ và chất lượng âm thanh mà không cần tăng tốc bằng GPU.
Chuyện gì đã xảy ra
Bài kiểm tra đánh giá một loạt các hệ thống TTS mã nguồn mở (open-weight), từ những mô hình thử nghiệm siêu nhỏ đến các engine lớn sẵn sàng cho sản xuất. Mục tiêu là xác định xem mô hình nào cung cấp sự cân bằng tốt nhất giữa tốc độ và độ tự nhiên trong môi trường chỉ dùng CPU. Bài benchmark chạy từng mô hình độc lập bằng một harness Python nhất quán trên Ubuntu 24.04, đảm bảo rằng kết quả phản ánh hiệu suất thực tế trên một lõi đơn thay vì các đợt tăng tốc đa luồng được tối ưu hóa.
Các mô hình được kiểm tra trên năm mẫu văn bản cụ thể, bao gồm lời chào ngắn, đoạn văn dài và chuỗi số phức tạp. Việc đánh giá tập trung vào độ trễ trung vị cho chunk âm thanh đầu tiên, tốc độ xử lý tổng thể, mức tiêu thụ bộ nhớ đỉnh và khả năng dễ hiểu. Khả năng dễ hiểu được đo bằng Tỷ lệ lỗi từ (Word Error Rate - WER) thông qua Whisper large-v3, trong khi độ tự nhiên được chấm điểm bằng bộ dự đoán UTMOS22. Kết quả làm nổi bật những khác biệt đáng kể về hiệu quả, với một số mô hình tạo ra âm thanh nhanh hơn thời gian thực trong khi những mô hình khác gặp khó khăn ngay cả trên các CPU mạnh mẽ cấp máy chủ.
Cách thức hoạt động
Cơ sở hạ tầng benchmark sử dụng một máy ảo KVM với 16 vCPU nhưng giới hạn hầu hết các bài kiểm tra ở một luồng duy nhất để mô phỏng các thiết bị edge bị ràng buộc hoặc các tác vụ chạy nền. Mỗi mô hình chạy trong tiến trình riêng với các tệp cục bộ, tránh độ trễ mạng. Bài kiểm tra đo thời gian "âm thanh đầu tiên", tức là độ trễ giữa lệnh gọi API và thời điểm bắt đầu phát lại, một chỉ số quan trọng đối với các ứng dụng tương tác.
Hiệu suất được định lượng bằng Hệ số thời gian thực (Real-Time Factor - RTF), trong đó giá trị dưới 1.0 nghĩa là mô hình tạo ra âm thanh nhanh hơn thời gian cần thiết để đọc nó. Mức sử dụng bộ nhớ được theo dõi dưới dạng bộ nhớ tiến trình đỉnh, và chất lượng được đánh giá khách quan. WER đo mức độ chính xác mà một hệ thống chuyển giọng nói thành văn bản có thể ghi lại đầu ra, chỉ ra độ rõ ràng, trong khi UTMOS dự đoán độ tự nhiên giống con người trên thang điểm từ 1 đến 5. Phương pháp tiếp cận hai chỉ số này giúp các nhà phát triển phân biệt giữa các mô hình chỉ đơn thuần là nhanh và những mô hình tạo ra giọng nói dễ chịu, có thể sử dụng được.
Chi tiết chính
- Độ trễ nhanh nhất: Linnet en-35m đạt thời gian âm thanh đầu tiên thấp nhất ở mức 70 ms, tiếp theo sát nút là Phonon 31m ở mức 82 ms.
- Hiệu quả cao nhất: SupraTTS-1.0-Preview đạt tốc độ gấp 74 lần thời gian thực trên một luồng, mặc dù nó thiếu hỗ trợ streaming.
- Bộ nhớ thấp nhất: Mach Boom chỉ sử dụng 107 MB bộ nhớ đỉnh, khiến nó phù hợp với các môi trường bị ràng buộc chặt chẽ.
- Độ tự nhiên tốt nhất: nano-edge-tts (Kokoro) đạt điểm cao nhất trên UTMOS ở mức 4.50, mặc dù thời gian âm thanh đầu tiên chậm hơn ở mức 550 ms.
- Hỗ trợ đa ngôn ngữ: Paradee-8M v1.3 hỗ trợ tiếng Anh, Hindi, Pháp, Tây Ban Nha và Đức, với độ trễ vừa phải là 261 ms.
- Đa dạng giấy phép: Hầu hết các mô hình hàng đầu sử dụng giấy phép Apache-2.0 hoặc MIT, mặc dù một số như Underdog Woof bị hạn chế chỉ dành cho mục đích phi thương mại.
Tại sao điều này quan trọng
Đối với các nhà phát triển triển khai AI trên thiết bị edge, laptop hoặc các phiên bản đám mây nhạy cảm về chi phí, quyền truy cập GPU không phải lúc nào cũng được đảm bảo. Những kết quả này cho thấy việc tổng hợp giọng nói chất lượng cao hoàn toàn khả thi chỉ với CPU, miễn là chọn đúng mô hình. Các mô hình như Linnet và Phonon cung cấp thời gian phản hồi gần như tức thì, điều cần thiết cho các trợ lý giọng nói và công cụ tương tác nơi độ trễ phá vỡ trải nghiệm người dùng.
Ràng buộc về bộ nhớ thường là nút thắt cổ chai khó khăn hơn sức mạnh tính toán trong các hệ thống nhúng. Phạm vi rộng của kích thước bộ nhớ, từ 107 MB đến hơn 2 GB, cho phép các kỹ sư khớp các mô hình với giới hạn phần cứng cụ thể. Ngoài ra, sự chênh lệch giữa hiệu suất được tuyên bố trong thẻ mô hình (model cards) và kết quả đo thực tế nhấn mạnh nhu cầu về benchmarking độc lập. Các tuyên bố thường dựa trên phần cứng tối ưu hoặc các chỉ số một phần, trong khi bài kiểm tra này cung cấp dữ liệu end-to-end liên quan đến việc triển khai sản xuất.
Bạn có thể làm gì
- Ưu tiên Linnet en-35m hoặc Phonon 31m nếu ứng dụng của bạn yêu cầu độ trễ dưới 100 ms cho các tính năng giọng nói tương tác.
- Chọn Mach Boom hoặc SmollerTTS nếu môi trường triển khai của bạn có giới hạn bộ nhớ nghiêm ngặt dưới 200 MB.
- Sử dụng nano-edge-tts (Kokoro) khi độ tự nhiên của âm thanh là mối quan tâm chính và độ trễ cao hơn một chút là chấp nhận được.
- Xác minh tính tương thích của giấy phép trước khi tích hợp, đặc biệt là đối với các sản phẩm thương mại, lưu ý rằng một số mô hình hiệu suất cao là phi thương mại.
- Kiểm tra các yêu cầu đa ngôn ngữ sớm, vì nhiều mô hình nhanh như Linnet chỉ hỗ trợ tiếng Anh, trong khi những mô hình khác như Paradee cung cấp hỗ trợ ngôn ngữ rộng hơn.
- Benchmark trên phần cứng mục tiêu cụ thể của bạn, vì hiệu suất trên máy chủ AMD EPYC có thể khác biệt đáng kể so với các thiết bị edge dựa trên ARM.



