Benchmarking kleiner CPU-Text-to-Speech-Modelle für lokale Bereitstellung
Ein Benchmark aus dem November 2026 vergleicht Latenz, Speicherbedarf und Qualität von leichtgewichtigen TTS-Modellen auf einer einkernigen AMD EPYC-CPU.
Automatisch aus dem englischen Original übersetzt.
Ingenieure, die Offline- oder Edge-AI-Funktionen entwickeln, verfügen nun über konkrete Daten dazu, wie kleine Text-to-Speech-Modelle auf Standard-Server-Hardware performen. Ein detaillierter Benchmark, veröffentlicht im November 2026, evaluiert zwanzig Modelle auf einer einkernigen AMD EPYC Rome CPU und misst dabei Latenz, Speichernutzung und Audioqualität ohne GPU-Beschleunigung.
Was passiert ist
Der Test bewertete eine breite Palette an Open-Weight-TTS-Systemen, von kleinen experimentellen Modellen bis hin zu größeren produktionsreifen Engines. Ziel war es, herauszufinden, welche Modelle das beste Gleichgewicht zwischen Geschwindigkeit und Natürlichkeit für reine CPU-Umgebungen bieten. Der Benchmark führte jedes Modell isoliert mit einem konsistenten Python-Harness unter Ubuntu 24.04 aus, um sicherzustellen, dass die Ergebnisse die reale Single-Core-Leistung widerspiegeln und nicht optimierte Multi-Thread-Bursts.
Die Modelle wurden an fünf spezifischen Textproben getestet, darunter kurze Begrüßungen, lange Absätze und komplexe Zahlenfolgen. Die Bewertung konzentrierte sich auf die Median-Latenz des ersten Audio-Chunks, die gesamte Verarbeitungsgeschwindigkeit, den maximalen Speicherverbrauch und die Verständlichkeit. Die Verständlichkeit wurde mittels Word Error Rate (WER) über Whisper large-v3 gemessen, während die Natürlichkeit mit dem UTMOS22-Prädiktor bewertet wurde. Die Ergebnisse heben signifikante Unterschiede in der Effizienz hervor: Einige Modelle generieren Audio schneller als in Echtzeit, während andere selbst auf leistungsstarken Server-CPUs Mühe haben, Schritt zu halten.
Wie es funktioniert
Die Benchmark-Infrastruktur nutzte eine KVM-Virtuelle-Maschine mit 16 vCPUs, beschränkte die meisten Tests jedoch auf einen einzelnen Thread, um eingeschränkte Edge-Geräte oder Hintergrundprozesse zu simulieren. Jedes Modell lief in seinem eigenen Prozess mit lokalen Dateien, um Netzwerklatenzen zu vermeiden. Der Test maß die „First Audio“-Zeit, also die Verzögerung zwischen API-Aufruf und Beginn der Wiedergabe – ein kritischer Metrikwert für interaktive Anwendungen.
Die Leistung wurde anhand des Real-Time Factor (RTF) quantifiziert, wobei ein Wert unter 1,0 bedeutet, dass das Modell Audio schneller generiert, als es zum Sprechen benötigt wird. Die Speichernutzung wurde als maximaler Prozessspeicher erfasst und die Qualität objektiv bewertet. WER misst, wie genau ein Speech-to-Text-System die Ausgabe transkribieren kann, was auf Klarheit hindeutet, während UTMOS die menschenähnliche Natürlichkeit auf einer Skala von 1 bis 5 vorhersagt. Dieser doppelte Metrikansatz hilft Entwicklern, zwischen Modellen zu unterscheiden, die lediglich schnell sind, und solchen, die nutzbare, angenehme Sprache produzieren.
Wichtige Details
- Schnellste Latenz: Linnet en-35m erreichte die niedrigste First-Audio-Zeit mit 70 ms, dicht gefolgt von Phonon 31m mit 82 ms.
- Höchste Effizienz: SupraTTS-1.0-Preview erreichte eine Geschwindigkeit von 74× Echtzeit auf einem Thread, unterstützt jedoch kein Streaming.
- Niedrigster Speicherbedarf: Mach Boom nutzte nur 107 MB maximalen Speicher, was es für hochgradig eingeschränkte Umgebungen geeignet macht.
- Beste Natürlichkeit: nano-edge-tts (Kokoro) erzielte die höchste Punktzahl bei UTMOS mit 4,50, trotz einer langsameren First-Audio-Zeit von 550 ms.
- Mehrsprachige Unterstützung: Paradee-8M v1.3 unterstützt Englisch, Hindi, Französisch, Spanisch und Deutsch mit einer moderaten Latenz von 261 ms.
- Lizenzvielfalt: Die meisten Top-Performer nutzen Apache-2.0- oder MIT-Lizenzen, obwohl einige wie Underdog Woof auf nicht-kommerzielle Nutzung beschränkt sind.
Warum das wichtig ist
Für Entwickler, die KI auf Edge-Geräten, Laptops oder kostensensitiven Cloud-Instanzen bereitstellen, ist GPU-Zugriff nicht immer garantiert. Diese Ergebnisse zeigen, dass hochwertige Sprachsynthese allein auf der CPU machbar ist, sofern das richtige Modell gewählt wird. Modelle wie Linnet und Phonon bieten nahezu sofortige Antwortzeiten, was für Voice-Assistenten und interaktive Tools unerlässlich ist, bei denen Verzögerungen die Benutzererfahrung beeinträchtigen.
Speicherbeschränkungen sind in eingebetteten Systemen oft ein schwierigeres Nadelöhr als Rechenleistung. Die große Bandbreite an Speicherfußabdrücken, von 107 MB bis über 2 GB, ermöglicht es Ingenieuren, Modelle an spezifische Hardware-Limits anzupassen. Darüber hinaus unterstreicht die Diskrepanz zwischen den in Model Cards behaupteten Leistungsdaten und den gemessenen Ergebnissen die Notwendigkeit unabhängiger Benchmarks. Behauptungen stützen sich oft auf optimale Hardware oder partielle Metriken, während dieser Test End-to-End-Daten liefert, die für die Produktionsbereitstellung relevant sind.
Was Sie tun können
- Priorisieren Sie Linnet en-35m oder Phonon 31m, wenn Ihre Anwendung eine Latenz unter 100 ms für interaktive Sprachfunktionen erfordert.
- Wählen Sie Mach Boom oder SmollerTTS, wenn Ihre Bereitstellungsumgebung strenge Speicherlimits unter 200 MB hat.
- Verwenden Sie nano-edge-tts (Kokoro), wenn die Natürlichkeit des Audios das primäre Anliegen ist und eine etwas höhere Latenz akzeptabel ist.
- Überprüfen Sie die Lizenzkompatibilität vor der Integration, insbesondere für kommerzielle Produkte, da einige leistungsstarke Modelle nicht-kommerziell lizenziert sind.
- Prüfen Sie mehrsprachige Anforderungen frühzeitig, da viele schnelle Modelle wie Linnet nur Englisch unterstützen, während andere wie Paradee breitere Sprachunterstützung bieten.
- Führen Sie Benchmarks auf Ihrer spezifischen Zielhardware durch, da die Leistung auf einem AMD EPYC-Server erheblich von ARM-basierten Edge-Geräten abweichen kann.



