NVIDIA veröffentlicht das Open-Weight-Modell Nemotron 3.5 Transcribe für steuerbare Sprachverarbeitung

NVIDIA hat Nemotron 3.5 Transcribe veröffentlicht, ein Open-Weight-Sprachmodell, das Transkription, Sprecherzuordnung und Übersetzung in einem einzigen Checkpoint vereint. Das Modell ist ab sofort auf Hugging Face und ModelScope verfügbar, unterstützt 40 Sprachen für die Transkription und ermöglicht es Entwicklern, die Ausgabe über natürliche Sprach-Prompts zu steuern. Diese Veröffentlichung stellt einen bedeutenden Schritt hin zu einer anpassbaren, hochpräzisen Sprachverarbeitung dar, die lokal ausgeführt oder in Rechenzentren skaliert werden kann.

Was passiert ist

Das neue Modell verarbeitet Aufnahmen von bis zu einer Stunde Länge und kann Sprecher in 13 Sprachen zuordnen, wobei es bis zu acht verschiedene Stimmen kennzeichnet. Es übersetzt 31 Sprachen von oder nach Englisch und unterstützt Audio-Frage-Antwort-Szenarien, wobei letzteres primär auf Englisch trainiert wurde. Entwickler können natürliche Sprachanweisungen nutzen, um Ausgabeformate zu spezifizieren, wie etwa die Anforderung von Sprecherlabels, Übersetzungen oder spezifische Formatierungen für Fachjargon wie medizinische Begriffe.

Nemotron 3.5 Transcribe führt das Hugging Face Open ASR Leaderboard für Englisch unter den Open-Weight-Modellen mit einer durchschnittlichen Wortfehlerquote (WER) von 5,33 % an. Es belegt zudem den ersten Platz auf dem 21-Sprachen-Diarisierung-Leaderboard von David AI und steht an der Spitze des Vergleichs von 14 Systemen auf VoiceArena für die Sprecherzuordnung. Diese Benchmarks unterstreichen die Fähigkeit des Modells, überlappende Dialoge und schnell gesprochene Sprache zu verarbeiten, wie Tests mit Szenen aus dem Film „His Girl Friday“ aus dem Jahr 1940 gezeigt haben.

Parallel zum Modell hat NVIDIA Granary v2 veröffentlicht, eine mehrsprachige Datenkurierungs-Pipeline, die zum Training von Transcribe verwendet wurde. Granary v2 bietet wiederverwendbare Tools zur Vorbereitung von Sprachdaten, einschließlich der Generierung von ausgerichteten Transkriptvarianten und Qualitätsmetadaten. Das öffentliche Manifest deckt 463.062 Stunden Audio in 48 Sprachen ab und bietet Entwicklern eine Grundlage für den Aufbau eigener spezialisierter Sprachdatensätze.

Wie es funktioniert

Transcribe nutzt eine hybride Architektur, die einen Sprachencoder mit einem Mamba–Transformer-Mixture-of-Experts-Sprachmodell kombiniert. Dieses Design stellt sicher, dass pro Token nur etwa 4 Milliarden seiner 30 Milliarden Parameter aktiv sind, was es an die Grenze zwischen Genauigkeit und aktiven Parametern bringt. Sprecherhinweise werden über Sortformer direkt in den Generierungsprozess integriert, sodass das Modell Sprecher während der Transkription markieren kann, anstatt sich auf einen separaten Nachbearbeitungsschritt zu verlassen.

Für die Domänenanpassung stellt NVIDIA die NeMo Speech Fine-Tuning-Tools bereit. Eine Fallstudie im medizinischen Bereich zeigte, dass das Feinabstimmen die Wortfehlerquote bei nicht gesehenen Sprechern im Vergleich zur reinen Prompting-Methode um 45,8 % reduzierte. Der Prozess umfasst die Generierung synthetischer Sprache aus Textzielen, wie etwa die Umwandlung von „HbA1c“ in gesprochene Formen, sowie das Training des Modells mit LoRA-Adaptern. Dies ermöglicht es dem System, spezifisches Vokabular und Formatierungskonventionen zu erlernen, ohne das gesamte Modell neu trainieren zu müssen.

Granary v2 unterstützt diesen Workflow durch die Erstellung von drei Transkriptformen für jede Aufnahme: textnormalisiertes Verbatim, inverse Textnormalisierung mit Unflüssigkeiten und saubere inverse Textnormalisierung. Entwickler können diese Varianten nutzen, um genau festzulegen, wie das Modell Zahlen, Einheiten und Füllwörter behandeln soll. Die Pipeline filtert Audio niedriger Qualität heraus, um sicherzustellen, dass die Trainingsdaten hohen Treue-Standards entsprechen.

Wichtige Details

• Unterstützt Transkription in 40 Sprachen und Übersetzung für 31 Sprachen von oder nach Englisch.
• Erreicht eine durchschnittliche WER von 5,33 % für Englisch und führt damit die Open-Weight-Modelle im Hugging Face Leaderboard an.
• Ordnet bis zu acht Sprecher in Aufnahmen von bis zu einer Stunde Länge mit niedrigen Diarisierungsfehlerraten zu.
• Nutzt ungefähr 4 Milliarden aktive Parameter pro Token über eine Mixture-of-Experts-Architektur.
• Das Granary v2-Datensatz-Manifest umfasst 463.062 Stunden Audio in 48 Sprachen.
• Quantisierte Versionen für lokale Bereitstellung auf RTX- und Jetson-Hardware folgen in Kürze.

Warum es wichtig ist

Für Ingenieure, die sprachgesteuerte Anwendungen entwickeln, reduziert die Möglichkeit, das Modell per Prompt für bestimmte Ausgabeformate anzusteuern, den Bedarf an komplexen Nachbearbeitungsskripten. Anstatt benutzerdefinierte Regex-Regeln zu schreiben, um Transkripte zu bereinigen oder Sprecher zu trennen, können Entwickler das Modell anweisen, das exakte benötigte Format zu erzeugen. Diese Flexibilität ist entscheidend für die Handhabung domänenspezifischen Jargons in Bereichen wie Gesundheitswesen oder Recht, wo Standardtranskription oft versagt.

Die Open-Weight-Natur des Modells adressiert zudem Bedenken hinsichtlich des Datenschutzes. Organisationen können Transcribe lokal auf ihrer eigenen Infrastruktur betreiben und sensible Audiodaten innerhalb ihrer sicheren Umgebungen halten. Mit quantisierten Versionen für Consumer- und Edge-Hardware wird hochwertige Sprachverarbeitung zugänglich, ohne auf Drittanbieter-APIs angewiesen zu sein. Dieser Wandel befähigt Teams, robustere und private Sprachlösungen zu entwickeln.

Was Sie tun können

• Laden Sie den Nemotron 3.5 Transcribe Checkpoint von Hugging Face oder ModelScope herunter, um ihn lokal zu testen.
• Nutzen Sie die bereitgestellten natürlichen Sprach-Prompts, um mit verschiedenen Ausgabeformaten und Sprecherlabeling zu experimentieren.
• Erkunden Sie die Granary v2-Manifeste, um die Struktur hochwertiger Trainingsdaten für Sprachmodelle zu verstehen.
• Folgen Sie dem NeMo Speech Fine-Tuning-Guide, um das Modell an Ihr spezifisches Domänen-Vokabular anzupassen.
• Stellen Sie das Modell mit vLLM oder SGLang-Omni für Hochdurchsatz-Inferenz in Produktionsumgebungen bereit.
• Evaluieren Sie das Modell anhand Ihrer eigenen Audio-Samples, um Bereiche zu identifizieren, in denen eine Domänenanpassung erforderlich sein könnte.