Nvidia veröffentlicht promptbares Nemotron 3.5 Transcribe-Modell

Nvidia hat Nemotron 3.5 Transcribe veröffentlicht, ein neues Open-Weight-Modell für automatische Spracherkennung (ASR), das für aufgezeichnete Audiodateien konzipiert ist. Das Modell wurde am 28. Oktober 2026 eingeführt und ermöglicht es Entwicklern, vor der Verarbeitung spezifische Anweisungen zu geben. Derzeit führt es die Hugging Face Open ASR Leaderboard für Englisch mit einer Wortfehlerquote (Word Error Rate) von 5,33 % an.

Was passiert ist

Die Kerninnovation dieser Veröffentlichung liegt in der Fähigkeit des Modells, Prompts zu verarbeiten. Im Gegensatz zu herkömmlichen Transkriptionsengines, die Klang einfach in Text umwandeln, können Nutzer bei Nemotron 3.5 Transcribe den Kontext im Voraus festlegen. Ein Entwickler kann beispielsweise angeben, dass eine Audiodatei eine medizinische Diskussion auf Englisch enthält, und eine Liste mit Fachterminologie bereitstellen. Das Modell nutzt diesen Kontext, um Fehler zu reduzieren und die Relevanz zu erhöhen.

Nutzer können das Modell auch hinsichtlich der Ausgabeformatierung steuern. Anfragen können beinhalten, einzelne Sprecher zu kennzeichnen, eine wörtliche Transkription versus eine bereinigte Version zu erstellen oder festzulegen, wie Zahlen im Text dargestellt werden sollen. Nvidia bündelt diese Funktionen, einschließlich Übersetzungsfunktionen, in einem einzigen Checkpoint. Diese Konsolidierung zielt darauf ab, die Architektur für Anwendungen zu vereinfachen, die mehrere Sprachverarbeitungsaufgaben erfordern.

Das Modell unterstützt die Transkription von 40 Sprachen und kann 31 dieser Sprachen aus dem Englischen übersetzen oder ins Englische übertragen. Die Sprecherzuordnung (Speaker Attribution), die identifiziert, wer spricht, funktioniert bei 13 Sprachen und kann bis zu acht verschiedene Stimmen unterscheiden. Allerdings wurde die Funktion „Audio Question and Answering“ nur auf Englisch trainiert. Das System verarbeitet Aufnahmen mit einer Länge von bis zu einer Stunde, unterstützt jedoch kein Live-Streaming-Audio.

Wie es funktioniert

Nemotron 3.5 Transcribe ist ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern. In dieser Architektur ist nur eine Teilmenge der Gesamtparameter für jede Eingabe aktiv. Bei diesem Modell sind es 4 Milliarden aktive Parameter. Dieses Design ermöglicht es ihm, mit der Genauigkeit größerer Modelle gleichzuziehen, während der Rechenbedarf während der Inferenz geringer bleibt. So erreicht es beispielsweise eine Wortfehlerquote von 2,81 % in den Artificial Analysis Benchmarks, was vergleichbar ist mit Mistral’s Voxtral Small, das 24 Milliarden aktive Parameter nutzt.

Entwickler können das Modell über vLLM bereitstellen oder lokal mit NeMo-Speech.cpp ausführen. Nvidia gibt an, dass das Modell auf einer einzelnen GPU läuft und Hardware vom Jetson AGX Thor und DGX Spark bis hin zu Blackwell-Rechenzentrum-GPUs unterstützt. Da es sich um ein Open-Weight-Modell unter der Lizenz OpenMDW-1.1 handelt, können Nutzer es für spezifische Domänen feinabstimmen (Fine-Tuning). Nvidia berichtete, dass das Fine-Tuning für medizinische Transkription die Wortfehlerquote von 22,44 % auf 12,17 % bei nicht gesehenen Sprechern senkte – eine relative Reduktion von 45,8 %. Diese Anpassung erforderte ungefähr 14 GPU-Stunden auf einer einzelnen GB300-Einheit.

Zur Unterstützung der Individualisierung veröffentlicht Nvidia zudem Granary v2, eine Datenkuratierungspipeline, die mit NeMo Curator erstellt wurde. Dieses Tool umfasst öffentliche Manifeste, die etwa 463.062 Stunden Audio über 48 Sprachen und 16 Quellkorpora abdecken. Entwickler können diese Pipeline nutzen, um ihre eigenen Aufnahmen für das Fine-Tuning vorzubereiten, wobei diese Zahlen den Datensatzrelease repräsentieren und nicht die vollständige Trainingsmischung des Basismodells.

Wichtige Details

• Modellarchitektur: Mixture-of-Experts mit 30 Milliarden Parametern und 4 Milliarden aktiven Parametern.
• Leistung: Spitzenplatz im Hugging Face Open ASR Leaderboard für Englisch mit einer Wortfehlerquote von 5,33 %.
• Sprachunterstützung: Transkribiert 40 Sprachen; übersetzt 31 Sprachen aus dem Englischen oder ins Englische.
• Sprecherbehandlung: Ordnet Sprecher in 13 Sprachen zu und unterscheidet bis zu acht Stimmen.
• Bereitstellung: Läuft auf einer einzelnen GPU über vLLM oder NeMo-Speech.cpp; unterstützt GPUs vom Typ Jetson AGX Thor bis Blackwell.
• Lizenz: Open-Weight unter OpenMDW-1.1, was Fine-Tuning und kommerzielle Nutzung erlaubt.

Warum es wichtig ist

Für Software-Ingenieure, die sprachgesteuerte Anwendungen entwickeln, reduziert die Möglichkeit, das Transkriptionsmodell per Prompt zu steuern, den Bedarf an komplexen Post-Processing-Skripten. Traditionell mussten Entwickler separate Systeme aufbauen, um Transkripte zu bereinigen, Zahlen zu formatieren oder Sprecher zu identifizieren. Indem diese Aufgaben innerhalb des Modells via Prompts erledigt werden, wird der Entwicklungsworkflow einfacher und wartbarer. Der Ansatz eines einzelnen Checkpoints reduziert zudem den Infrastruktur-Overhead durch die Verwaltung mehrerer spezialisierter Modelle.

Der Open-Weight-Charakter des Modells ist für Branchen mit strengen Datenschutzanforderungen, wie das Gesundheitswesen und Finanzsektor, von großer Bedeutung. Organisationen können das Modell auf ihren privaten Daten feinabstimmen, ohne sensible Audiodaten an Drittanbieter-APIs zu senden. Die berichtete Reduktion der Fehlerraten nach dem Fine-Tuning zeigt, dass domänenspezifische Anpassungen effektiv sind und hochgenaue Transkription für spezialisierte Anwendungsfälle zugänglich machen, ohne massive Rechenressourcen für das Training von Grund auf zu erfordern.

Was Sie tun können

• Laden Sie die Gewichte von Nemotron 3.5 Transcribe unter der OpenMDW-1.1-Lizenz von Hugging Face herunter.
• Testen Sie das Modell lokal mit NeMo-Speech.cpp auf kompatibler Single-GPU-Hardware.
• Nutzen Sie die Granary-v2-Pipeline, um Ihre eigenen Audiodatensätze für das Fine-Tuning zu kuratieren und vorzubereiten.
• Experimentieren Sie mit Prompt Engineering, um Kontext, Sprecherlabels und Ausgabeformatierung für Ihre spezifische Domäne zu definieren.
• Bewerten Sie die Leistung des Modells in Ihren Zielsprachen, beachten Sie dabei, dass Audio Q&A derzeit nur Englisch unterstützt.
• Erwägen Sie ein Fine-Tuning, wenn Sie in spezialisierten Bereichen wie Medizin oder Recht tätig sind, um die Wortfehlerquoten signifikant zu senken.