IBM veröffentlicht Granite Speech 5.0 mit schnellerer Transkription und verbesserter Sprechererkennung

IBM hat drei Updates für seine Granite-Speech-Sammlung veröffentlicht, darunter ein neues Sprachmodell sowie Überarbeitungen von zwei bestehenden Modellen zur Verbesserung von Genauigkeit, Geschwindigkeit und Sprecherzuordnung. Die am 21. Oktober 2026 veröffentlichten Open-Weight-Modelle zielen darauf ab, das gesamte Spektrum der sprachbezogenen Aufgaben im Unternehmensumfeld abzudecken, von hochpräziser Transkription bis hin zur Echtzeit-Verarbeitung an Edge-Geräten.

Was ist passiert

Das Herzstück dieser Veröffentlichung ist granite-speech-5.0-2b, ein neues Modell, das die vorherige Version 4.1 bei gleicher Parameteranzahl ersetzt. Es unterstützt die Transkription in Englisch, Französisch, Deutsch, Spanisch, Portugiesisch und Japanisch und bietet Übersetzungsfunktionen zwischen diesen Sprachen und Englisch sowie von Englisch nach Italienisch und Mandarin. Das Modell wurde auf 390.000 Stunden öffentlich verfügbarer Audiodaten trainiert, ergänzt durch synthetische Daten, die die automatische Spracherkennung (ASR) für Japanisch, die Keyword-Biasing-Funktion und die Übersetzungsleistung verbessern sollen.

Neben dem neuen 2B-Modell hat IBM granite-speech-5.0-470m-turboctc aktualisiert. Ursprünglich ein nur auf Englisch fokussierter Encoder, der auf Geschwindigkeit ausgelegt war, bietet diese Revision nun Unterstützung für sieben Sprachen sowie native Interpunktion und Großschreibung. Zudem weist sie eine verbesserte Robustheit gegenüber hallenden Audioaufnahmen und Räumen mit starkem Echo auf. Durch technische Optimierungen, die einen einzelnen Conformer-Block kompilieren und dessen Graph wiederverwenden, erzielte das Modell einen erheblichen Geschwindigkeitsgewinn und erreichte 19.870 RTFx im Open ASR Leaderboard, was einem Anstieg von etwa 12.600 RTFx zum Start entspricht.

Das dritte Update richtet sich auf Szenarien mit mehreren Sprechern und betrifft granite-speech-4.1-2b-plus. Dieses Modell behält die Architektur und API seines Vorgängers bei, liefert jedoch verbesserte Gewichte für eine bessere Sprecherzuordnung und Zeitstempelgenauigkeit. Es ist als direkter Ersatz (Drop-in Replacement) für Unternehmen konzipiert, die Meetings, Support-Anrufe und Interviews bearbeiten, bei denen es entscheidend ist, wer wann gesprochen hat.

Wie es funktioniert

Das neue Modell granite-speech-5.0-2b führt Language-ID-Prompting ein, sodass Benutzer die Eingabesprache angeben können, um die mehrsprachige Transkription zu steuern. Es unterstützt zudem Keyword-Biasing-Listen mit bis zu 2.000 Begriffen, damit das Modell während der Transkription und Übersetzung bestimmte Produktnamen, Personen oder Akronyme priorisieren kann. Benutzer können formatierte Ausgaben mit Interpunktion und Großschreibung anfordern und erzielen dabei F1-Scores für die Großschreibung zwischen 89,7 und 99,5 über verschiedene Testdatensätze hinweg.

Beim Turbo-CTC-Modell resultiert der Leistungsgewinn aus der Kompilierung eines einzelnen Conformer-Blocks und der Wiederverwendung seines Berechnungsgraphen über den gesamten Stack. Dies reduziert die Aufwärmzeit und erhöht den Durchsatz, ohne die Genauigkeit zu beeinträchtigen. Das Modell gibt Transkripte nun mit nativer Interpunktion und Großschreibung aus, wodurch separate Nachverarbeitungsschritte entfallen.

Das Modell granite-speech-4.1-2b-plus verbessert die Sprecherzuordnung, indem es die Word Diarization Error Rate (WDER) um 7 % und die sprecherzugewiesene Wortfehlerquote (cpWER) um 7 % senkt. Außerdem wird die durchschnittliche Zeitstempelverschiebung (AAS) für alle Sprachdaten um mehr als die Hälfte reduziert, was präzisere Timing-Daten für Untertitel und Suchindizierungen ermöglicht. Zusätzlich werden Fehler bei biasierten Keywords um 45 % reduziert, wenn Keyword-Listen mit 20 Begriffen verwendet werden.

Wichtige Details

• granite-speech-5.0-2b belegt den zweiten Platz unter den führenden Open-Weight-ASR-Modellen hinsichtlich der durchschnittlichen englischen Wortfehlerquote (WER) mit 5,06 %.
• Das Turbo-CTC-Modell ist nun 1,6-mal schneller als die ursprüngliche Version und erreicht 19.870 RTFx.
• granite-speech-4.1-2b-plus reduziert die durchschnittliche Zeitstempelverschiebung für alle Sprachdaten von 210,86 auf 98,54.
• Alle drei Modelle werden unter der Apache-2.0-Lizenz veröffentlicht.
• Native Unterstützung ist in Transformers, vLLM, llama.cpp und mlx-audio für Apple Silicon verfügbar.
• Das 2B-Modell unterstützt Keyword-Biasing-Listen mit bis zu 2.000 Begriffen.

Warum das wichtig ist

Für Software-Ingenieure, die Transkriptionsfunktionen entwickeln, bieten diese Updates mehr Kontrolle und Flexibilität. Die Möglichkeit, Keywords zu gewichten (Biasing), ermöglicht Anwendungen, domänenspezifische Terminologie genau zu verarbeiten, was in Branchen wie Gesundheitswesen, Recht und Finanzen entscheidend ist. Die verbesserte Robustheit gegenüber Rauschen und Hall bedeutet, dass diese Modelle in realen Umgebungen, wie Konferenzräumen oder Remote-Calls, besser performen, ohne dass umfangreiche Vorverarbeitung des Audios erforderlich ist.

Die Geschwindigkeitsverbesserungen beim Turbo-CTC-Modell machen Echtzeit-Transkription direkt auf dem Gerät (On-Device) praktikabler. Dies ist besonders wichtig für Anwendungen, die auf Edge-Geräten oder im Browser laufen, wo Latenz und Ressourcenbeschränkungen wesentliche Faktoren sind. Die native Unterstützung für Interpunktion und Großschreibung vereinfacht die Pipeline und reduziert die Notwendigkeit zusätzlicher Modelle oder Dienste zur Formatierung der Ausgabe.

Verbesserte Sprecherzuordnung und Zeitstempelgenauigkeit im Modell 4.1 Plus steigern die Nutzbarkeit von Transkripten für Meeting-Zusammenfassungen und die Suche. Präzise Zeitstempel ermöglichen es Benutzern, zu bestimmten Teilen einer Aufnahme zu springen, während korrekte Sprecherbeschriftungen das Nachvollziehen von Gesprächen erleichtern. Diese Verbesserungen reduzieren den manuellen Aufwand für die Bereinigung und Organisation transkribierter Daten.

Was Sie tun können

• Bewerten Sie granite-speech-5.0-2b für Aufgaben mit hoher Genauigkeit bei mehrsprachiger Transkription und Übersetzung.
• Verwenden Sie granite-speech-5.0-470m-turboctc für Anforderungen an hohen Durchsatz oder On-Device-Transkription und nutzen Sie dessen WebGPU-Streaming-Demo.
• Setzen Sie granite-speech-4.1-2b-plus für Anwendungen ein, die Meetings, Anrufe oder Aufnahmen mit mehreren Sprechern beinhalten, bei denen die Sprecheridentifikation entscheidend ist.
• Implementieren Sie Keyword-Biasing im 2B-Modell, um die Genauigkeit für domänenspezifische Begriffe und Namen zu verbessern.
• Testen Sie die Modelle mit verrauschten oder hallenden Audioaufnahmen, um ihre Robustheit in Ihrem spezifischen Anwendungsfall zu bewerten.
• Erwägen Sie die Kombination dieser Modelle mit Granite Guardian für Produktionsbereitstellungen, die zusätzliche Risikodetektion erfordern.