NVIDIA publie Nemotron 3.5 Transcribe, un modèle de transcription à poids ouverts pour le traitement vocal pilotable par prompts

NVIDIA a publié Nemotron 3.5 Transcribe, un modèle vocal à poids ouverts qui combine la transcription, l'attribution des locuteurs et la traduction en un seul checkpoint. Disponible dès maintenant sur Hugging Face et ModelScope, le modèle prend en charge 40 langues pour la transcription et permet aux développeurs de guider la sortie via des instructions en langage naturel. Cette publication marque une étape significative vers un traitement vocal personnalisable et hautement précis, capable de s'exécuter en local ou de passer à l'échelle dans les centres de données.

Ce qui s'est passé

Le nouveau modèle traite des enregistrements pouvant atteindre une heure et peut attribuer les locuteurs dans 13 langues, identifiant jusqu'à huit voix distinctes. Il traduit 31 langues depuis ou vers l'anglais et prend en charge la réponse aux questions audio (audio question answering), bien que cette fonctionnalité soit principalement entraînée en anglais. Les développeurs peuvent utiliser des instructions en langage naturel pour spécifier les formats de sortie, comme demander des étiquettes de locuteur, des traductions ou une mise en forme spécifique pour le jargon métier, tel que les termes médicaux.

Nemotron 3.5 Transcribe domine le classement Open ASR Leaderboard de Hugging Face pour l'anglais parmi les modèles à poids ouverts, avec un taux moyen d'erreur de mot (WER) de 5,33 %. Il se classe également premier sur le leaderboard de diarisation en 21 langues de David AI et arrive en tête de la comparaison de 14 systèmes de VoiceArena pour l'attribution des locuteurs. Ces benchmarks soulignent sa capacité à gérer les dialogues superposés et les discours rapides, comme démontré lors de tests utilisant des scènes du film de 1940 His Girl Friday.

Parallèlement au modèle, NVIDIA a publié Granary v2, un pipeline de curation de données multilingue utilisé pour entraîner Transcribe. Granary v2 fournit des outils réutilisables pour la préparation des données vocales, y compris la génération de variantes de transcriptions alignées et de métadonnées de qualité. Le manifeste public couvre 463 062 heures d'audio dans 48 langues, offrant aux développeurs une base pour construire leurs propres jeux de données vocaux spécialisés.

Comment cela fonctionne

Transcribe utilise une architecture hybride associant un encodeur vocal à un modèle de langue mixture-of-experts basé sur Mamba–Transformer. Cette conception garantit qu'environ 4 milliards seulement de ses 30 milliards de paramètres sont actifs par token, plaçant le modèle à la frontière entre précision et nombre de paramètres actifs. Les indices relatifs aux locuteurs sont intégrés directement dans le processus de génération via Sortformer, permettant au modèle d'étiqueter les locuteurs pendant la transcription plutôt que de dépendre d'une étape de post-traitement séparée.

Pour l'adaptation au domaine, NVIDIA fournit les outils de fine-tuning NeMo Speech. Une étude de cas médicale a montré que le fine-tuning réduisait le taux d'erreur de mot de 45,8 % sur des locuteurs non vus par rapport à l'utilisation seule de prompts. Le processus implique la génération de synthèse vocale à partir de cibles textuelles, comme la conversion de « HbA1c » en formes parlées, et l'entraînement du modèle avec des adaptateurs LoRA. Cela permet au système d'apprendre un vocabulaire spécifique et des conventions de formatage sans réentraîner l'ensemble du modèle.

Granary v2 soutient ce flux de travail en produisant trois formes de transcription pour chaque enregistrement : verbatim normalisé texte, normalisation inverse de texte avec hésitations, et normalisation inverse de texte propre. Les développeurs peuvent utiliser ces variantes pour définir exactement comment ils souhaitent que le modèle gère les nombres, les unités et les mots de remplissage. Le pipeline filtre les audios de faible qualité, garantissant que les données d'entraînement répondent à des normes de haute fidélité.

Détails clés

• Prend en charge la transcription dans 40 langues et la traduction pour 31 langues depuis ou vers l'anglais.
• Atteint un WER moyen de 5,33 % en anglais, menant les modèles à poids ouverts sur le leaderboard de Hugging Face.
• Attribue jusqu'à huit locuteurs dans des enregistrements pouvant atteindre une heure, avec des taux d'erreur de diarisation faibles.
• Utilise environ 4 milliards de paramètres actifs par token grâce à une architecture mixture-of-experts.
• Le manifeste du jeu de données Granary v2 inclut 463 062 heures d'audio dans 48 langues.
• Des versions quantifiées pour le déploiement local sur le matériel RTX et Jetson arriveront bientôt.

Pourquoi c'est important

Pour les ingénieurs développant des applications vocales, la possibilité de prompter le modèle pour des formats de sortie spécifiques réduit le besoin de scripts complexes de post-traitement. Au lieu d'écrire des règles regex personnalisées pour nettoyer les transcriptions ou séparer les locuteurs, les développeurs peuvent instruire le modèle de produire le format exact dont ils ont besoin. Cette flexibilité est cruciale pour gérer le jargon spécifique aux domaines comme la santé ou le droit, où la transcription standard échoue souvent.

La nature à poids ouverts du modèle répond également aux préoccupations concernant la confidentialité des données. Les organisations peuvent exécuter Transcribe localement sur leur propre infrastructure, gardant les données audio sensibles dans leurs environnements sécurisés. Avec l'arrivée prochaine de versions quantifiées pour le matériel grand public et edge, le traitement vocal de haute qualité devient accessible sans dépendre d'API tierces. Ce changement permet aux équipes de construire des solutions vocales plus robustes et privées.

Ce que vous pouvez faire

• Téléchargez le checkpoint Nemotron 3.5 Transcribe depuis Hugging Face ou ModelScope pour tester en local.
• Utilisez les prompts en langage naturel fournis pour expérimenter différents formats de sortie et étiquetage des locuteurs.
• Explorez les manifests Granary v2 pour comprendre la structure des données d'entraînement vocales de haute qualité.
• Suivez le guide de fine-tuning NeMo Speech pour adapter le modèle à votre vocabulaire de domaine spécifique.
• Déployez le modèle en utilisant vLLM ou SGLang-Omni pour une inférence à haut débit dans des environnements de production.
• Évaluez le modèle sur vos propres échantillons audio pour identifier les zones nécessitant une adaptation au domaine.