Nvidia lance le modèle transcriptor promptable Nemotron 3.5

Nvidia a publié Nemotron 3.5 Transcribe, un nouveau modèle open-weight de reconnaissance automatique de la parole (ASR) conçu pour l'audio enregistré. Lancé le 28 octobre 2026, ce modèle permet aux développeurs de fournir des instructions spécifiques avant le traitement des fichiers audio. Il occupe actuellement la première place du classement Hugging Face Open ASR pour l'anglais, avec un taux d'erreur sur les mots (WER) de 5,33 %.

Ce qui s'est passé

L'innovation majeure de cette version réside dans la capacité du modèle à accepter des prompts. Contrairement aux moteurs de transcription traditionnels qui se contentent de convertir le son en texte, Nemotron 3.5 Transcribe permet aux utilisateurs de définir le contexte au préalable. Un développeur peut spécifier qu'un fichier audio contient une discussion médicale en anglais et fournir une liste de terminologie spécialisée. Le modèle utilise ce contexte pour réduire les erreurs et améliorer la pertinence.

Les utilisateurs peuvent également instruire le modèle sur la mise en forme de la sortie. Les demandes peuvent inclure l'étiquetage des locuteurs individuels, la production d'une transcription verbatim par rapport à une version nettoyée, ou la définition de la manière dont les nombres doivent apparaître dans le texte. Nvidia regroupe ces capacités, y compris les fonctionnalités de traduction, dans un seul checkpoint. Cette consolidation vise à simplifier l'architecture pour les applications nécessitant plusieurs tâches de traitement vocal.

Le modèle prend en charge la transcription dans 40 langues et peut traduire 31 de ces langues vers ou depuis l'anglais. L'attribution des locuteurs, qui identifie qui parle, fonctionne pour 13 langues et peut distinguer jusqu'à huit voix différentes. Cependant, la fonctionnalité Audio Question and Answering n'a été entraînée qu'en anglais. Le système gère des enregistrements d'une durée maximale d'une heure, mais ne prend pas en charge l'audio en streaming direct.

Comment cela fonctionne

Nemotron 3.5 Transcribe est un modèle mixture-of-experts de 30 milliards de paramètres. Dans cette architecture, seule une partie des paramètres totaux est active pour chaque entrée donnée. Pour ce modèle, il y a 4 milliards de paramètres actifs. Cette conception lui permet d'égaler la précision de modèles plus grands tout en maintenant des exigences computationnelles inférieures lors de l'inférence. Par exemple, il atteint un taux d'erreur sur les mots de 2,81 % sur les benchmarks Artificial Analysis, comparable à Voxtral Small de Mistral, qui utilise 24 milliards de paramètres actifs.

Les développeurs peuvent déployer le modèle via vLLM ou l'exécuter localement avec NeMo-Speech.cpp. Nvidia indique que le modèle fonctionne sur un seul GPU, supportant le matériel allant du Jetson AGX Thor et DGX Spark aux GPUs Blackwell pour centres de données. Étant donné qu'il s'agit d'un modèle open-weight sous la licence OpenMDW-1.1, les utilisateurs peuvent l'affiner (fine-tune) pour des domaines spécifiques. Nvidia a rapporté que l'affinage pour la transcription médicale a réduit le taux d'erreur sur les mots de 22,44 % à 12,17 % sur des locuteurs non vus, soit une réduction relative de 45,8 %. Cette adaptation a nécessité environ 14 heures GPU sur une unité GB300 unique.

Pour soutenir la personnalisation, Nvidia publie également Granary v2, un pipeline de curation de données construit avec NeMo Curator. Cet outil comprend des manifestes publics couvrant environ 463 062 heures d'audio réparties sur 48 langues et 16 corpus sources. Les développeurs peuvent utiliser ce pipeline pour préparer leurs propres enregistrements destinés à l'affinage, bien que ces chiffres représentent la publication du jeu de données plutôt que le mélange complet d'entraînement utilisé pour le modèle de base.

Détails clés

• Architecture du modèle : Mixture-of-experts de 30 milliards de paramètres avec 4 milliards de paramètres actifs.
• Performance : Premier rang sur le classement Hugging Face Open ASR pour l'anglais avec un WER de 5,33 %.
• Support linguistique : Transcrit 40 langues ; traduit 31 langues vers ou depuis l'anglais.
• Gestion des locuteurs : Attribue les locuteurs dans 13 langues et distingue jusqu'à huit voix.
• Déploiement : Fonctionne sur un seul GPU via vLLM ou NeMo-Speech.cpp ; supporte les GPUs du Jetson AGX Thor aux Blackwell.
• Licence : Open-weight sous OpenMDW-1.1, permettant l'affinage et l'utilisation commerciale.

Pourquoi c'est important

Pour les ingénieurs logiciels développant des applications vocales, la possibilité de prompter le modèle de transcription réduit le besoin de scripts complexes de post-traitement. Traditionnellement, les développeurs devaient construire des systèmes distincts pour nettoyer les transcriptions, formater les nombres ou identifier les locuteurs. En gérant ces tâches au sein du modèle via des prompts, le flux de travail de développement devient plus simple et plus maintenable. L'approche à checkpoint unique réduit également la surcharge infrastructurelle liée à la gestion de multiples modèles spécialisés.

La nature open-weight du modèle est significative pour les industries ayant des exigences strictes en matière de confidentialité des données, comme la santé et la finance. Les organisations peuvent affiner le modèle sur leurs données privées sans envoyer d'audio sensible à des API tierces. La réduction rapportée des taux d'erreur après affinage démontre que l'adaptation spécifique au domaine est efficace, rendant la transcription haute précision accessible pour des cas d'usage spécialisés sans nécessiter des ressources computationnelles massives pour un entraînement from scratch.

Ce que vous pouvez faire

• Téléchargez les poids de Nemotron 3.5 Transcribe depuis Hugging Face sous la licence OpenMDW-1.1.
• Testez le modèle localement en utilisant NeMo-Speech.cpp sur du matériel compatible mono-GPU.
• Utilisez le pipeline Granary v2 pour curer et préparer vos propres jeux de données audio destinés à l'affinage.
• Expérimentez avec l'ingénierie de prompts pour définir le contexte, les étiquettes de locuteurs et la mise en forme de sortie pour votre domaine spécifique.
• Évaluez les performances du modèle sur vos langues cibles, en notant que l'Audio Q&A est actuellement limité à l'anglais.
• Envisagez l'affinage si vous travaillez dans des champs spécialisés comme la médecine ou le droit pour réduire significativement les taux d'erreur sur les mots.