Nvidia lanza el modelo Nemotron 3.5 Transcribe con soporte para prompts

Nvidia ha publicado Nemotron 3.5 Transcribe, un nuevo modelo de reconocimiento automático del habla (ASR) de pesos abiertos diseñado para audio grabado. Lanzado el 28 de octubre de 2026, este modelo permite a los desarrolladores proporcionar instrucciones específicas antes de procesar archivos de audio. Actualmente lidera la clasificación Open ASR de Hugging Face para inglés con una tasa de error de palabra (WER) del 5,33%.

Qué ocurrió

La innovación principal de este lanzamiento es la capacidad del modelo para aceptar prompts. A diferencia de los motores de transcripción tradicionales que simplemente convierten sonido a texto, Nemotron 3.5 Transcribe permite a los usuarios establecer el contexto previamente. Un desarrollador puede especificar que un archivo de audio contiene una discusión médica en inglés y proporcionar una lista de terminología especializada. El modelo utiliza este contexto para reducir errores y mejorar la relevancia.

Los usuarios también pueden instruir al modelo sobre el formato de salida. Las solicitudes pueden incluir etiquetar hablantes individuales, producir una transcripción literal versus una versión limpia, o definir cómo deben aparecer los números en el texto. Nvidia integra estas capacidades, incluidas funciones de traducción, en un único checkpoint. Esta consolidación busca simplificar la arquitectura para aplicaciones que requieren múltiples tareas de procesamiento de voz.

El modelo admite la transcripción de 40 idiomas y puede traducir 31 de esos idiomas desde o hacia el inglés. La atribución de hablantes, que identifica quién está hablando, funciona para 13 idiomas y puede distinguir hasta ocho voces diferentes. Sin embargo, la función de Respuestas a Preguntas de Audio (Audio Question and Answering) fue entrenada únicamente en inglés. El sistema maneja grabaciones de hasta una hora de duración, pero no admite audio en streaming en vivo.

Cómo funciona

Nemotron 3.5 Transcribe es un modelo de mezcla de expertos (mixture-of-experts) de 30 mil millones de parámetros. En esta arquitectura, solo un subconjunto de los parámetros totales está activo para cualquier entrada dada. Para este modelo, hay 4 mil millones de parámetros activos. Este diseño le permite rivalizar con la precisión de modelos más grandes mientras mantiene menores demandas computacionales durante la inferencia. Por ejemplo, logra una tasa de error de palabra del 2,81% en las pruebas de Artificial Analysis, comparable a Voxtral Small de Mistral, que utiliza 24 mil millones de parámetros activos.

Los desarrolladores pueden implementar el modelo usando vLLM o ejecutarlo localmente con NeMo-Speech.cpp. Nvidia afirma que el modelo se ejecuta en una sola GPU, soportando hardware desde Jetson AGX Thor y DGX Spark hasta GPUs de centro de datos Blackwell. Dado que es un modelo de pesos abiertos bajo la licencia OpenMDW-1.1, los usuarios pueden ajustarlo fino (fine-tune) para dominios específicos. Nvidia reportó que el ajuste fino para transcripción médica redujo la tasa de error de palabra del 22,44% al 12,17% en hablantes retenidos, una reducción relativa del 45,8%. Esta adaptación requirió aproximadamente 14 horas-GPU en una unidad GB300.

Para apoyar la personalización, Nvidia también está lanzando Granary v2, un pipeline de curaduría de datos construido con NeMo Curator. Esta herramienta incluye manifiestos públicos que cubren aproximadamente 463.062 horas de audio en 48 idiomas y 16 corpus fuente. Los desarrolladores pueden usar este pipeline para preparar sus propias grabaciones para el ajuste fino, aunque estas cifras representan el conjunto de datos publicado y no la mezcla completa de entrenamiento utilizada para el modelo base.

Detalles clave

• Arquitectura del modelo: Mezcla de expertos de 30 mil millones de parámetros con 4 mil millones de parámetros activos.
• Rendimiento: Primer puesto en la clasificación Open ASR de Hugging Face para inglés con una tasa de error de palabra del 5,33%.
• Soporte de idiomas: Transcribe 40 idiomas; traduce 31 idiomas desde o hacia el inglés.
• Manejo de hablantes: Atribuye hablantes en 13 idiomas y distingue hasta ocho voces.
• Implementación: Se ejecuta en una sola GPU usando vLLM o NeMo-Speech.cpp; soporta GPUs desde Jetson AGX Thor hasta Blackwell.
• Licencia: Pesos abiertos bajo OpenMDW-1.1, permitiendo ajuste fino y uso comercial.

Por qué importa

Para ingenieros de software que construyen aplicaciones habilitadas por voz, la capacidad de dar prompts al modelo de transcripción reduce la necesidad de scripts complejos de post-procesamiento. Tradicionalmente, los desarrolladores tenían que construir sistemas separados para limpiar transcripciones, formatear números o identificar hablantes. Al manejar estas tareas dentro del modelo mediante prompts, el flujo de trabajo de desarrollo se vuelve más simple y mantenible. El enfoque de un único checkpoint también reduce la sobrecarga de infraestructura de gestionar múltiples modelos especializados.

La naturaleza de pesos abiertos del modelo es significativa para industrias con estrictos requisitos de privacidad de datos, como salud y finanzas. Las organizaciones pueden ajustar el modelo con sus datos privados sin enviar audio sensible a APIs de terceros. La reducción reportada en las tasas de error después del ajuste fino demuestra que la adaptación específica del dominio es efectiva, haciendo accesible la transcripción de alta precisión para casos de uso especializados sin requerir recursos computacionales masivos para entrenar desde cero.

Qué puedes hacer

• Descarga los pesos de Nemotron 3.5 Transcribe desde Hugging Face bajo la licencia OpenMDW-1.1.
• Prueba el modelo localmente usando NeMo-Speech.cpp en hardware compatible de una sola GPU.
• Usa el pipeline Granary v2 para curar y preparar tus propios conjuntos de datos de audio para el ajuste fino.
• Experimenta con la ingeniería de prompts para definir contexto, etiquetas de hablante y formato de salida para tu dominio específico.
• Evalúa el rendimiento del modelo en tus idiomas objetivo, teniendo en cuenta que Audio Q&A es actualmente solo en inglés.
• Considera el ajuste fino si trabajas en campos especializados como medicina o derecho para reducir significativamente las tasas de error de palabra.