NVIDIA lanza Nemotron 3.5 Transcribe de pesos abiertos para el procesamiento del habla mediante prompts

NVIDIA ha lanzado Nemotron 3.5 Transcribe, un modelo de habla con pesos abiertos que combina transcripción, atribución de hablantes y traducción en un único checkpoint. Disponible ahora en Hugging Face y ModelScope, el modelo admite 40 idiomas para la transcripción y permite a los desarrolladores guiar la salida utilizando prompts en lenguaje natural. Este lanzamiento supone un paso significativo hacia un procesamiento del habla personalizable y de alta precisión que puede ejecutarse localmente o escalar en centros de datos.

Qué ha ocurrido

El nuevo modelo gestiona grabaciones de hasta una hora de duración y puede atribuir hablantes en 13 idiomas, etiquetando hasta ocho voces distintas. Traduce 31 idiomas desde o hacia el inglés y admite preguntas y respuestas basadas en audio, aunque esta última función está entrenada principalmente en inglés. Los desarrolladores pueden usar instrucciones en lenguaje natural para especificar formatos de salida, como solicitar etiquetas de hablante, traducciones o un formato específico para jerga de dominio, como términos médicos.

Nemotron 3.5 Transcribe lidera la clasificación Open ASR Leaderboard de Hugging Face para inglés entre los modelos de pesos abiertos, con una tasa media de error de palabra (WER) del 5,33 %. También ocupa el primer puesto en la clasificación de diarización de 21 idiomas de David AI y encabeza la comparación de 14 sistemas de VoiceArena para atribución de hablantes. Estos benchmarks destacan su capacidad para manejar diálogos superpuestos y habla rápida, como se demostró en pruebas utilizando escenas de la película de 1940 His Girl Friday.

Junto con el modelo, NVIDIA lanzó Granary v2, una canalización multilingüe de curación de datos utilizada para entrenar Transcribe. Granary v2 proporciona herramientas reutilizables para preparar datos de voz, incluida la generación de variantes de transcripción alineadas y metadatos de calidad. El manifiesto público cubre 463.062 horas de audio en 48 idiomas, ofreciendo a los desarrolladores una base para construir sus propios conjuntos de datos de voz especializados.

Cómo funciona

Transcribe utiliza una arquitectura híbrida que combina un codificador de voz con un modelo de lenguaje Mamba–Transformer de mezcla de expertos. Este diseño garantiza que solo aproximadamente 4 mil millones de sus 30 mil millones de parámetros estén activos por token, situándolo en la frontera entre precisión y parámetros activos. Las pistas del hablante se integran directamente en el proceso de generación mediante Sortformer, lo que permite al modelo etiquetar a los hablantes durante la transcripción en lugar de depender de un paso separado de posprocesamiento.

Para la adaptación al dominio, NVIDIA proporciona las herramientas de ajuste fino NeMo Speech. Un estudio de caso médico mostró que el ajuste fino redujo la tasa de error de palabra en un 45,8 % en hablantes no vistos en comparación con el uso exclusivo de prompts. El proceso implica generar voz sintética a partir de objetivos de texto, como convertir "HbA1c" en formas habladas, y entrenar el modelo con adaptadores LoRA. Esto permite al sistema aprender vocabulario específico y convenciones de formato sin volver a entrenar todo el modelo.

Granary v2 admite este flujo de trabajo produciendo tres formas de transcripción para cada grabación: verbatim normalizado en texto, normalización inversa de texto con disfluencias y normalización inversa de texto limpia. Los desarrolladores pueden utilizar estas variantes para definir exactamente cómo quieren que el modelo maneje números, unidades y palabras de relleno. La canalización filtra el audio de baja calidad, asegurando que los datos de entrenamiento cumplan con estándares de alta fidelidad.

Detalles clave

• Admite transcripción en 40 idiomas y traducción de 31 idiomas desde o hacia el inglés.
• Alcanza un WER medio del 5,33 % en inglés, liderando los modelos de pesos abiertos en la clasificación de Hugging Face.
• Atribuye hasta ocho hablantes en grabaciones de hasta una hora de duración con bajas tasas de error de diarización.
• Utiliza aproximadamente 4 mil millones de parámetros activos por token mediante una arquitectura de mezcla de expertos.
• El manifiesto del conjunto de datos Granary v2 incluye 463.062 horas de audio en 48 idiomas.
• Próximamente llegarán versiones cuantizadas para despliegue local en hardware RTX y Jetson.

Por qué es importante

Para los ingenieros que construyen aplicaciones habilitadas por voz, la capacidad de enviar prompts al modelo para obtener formatos de salida específicos reduce la necesidad de scripts complejos de posprocesamiento. En lugar de escribir reglas regex personalizadas para limpiar transcripciones o separar hablantes, los desarrolladores pueden instruir al modelo para que produzca el formato exacto que necesitan. Esta flexibilidad es crucial para manejar jerga específica de dominios como la sanidad o el derecho, donde la transcripción estándar suele fallar.

La naturaleza de pesos abiertos del modelo también aborda las preocupaciones sobre la privacidad de los datos. Las organizaciones pueden ejecutar Transcribe localmente en su propia infraestructura, manteniendo los datos de audio sensibles dentro de sus entornos seguros. Con la llegada de versiones cuantizadas para hardware de consumo y edge, el procesamiento de voz de alta calidad se vuelve accesible sin depender de APIs de terceros. Este cambio empodera a los equipos para construir soluciones de voz más robustas y privadas.

Qué puedes hacer

• Descarga el checkpoint de Nemotron 3.5 Transcribe desde Hugging Face o ModelScope para probarlo localmente.
• Usa los prompts en lenguaje natural proporcionados para experimentar con diferentes formatos de salida y etiquetado de hablantes.
• Explora los manifiestos de Granary v2 para entender la estructura de los datos de entrenamiento de voz de alta calidad.
• Sigue la guía de ajuste fino de NeMo Speech para adaptar el modelo a tu vocabulario específico de dominio.
• Despliega el modelo usando vLLM o SGLang-Omni para inferencia de alto rendimiento en entornos de producción.
• Evalúa el modelo con tus propias muestras de audio para identificar áreas donde pueda ser necesaria la adaptación al dominio.