Post-entrenamiento de Nemotron 3.5 Super VL para precisión científica con RL
NVIDIA publicó una receta para personalizar Nemotron 3.5 Super VL mediante aprendizaje por refuerzo y destilación, mejorando la precisión en la predicción del metabolismo de fármacos un 29%.
Traducido automáticamente del original en inglés.
NVIDIA ha publicado una guía técnica que detalla cómo personalizar su modelo multimodal abierto, Nemotron 3.5 Super VL, para flujos de trabajo científicos especializados. Publicada el 16 de noviembre de 2026, la guía demuestra cómo los investigadores pueden utilizar el aprendizaje por refuerzo y la destilación de conocimiento para mejorar significativamente la precisión del modelo en dominios como la química computacional.
El enfoque se dirige a sistemas de IA agénticos que planifican y ejecutan tareas científicas complejas, abordando la necesidad crítica de mayor precisión y menor latencia en entornos de investigación donde los errores pueden acumularse rápidamente a través de iteraciones autónomas.
Qué ocurrió
El Blog Técnico de NVIDIA describió una receta práctica para el post-entrenamiento de Nemotron 3.5 Super VL, un modelo multimodal abierto y personalizable diseñado para benchmarks científicos. La guía se centra en adaptar el modelo para dominios de investigación específicos mediante la creación de entornos de aprendizaje por refuerzo personalizados a partir de datos experimentales. Este proceso aprovecha NVIDIA NeMo Gym para la infraestructura de entornos y NVIDIA NeMo RL para el marco de post-entrenamiento.
Para validar el método, el equipo utilizó la predicción del metabolismo de fármacos como caso de estudio. Emplearon registros de MetxBioDB, una base de datos de reacciones de biotransformación confirmadas experimentalmente. El objetivo era predecir el metabolito resultante dado un compuesto padre y su enzima transformadora. Los resultados mostraron que el ajuste fino supervisado mejoró la precisión en un 12%, mientras que el posterior post-entrenamiento con aprendizaje por refuerzo la elevó en otro 17% con un presupuesto de salida de 16.384 tokens.
La guía también introduce Nemotron RL Litmus-Bench V2.0, un conjunto de datos y benchmark de código abierto diseñado para entrenar y evaluar modelos de lenguaje grandes e IA agéntica sobre propiedades moleculares. Este benchmark apoya el desarrollo de modelos capaces de manejar flujos de trabajo científicos más largos, complejos y visuales con mayor fiabilidad.
Cómo funciona
El mecanismo central implica crear un entorno de aprendizaje por refuerzo con recompensas verificables (RLVR). Los investigadores comienzan con un archivo CSV de registros experimentales, como cadenas del Sistema Simplificado de Entrada de Línea Molecular (SMILES), que describen estructuras moleculares. Estos pares de entrada-salida se reformatean en formatos de prompt-respuesta donde la verdad fundamental experimental sirve como verificador. Esta configuración elimina la necesidad de etiquetado de preferencias humanas, ya que la señal de recompensa se deriva directamente de los datos.
En el ejemplo del metabolismo de fármacos, el modelo recibe la molécula padre y la enzima, luego predice el metabolito. Un verificador compara la huella molecular predicha con la referencia utilizando la similitud de Tanimoto, una métrica que mide la superposición entre dos conjuntos. La puntuación varía de 0 a 1, con valores más altos indicando mayor similitud estructural. Esta densa señal de recompensa guía al modelo durante el entrenamiento mediante la optimización de política relativa grupal (GRPO) con adaptadores de bajo rango (LoRA).
Un paso opcional de destilación puede preceder al aprendizaje por refuerzo para acelerar la convergencia. Un modelo maestro más potente, como Claude Sonnet 5.5, genera trazas de razonamiento de alta calidad para las mismas tareas. Estas trazas se filtran según su exactitud, conservando solo aquellas donde la lógica del maestro conduce a una predicción correcta. Este "arranque en caliente" proporciona al modelo estudiante un mejor punto de partida, haciendo que el posterior entrenamiento RL sea más eficiente y probable de encontrar una política sólida.
Detalles clave
- Nemotron 3.5 Super VL es un modelo multimodal abierto y personalizable optimizado para codificación científica y benchmarks.
- El ajuste fino supervisado mejoró la precisión en un 12%, con el aprendizaje por refuerzo añadiendo una ganancia adicional del 17% en la predicción del metabolismo de fármacos.
- El conjunto de datos Nemotron RL Litmus-Bench V2.0 evalúa LLMs e IA agéntica sobre propiedades moleculares.
- La destilación utiliza Claude Sonnet 5.5 para generar trazas de razonamiento, filtrando 1.123 ejemplos de alta calidad de 1.934 prompts.
- El entorno RL utiliza la similitud de Tanimoto para puntuar las predicciones contra la verdad fundamental sin etiquetado humano.
- El entrenamiento utiliza GRPO con LoRA y está respaldado por NeMo Gym para la creación de entornos y NeMo RL para el post-entrenamiento.
Por qué importa
Para los ingenieros que construyen agentes de IA científica, esta guía ofrece un camino concreto para reducir la propagación de errores en flujos de trabajo autónomos. A medida que los agentes asumen tareas más largas y complejas, pequeñas imprecisiones en los primeros pasos pueden llevar a fallos significativos posteriormente. Mediante el post-entrenamiento de modelos en datos específicos del dominio con recompensas verificables, los desarrolladores pueden garantizar una mayor fidelidad en predicciones críticas, como estructuras moleculares o resultados de reacciones.
La capacidad de personalizar modelos abiertos como Nemotron 3.5 Super VL también aborda preocupaciones de costo y latencia. La precisión de nivel frontera suele asociarse con modelos masivos y cerrados que son costosos de ejecutar. Esta receta permite a los equipos lograr un rendimiento comparable en tareas especializadas con un modelo personalizable, reduciendo potencialmente los costos de inferencia y mejorando el tiempo de solución para tareas de codificación científica.
Además, la inclusión de destilación desde modelos maestros más potentes proporciona una estrategia para superar problemas de arranque en frío en el aprendizaje por refuerzo. Cuando los modelos base carecen de suficiente capacidad o la convergencia RL es lenta, el arranque en caliente con trazas de razonamiento de alta calidad puede elevar el suelo de rendimiento. Esto hace que el proceso de entrenamiento sea más robusto y accesible para dominios donde los datos son escasos o costosos de generar.
Qué puedes hacer
- Explora el repositorio NeMo Gym para construir un entorno RL personalizado a partir de tus propios datos experimentales.
- Utiliza el repositorio NeMo RL para aplicar el post-entrenamiento con aprendizaje por refuerzo a tus modelos científicos específicos.
- Implementa la receta proporcionada para crear una capa de verificación utilizando herramientas como bibliotecas de quimioinformática o simuladores moleculares.
- Considera usar destilación desde un modelo maestro más potente para generar trazas de razonamiento de alta calidad antes de iniciar el entrenamiento RL.
- Evalúa tu modelo personalizado utilizando Nemotron RL Litmus-Bench V2.0 para medir el rendimiento sobre propiedades moleculares.
- Adapta los scripts de conversión de CSV a JSONL para formatear tus datos específicos del dominio para su uso en el entorno NeMo Gym.



