Post-entraînement de Nemotron 3.5 Super VL pour une précision scientifique accrue grâce à l'apprentissage par renforcement
NVIDIA a publié une recette permettant de personnaliser Nemotron 3.5 Super VL via l'apprentissage par renforcement et la distillation, augmentant la précision des prédictions du métabolisme médicamenteux de 29 %.
Traduit automatiquement depuis l'original anglais.
NVIDIA a publié un guide technique détaillant comment personnaliser son modèle multimodal ouvert, Nemotron 3.5 Super VL, pour des flux de travail scientifiques spécialisés. Publié le 16 novembre 2026, ce guide démontre comment les chercheurs peuvent utiliser l'apprentissage par renforcement et la distillation de connaissances pour améliorer significativement la précision du modèle dans des domaines tels que la chimie computationnelle.
Cette approche cible les systèmes d'IA agentiques qui planifient et exécutent des tâches scientifiques complexes, répondant au besoin critique d'une plus grande précision et d'une latence réduite dans les environnements de recherche où les erreurs peuvent s'accumuler rapidement au fil des itérations autonomes.
Ce qui s'est passé
Le blog technique de NVIDIA a présenté une recette pratique pour le post-entraînement de Nemotron 3.5 Super VL, un modèle multimodal ouvert et personnalisable conçu pour les benchmarks scientifiques. Le guide se concentre sur l'adaptation du modèle à des domaines de recherche spécifiques en créant des environnements d'apprentissage par renforcement personnalisés à partir de données expérimentales. Ce processus s'appuie sur NVIDIA NeMo Gym pour l'infrastructure environnementale et sur NVIDIA NeMo RL pour le cadre de post-entraînement.
Pour valider la méthode, l'équipe a utilisé la prédiction du métabolisme médicamenteux comme étude de cas. Elle a exploité les enregistrements de MetxBioDB, une base de données de réactions de biotransformation confirmées expérimentalement. L'objectif était de prédire le métabolite résultant étant donné un composé parent et son enzyme transformante. Les résultats ont montré que l'affinage supervisé a amélioré la précision de 12 %, tandis que le post-entraînement par apprentissage par renforcement subséquent l'a augmentée de 17 % supplémentaires avec un budget de sortie de 16 384 jetons.
Le guide introduit également le Nemotron RL Litmus-Bench V2.0, un jeu de données et un benchmark open source conçus pour entraîner et évaluer les grands modèles de langage (LLM) et l'IA agentique sur les propriétés moléculaires. Ce benchmark soutient le développement de modèles capables de gérer des flux de travail scientifiques visuels, plus longs et plus complexes, avec une fiabilité accrue.
Comment cela fonctionne
Le mécanisme central consiste à créer un environnement d'apprentissage par renforcement avec récompenses vérifiables (RLVR). Les chercheurs partent d'un fichier CSV contenant des enregistrements expérimentaux, tels que des chaînes SMILES (Simplified Molecular Input Line Entry System), qui décrivent les structures moléculaires. Ces paires entrée-sortie sont reformattées sous forme de prompts-réponses, où la vérité terrain expérimentale sert de vérificateur. Cette configuration élimine le besoin d'étiquetage des préférences humaines, car le signal de récompense est dérivé directement des données.
Dans l'exemple du métabolisme médicamenteux, le modèle reçoit la molécule parente et l'enzyme, puis prédit le métabolite. Un vérificateur compare l'empreinte moléculaire prédite avec la référence en utilisant la similarité de Tanimoto, une métrique mesurant le chevauchement entre deux ensembles. Le score varie de 0 à 1, les valeurs plus élevées indiquant une plus grande similarité structurelle. Ce signal de récompense dense guide le modèle pendant l'entraînement via l'optimisation relative de politique par groupe (GRPO) avec des adaptateurs de rang faible (LoRA).
Une étape optionnelle de distillation peut précéder l'apprentissage par renforcement pour accélérer la convergence. Un modèle enseignant plus puissant, tel que Claude Sonnet 5.5, génère des traces de raisonnement de haute qualité pour les mêmes tâches. Ces traces sont filtrées en fonction de leur exactitude, ne conservant que celles où la logique de l'enseignant conduit à une prédiction correcte. Ce « démarrage à chaud » fournit au modèle étudiant un meilleur point de départ, rendant l'entraînement RL ultérieur plus efficace et susceptible de trouver une politique robuste.
Détails clés
- Nemotron 3.5 Super VL est un modèle multimodal ouvert et personnalisable, optimisé pour le codage scientifique et les benchmarks.
- L'affinage supervisé a amélioré la précision de 12 %, l'apprentissage par renforcement ajoutant un gain supplémentaire de 17 % dans la prédiction du métabolisme médicamenteux.
- Le jeu de données Nemotron RL Litmus-Bench V2.0 évalue les LLM et l'IA agentique sur les propriétés moléculaires.
- La distillation utilise Claude Sonnet 5.5 pour générer des traces de raisonnement, en filtrant 1 123 exemples de haute qualité parmi 1 934 prompts.
- L'environnement RL utilise la similarité de Tanimoto pour noter les prédictions contre la vérité terrain sans étiquetage humain.
- L'entraînement utilise GRPO avec LoRA et est pris en charge par NeMo Gym pour la création d'environnements et NeMo RL pour le post-entraînement.
Pourquoi c'est important
Pour les ingénieurs développant des agents IA scientifiques, ce guide offre une voie concrète pour réduire la propagation des erreurs dans les flux de travail autonomes. À mesure que les agents prennent en charge des tâches plus longues et plus complexes, les petites imprécisions aux premières étapes peuvent entraîner des échecs significatifs plus tard. En post-entraînant les modèles sur des données spécifiques au domaine avec des récompenses vérifiables, les développeurs peuvent garantir une fidélité accrue dans les prédictions critiques, telles que les structures moléculaires ou les résultats de réaction.
La capacité de personnaliser des modèles ouverts comme Nemotron 3.5 Super VL répond également aux préoccupations relatives aux coûts et à la latence. Une précision de niveau frontière est souvent associée à des modèles massifs et fermés, coûteux à exécuter. Cette recette permet aux équipes d'atteindre des performances comparables sur des tâches spécialisées avec un modèle personnalisable, réduisant potentiellement les coûts d'inférence et améliorant le temps de résolution pour les tâches de codage scientifique.
De plus, l'inclusion de la distillation à partir de modèles enseignants plus puissants fournit une stratégie pour surmonter les problèmes de démarrage à froid dans l'apprentissage par renforcement. Lorsque les modèles de base manquent de capacités suffisantes ou que la convergence RL est lente, le démarrage à chaud avec des traces de raisonnement de haute qualité peut relever le plancher de performance. Cela rend le processus d'entraînement plus robuste et accessible pour les domaines où les données sont rares ou coûteuses à générer.
Ce que vous pouvez faire
- Explorez le dépôt NeMo Gym pour construire un environnement RL personnalisé à partir de vos propres données expérimentales.
- Utilisez le dépôt NeMo RL pour appliquer le post-entraînement par apprentissage par renforcement à vos modèles scientifiques spécifiques.
- Implémentez la recette fournie pour créer une couche de vérification à l'aide d'outils tels que des bibliothèques de chémoinformatique ou des simulateurs moléculaires.
- Envisagez d'utiliser la distillation à partir d'un modèle enseignant plus puissant pour générer des traces de raisonnement de haute qualité avant de commencer l'entraînement RL.
- Évaluez votre modèle personnalisé à l'aide du Nemotron RL Litmus-Bench V2.0 pour comparer les performances sur les propriétés moléculaires.
- Adaptez les scripts de conversion CSV-vers-JSONL fournis pour formater vos données spécifiques au domaine afin de les utiliser dans l'environnement NeMo Gym.



