IA ouverte et locale

Nvidia améliore les scores de codage de Nemotron grâce à un apprentissage par renforcement ciblé

Nvidia a utilisé 20 000 exemples d'entraînement synthétiques et PivotRL pour améliorer les capacités de codage agentique de Nemotron 3 Ultra, augmentant significativement son score Terminal-Bench.

Une illustration conceptuelle de la réparation de modèles IA à l'aide d'outils ciblés.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Nvidia a considérablement amélioré les performances de codage de ses modèles d'IA à poids ouverts en ciblant des défaillances spécifiques des agents avec un petit jeu de données de haute qualité. En utilisant un harnais spécialisé de Factory, l'équipe a généré environ 20 000 exemples d'entraînement pour affiner Nemotron 3 Ultra, un modèle de 550 milliards de paramètres publié en juin 2026. Cet effort post-entraînement ciblé a entraîné une hausse notable des scores aux benchmarks pour les tâches de codage agentique.

Ce qui s'est passé

Nvidia a collaboré avec Factory pour résoudre les problèmes récurrents dans la manière dont Nemotron 3 Ultra gère les instructions de codage complexes. L'équipe a déployé le harnais d'agent de codage Droid de Factory au sein d'un réseau isolé (air-gapped) pour instrumenter et capturer des échecs reproductibles. Ces échecs concernaient principalement le respect des instructions, l'appel d'outils et la récupération d'erreurs lors de tâches multi-étapes. En isolant ces pannes spécifiques, Nvidia a pu créer un jeu de données ciblé pour l'amélioration du modèle, plutôt que de compter sur des données larges et non filtrées.

L'entreprise a appliqué une méthode d'apprentissage par renforcement appelée PivotRL à ce nouveau jeu de données. Introduite en mars 2026, PivotRL entraîne les modèles sur les décisions critiques au sein des trajectoires existantes de réglage fin supervisé. Cette approche évite le coût computationnel élevé des déploiements complets multi-tours tout en améliorant la précision de la prise de décision. Nvidia a renvoyé les points de contrôle mis à jour du modèle à Factory pour évaluation après avoir appliqué cette technique, garantissant que les améliorations étaient mesurables dans des scénarios d'agents réels.

Pour empêcher le modèle de se surajuster à l'environnement de test spécifique, Nvidia a varié la configuration de Droid et intégré des données provenant de plusieurs autres environnements d'agents. Le pipeline d'entraînement final combinait l'apprentissage par renforcement avec des récompenses vérifiables, le retour humain et la distillation on-policy multi-enseignants. Ce processus en plusieurs étapes a permis aux capacités des modèles enseignants formés dans différents domaines techniques de se transférer efficacement vers le modèle étudiant, Nemotron 3 Ultra.

Comment cela fonctionne

PivotRL diffère de l'apprentissage par renforcement standard en se concentrant sur le résultat d'une action plutôt que sur sa similarité avec un exemple de référence. Dans le réglage fin supervisé traditionnel, un modèle est pénalisé si sa sortie ne correspond pas exactement à une réponse dorée. PivotRL évalue si l'action a atteint l'objectif visé, ce qui est crucial pour les tâches agentiques où plusieurs chemins valides peuvent exister. Cette méthode a atteint une précision comparable à celle de l'apprentissage par renforcement de bout en bout, mais n'a nécessité qu'un quart des tours de déploiement, la rendant bien plus efficace.

Le processus d'entraînement a également utilisé la distillation on-policy multi-enseignants. Cette technique transfère les connaissances de plusieurs modèles enseignants spécialisés vers un seul modèle étudiant. En mélangeant les perspectives de modèles formés sur divers domaines techniques, Nvidia a veillé à ce que Nemotron 3 Ultra puisse mieux généraliser à travers différents types de tâches de codage. L'entreprise a publié ses mélanges d'apprentissage par renforcement et les instructions pour reproduire le pipeline sur le matériel GB200 NVL72, permettant à d'autres de vérifier les résultats.

Détails clés

  • Nvidia a généré environ 20 000 lignes de données post-entraînement en utilisant le harnais Droid de Factory.
  • Le score Terminal-Bench 2.0 de Nemotron 3 Ultra est passé de 38,5 % à 49 % après le post-entraînement.
  • Un point de contrôle préliminaire de Nemotron 3.5 Super VL s'est amélioré de 52,11 % à 60,4 % sur Terminal-Bench 2.1.
  • PivotRL a surpassé le réglage fin supervisé standard de 4,17 % en moyenne sur quatre domaines agentiques.
  • Le pipeline d'entraînement incluait des données provenant d'OpenCode, de Codex et d'un environnement identifié comme agent006.
  • Factory n'a pas publié d'étude d'ablation isolant sa contribution spécifique aux gains de benchmark.

Pourquoi c'est important

Pour les ingénieurs développant des agents IA, ce cas met en évidence les rendements décroissants de l'augmentation du volume de données sans amélioration de leur qualité. Au lieu de nourrir les modèles avec des milliards de tokens génériques, Nvidia a démontré qu'un petit ensemble de 20 000 exemples soigneusement sélectionnés, ciblant des modes de défaillance spécifiques, peut produire des gains de performance significatifs. Cela suggère que les futures améliorations de l'IA agentique dépendront davantage d'une analyse précise des erreurs et d'un apprentissage par renforcement ciblé que d'un pré-entraînement par force brute.

Les résultats soulignent également l'importance des harnais d'évaluation dans la façon dont ils façonnent le comportement du modèle. Les gains de performance étaient étroitement liés aux environnements spécifiques utilisés pour l'entraînement et les tests. Comme observé avec Gemini 4 Neon de Google, qui performait mieux dans son propre harnais Antigravity, les modèles peuvent devenir optimisés pour des frameworks de test spécifiques. Les développeurs doivent être prudents lors de l'interprétation des scores de benchmark, car ceux-ci peuvent refléter une adaptation spécifique au harnais plutôt qu'une amélioration générale des capacités.

Ce que vous pouvez faire

  • Instrumentez vos workflows d'agents pour capturer les échecs reproductibles dans l'appel d'outils et la récupération d'erreurs.
  • Priorisez la création de petits jeux de données de haute qualité ciblant les points faibles spécifiques identifiés lors de l'évaluation.
  • Envisagez d'utiliser des mécanismes de récompense basés sur les résultats comme PivotRL plutôt qu'une correspondance stricte avec une référence pour les tâches agentiques.
  • Variez vos environnements d'évaluation pour empêcher votre modèle de se surajuster à un seul harnais de test.
  • Explorez la distillation multi-enseignants pour transférer des capacités spécialisées de modèles spécifiques à un domaine vers votre agent à usage général.
  • Examinez les mélanges d'apprentissage par renforcement et les pipelines publiés pour comprendre les compromis entre les différentes méthodes post-entraînement.
  • #nvidia
  • #reinforcement learning
  • #ai agents
  • #nemotron
  • #coding models

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles