IA abierta y local

Nvidia mejora las puntuaciones de programación de Nemotron con aprendizaje por refuerzo dirigido

Nvidia utilizó 20.000 ejemplos de entrenamiento sintéticos y PivotRL para mejorar las capacidades de programación agéntica de Nemotron 3 Ultra, elevando significativamente su puntuación en Terminal-Bench.

Una ilustración conceptual de la reparación de modelos de IA mediante herramientas dirigidas.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Nvidia ha mejorado notablemente el rendimiento en programación de sus modelos de IA de pesos abiertos al abordar fallos específicos de los agentes mediante un conjunto de datos pequeño pero de alta calidad. Utilizando una herramienta especializada de Factory, el equipo generó aproximadamente 20.000 ejemplos de entrenamiento para perfeccionar Nemotron 3 Ultra, un modelo de 550 mil millones de parámetros lanzado en junio de 2026. Este esfuerzo focalizado de posentrenamiento resultó en un salto significativo en las puntuaciones de referencia para tareas de programación agéntica.

Qué ocurrió

Nvidia colaboró con Factory para abordar problemas recurrentes en la forma en que Nemotron 3 Ultra maneja instrucciones complejas de programación. El equipo desplegó la herramienta de agente de codificación Droid de Factory dentro de una red aislada (air-gapped) para instrumentar y capturar fallos reproducibles. Estos fallos involucraban principalmente el seguimiento de instrucciones, la llamada a herramientas y la recuperación de errores durante tareas de múltiples pasos. Al aislar estos puntos de ruptura específicos, Nvidia pudo crear un conjunto de datos dirigido para la mejora del modelo, en lugar de depender de datos amplios y sin filtrar.

La empresa aplicó un método de aprendizaje por refuerzo llamado PivotRL a este nuevo conjunto de datos. Introducido en marzo de 2026, PivotRL entrena a los modelos sobre decisiones críticas dentro de trayectorias existentes de ajuste fino supervisado. Este enfoque evita el alto costo computacional de las simulaciones completas de múltiples turnos, mejorando aún así la precisión en la toma de decisiones. Nvidia devolvió los puntos de control actualizados del modelo a Factory para su evaluación tras aplicar esta técnica, asegurando que las mejoras fueran medibles en escenarios reales de agentes.

Para evitar que el modelo se ajustara excesivamente al entorno de prueba específico, Nvidia varió la configuración de Droid e incorporó datos de varios otros entornos de agentes. La tubería de entrenamiento final combinó aprendizaje por refuerzo con recompensas verificables, retroalimentación humana y destilación on-policy multi-maestro. Este proceso multietapa permitió que las capacidades de los modelos maestros entrenados en diferentes dominios técnicos se transfirieran eficazmente al modelo estudiante, Nemotron 3 Ultra.

Cómo funciona

PivotRL difiere del aprendizaje por refuerzo estándar al centrarse en el resultado de una acción en lugar de su similitud con un ejemplo de referencia. En el ajuste fino supervisado tradicional, se penaliza al modelo si su salida no coincide exactamente con una respuesta dorada. PivotRL evalúa si la acción logró el objetivo pretendido, lo cual es crucial para tareas agénticas donde pueden existir múltiples caminos válidos. Este método logró una precisión comparable al aprendizaje por refuerzo de extremo a extremo, pero requirió solo una cuarta parte de los turnos de simulación, haciéndolo mucho más eficiente.

El proceso de entrenamiento también utilizó destilación on-policy multi-maestro. Esta técnica transfiere conocimiento de varios modelos maestros especializados al único modelo estudiante. Al mezclar perspectivas de modelos entrenados en diversos dominios técnicos, Nvidia aseguró que Nemotron 3 Ultra pudiera generalizar mejor entre diferentes tipos de tareas de programación. La empresa publicó sus mezclas de aprendizaje por refuerzo e instrucciones para reproducir la tubería en hardware GB200 NVL72, permitiendo a otros verificar los resultados.

Detalles clave

  • Nvidia generó aproximadamente 20.000 filas de datos de posentrenamiento utilizando la herramienta Droid de Factory.
  • La puntuación de Nemotron 3 Ultra en Terminal-Bench 2.0 aumentó del 38,5% al 49% tras el posentrenamiento.
  • Un punto de control preliminar de Nemotron 3.5 Super VL mejoró del 52,11% al 60,4% en Terminal-Bench 2.1.
  • PivotRL superó al ajuste fino supervisado estándar en un promedio del 4,17% en cuatro dominios agénticos.
  • La tubería de entrenamiento incluyó datos de OpenCode, Codex y un entorno identificado como agent006.
  • Factory no ha publicado un estudio de ablación que aísle su contribución específica a las ganancias en las pruebas de referencia.

Por qué importa

Para los ingenieros que construyen agentes de IA, este caso destaca los rendimientos decrecientes de escalar el volumen de datos sin mejorar su calidad. En lugar de alimentar a los modelos con miles de millones de tokens genéricos, Nvidia demostró que un pequeño conjunto de 20.000 ejemplos cuidadosamente seleccionados, dirigidos a modos de fallo específicos, puede generar ganancias significativas de rendimiento. Esto sugiere que las futuras mejoras en la IA agéntica dependerán más del análisis preciso de errores y del aprendizaje por refuerzo dirigido que del preentrenamiento por fuerza bruta.

Los resultados también subrayan la importancia de las herramientas de evaluación en la configuración del comportamiento del modelo. Las ganancias de rendimiento estuvieron estrechamente ligadas a los entornos específicos utilizados para el entrenamiento y la prueba. Como se vio con Google Gemini 4 Neon, que tuvo un mejor desempeño dentro de su propia herramienta Antigravity, los modelos pueden optimizarse para marcos de prueba específicos. Los desarrolladores deben tener precaución al interpretar las puntuaciones de referencia, ya que pueden reflejar una adaptación específica a la herramienta en lugar de mejoras generales de capacidad.

Qué puedes hacer

  • Instrumenta tus flujos de trabajo de agentes para capturar fallos reproducibles en la llamada a herramientas y la recuperación de errores.
  • Prioriza la creación de conjuntos de datos pequeños y de alta calidad que apunten a los puntos débiles específicos identificados en la evaluación.
  • Considera usar mecanismos de recompensa basados en resultados como PivotRL en lugar de coincidencias estrictas de referencia para tareas agénticas.
  • Varía tus entornos de evaluación para evitar que tu modelo se ajuste excesivamente a una sola herramienta de prueba.
  • Explora la destilación multi-maestro para transferir capacidades especializadas de modelos específicos de dominio a tu agente de propósito general.
  • Revisa las mezclas de aprendizaje por refuerzo y las tuberías publicadas para entender las compensaciones entre diferentes métodos de posentrenamiento.
  • #nvidia
  • #reinforcement learning
  • #ai agents
  • #nemotron
  • #coding models

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos