Offene & lokale KI

Nvidia steigert Nemotron-Coding-Scores durch gezieltes Reinforcement Learning

Nvidia nutzte 20.000 synthetische Trainingsbeispiele und PivotRL, um die agentischen Coding-Fähigkeiten von Nemotron 3 Ultra zu verbessern und den Terminal-Bench-Score erheblich zu steigern.

Eine konzeptionelle Illustration der Reparatur von KI-Modellen mithilfe gezielter Tools.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Nvidia hat die Coding-Leistung seiner Open-Weight-KI-Modelle deutlich verbessert, indem es spezifische Agentenfehler mit einem kleinen, hochwertigen Datensatz gezielt angegangen ist. Unter Verwendung einer spezialisierten Harness-Lösung von Factory generierte das Team etwa 20.000 Trainingsbeispiele, um Nemotron 3 Ultra, ein im Juni 2026 veröffentlichtes Modell mit 550 Milliarden Parametern, zu verfeinern. Dieser fokussierte Post-Training-Aufwand führte zu einem bemerkenswerten Anstieg der Benchmark-Ergebnisse für agentische Coding-Aufgaben.

Was passiert ist

Nvidia arbeitete mit Factory zusammen, um wiederkehrende Probleme bei der Verarbeitung komplexer Coding-Anweisungen durch Nemotron 3 Ultra zu beheben. Das Team setzte die Droid-Coding-Agent-Harness von Factory in einem air-gapped Netzwerk ein, um reproduzierbare Fehler zu instrumentieren und zu erfassen. Diese Fehler betrafen hauptsächlich die Befolgung von Anweisungen, Tool-Aufrufe und die Fehlerbehandlung bei mehrstufigen Aufgaben. Durch die Isolierung dieser spezifischen Ausfälle konnte Nvidia einen gezielten Datensatz zur Modellverbesserung erstellen, anstatt sich auf breite, ungefilterte Daten zu verlassen.

Das Unternehmen wandte eine als PivotRL bezeichnete Methode des Reinforcement Learnings auf diesen neuen Datensatz an. PivotRL, eingeführt im März 2026, trainiert Modelle auf kritischen Entscheidungen innerhalb bestehender Supervised-Fine-Tuning-Trajektorien. Dieser Ansatz vermeidet die hohen Rechenkosten vollständiger Multi-Turn-Rollouts, verbessert aber dennoch die Genauigkeit der Entscheidungsfindung. Nach Anwendung dieser Technik übergab Nvidia aktualisierte Modell-Checkpoints an Factory zur Bewertung, um sicherzustellen, dass die Verbesserungen in realen Agenten-Szenarien messbar waren.

Um zu verhindern, dass das Modell auf die spezifische Testumgebung überlernt (Overfitting), variierte Nvidia die Droid-Konfiguration und integrierte Daten aus mehreren anderen Agenten-Umgebungen. Die finale Trainings-Pipeline kombinierte Reinforcement Learning mit verifizierbaren Belohnungen, menschlichem Feedback und Multi-Teacher-On-Policy-Distillation. Dieser mehrstufige Prozess ermöglichte es, Fähigkeiten von Lehrermodellen, die in verschiedenen technischen Domänen trainiert wurden, effektiv auf das Schülermodell, Nemotron 3 Ultra, zu übertragen.

Wie es funktioniert

PivotRL unterscheidet sich vom Standard-Reinforcement-Learning dadurch, dass es sich auf das Ergebnis einer Aktion konzentriert und nicht auf deren Ähnlichkeit mit einem Referenzbeispiel. Beim traditionellen Supervised Fine-Tuning wird ein Modell bestraft, wenn seine Ausgabe nicht exakt mit einer goldenen Antwort übereinstimmt. PivotRL bewertet hingegen, ob die Aktion das beabsichtigte Ziel erreicht hat, was für agentische Aufgaben entscheidend ist, bei denen mehrere gültige Pfade existieren können. Diese Methode erzielte eine vergleichbare Genauigkeit wie End-to-End-Reinforcement-Learning, benötigte jedoch nur ein Viertel der Rollout-Turns, was sie weitaus effizienter macht.

Der Trainingsprozess nutzte zudem Multi-Teacher-On-Policy-Distillation. Diese Technik überträgt Wissen von mehreren spezialisierten Lehrermodellen auf das einzelne Schülermodell. Durch die Mischung von Erkenntnissen aus Modellen, die auf unterschiedlichen technischen Domänen trainiert wurden, stellte Nvidia sicher, dass Nemotron 3 Ultra besser auf verschiedene Arten von Coding-Aufgaben generalisieren kann. Das Unternehmen veröffentlichte seine Reinforcement-Learning-Mischungen und Anweisungen zur Reproduktion der Pipeline auf GB200-NVL72-Hardware, damit andere die Ergebnisse überprüfen können.

Wichtige Details

  • Nvidia generierte ungefähr 20.000 Zeilen Post-Training-Daten unter Verwendung der Droid-Harness von Factory.
  • Der Terminal-Bench-2.0-Score von Nemotron 3 Ultra stieg nach dem Post-Training von 38,5 % auf 49 %.
  • Ein vorläufiger Checkpoint von Nemotron 3.5 Super VL verbesserte sich beim Terminal-Bench 2.1 von 52,11 % auf 60,4 %.
  • PivotRL übertraf das Standard-Supervised-Fine-Tuning in vier agentischen Domänen durchschnittlich um 4,17 %.
  • Die Trainings-Pipeline umfasste Daten von OpenCode, Codex und einer Umgebung, die als agent006 identifiziert wurde.
  • Factory hat keine Ablationsstudie veröffentlicht, die seinen spezifischen Beitrag zu den Benchmark-Gewinnen isoliert.

Warum das wichtig ist

Für Ingenieure, die KI-Agenten entwickeln, verdeutlicht dieser Fall die abnehmenden Renditen bei der Skalierung des Datenvolumens ohne Verbesserung der Datenqualität. Anstatt Modelle mit Milliarden generischer Tokens zu füttern, zeigte Nvidia, dass eine kleine Menge von 20.000 sorgfältig kuratierten Beispielen, die auf spezifische Fehlermodi abzielen, erhebliche Leistungssteigerungen bringen kann. Dies deutet darauf hin, dass zukünftige Verbesserungen im Bereich agentischer KI stärker von präziser Fehleranalyse und gezieltem Reinforcement Learning abhängen werden als von Brute-Force-Pre-Training.

Die Ergebnisse unterstreichen auch die Bedeutung von Evaluierungs-Harnesses bei der Formung des Modellverhaltens. Die Leistungssteigerungen waren eng mit den spezifischen Umgebungen verbunden, die für Training und Tests verwendet wurden. Wie bei Googles Gemini 4 Neon, das innerhalb seiner eigenen Antigravity-Harness bessere Leistungen erbrachte, können Modelle auf bestimmte Testframeworks optimiert werden. Entwickler müssen bei der Interpretation von Benchmark-Scores vorsichtig sein, da diese möglicherweise eine harness-spezifische Anpassung widerspiegeln und nicht allgemeine Fähigkeitsverbesserungen.

Was Sie tun können

  • Instrumentieren Sie Ihre Agenten-Workflows, um reproduzierbare Fehler bei Tool-Aufrufen und der Fehlerbehandlung zu erfassen.
  • Priorisieren Sie die Erstellung kleiner, hochwertiger Datensätze, die auf spezifische Schwachstellen abzielen, die in der Evaluation identifiziert wurden.
  • Erwägen Sie die Verwendung ergebnisbasierter Belohnungsmechanismen wie PivotRL anstelle strikter Referenzabgleiche für agentische Aufgaben.
  • Variieren Sie Ihre Evaluierungsumgebungen, um zu verhindern, dass Ihr Modell auf eine einzelne Test-Harness überlernt.
  • Erkunden Sie Multi-Teacher-Distillation, um spezialisierte Fähigkeiten aus domänenspezifischen Modellen auf Ihren Generalisten-Agenten zu übertragen.
  • Prüfen Sie veröffentlichte Reinforcement-Learning-Mischungen und Pipelines, um die Kompromisse zwischen verschiedenen Post-Training-Methoden zu verstehen.
  • #nvidia
  • #reinforcement learning
  • #ai agents
  • #nemotron
  • #coding models

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel