Mit KI entwickeln

Post-Training von Nemotron 3.5 Super VL für wissenschaftliche Genauigkeit mit RL

NVIDIA hat eine Anleitung veröffentlicht, um Nemotron 3.5 Super VL mittels Reinforcement Learning und Distillation anzupassen. Dies steigerte die Genauigkeit bei der Vorhersage des Medikamentenstoffwechsels um 29 %.

Illustration der wissenschaftlichen KI-Modellierung mit Molekülstrukturen und Code
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

NVIDIA hat einen technischen Leitfaden veröffentlicht, der detailliert beschreibt, wie das offene multimodale Modell Nemotron 3.5 Super VL für spezialisierte wissenschaftliche Workflows angepasst werden kann. Der am 16. November 2026 veröffentlichte Leitfaden zeigt, wie Forscher durch Reinforcement Learning und Knowledge Distillation die Modellgenauigkeit in Bereichen wie der Computational Chemistry erheblich verbessern können.

Der Ansatz zielt auf agentische KI-Systeme ab, die komplexe wissenschaftliche Aufgaben planen und ausführen. Er adressiert den kritischen Bedarf an höherer Präzision und geringerer Latenz in Forschungsumgebungen, in denen sich Fehler über autonome Iterationen hinweg schnell summieren können.

Was passiert ist

Das NVIDIA Technical Blog skizzierte ein praktisches Rezept für das Post-Training von Nemotron 3.5 Super VL, einem offenen und anpassbaren multimodalen Modell, das für wissenschaftliche Benchmarks entwickelt wurde. Der Leitfaden konzentriert sich darauf, das Modell für spezifische Forschungsdomänen anzupassen, indem eigene Reinforcement-Learning-Umgebungen aus experimentellen Daten erstellt werden. Dieser Prozess nutzt NVIDIA NeMo Gym für die Infrastruktur der Umgebung und NVIDIA NeMo RL für das Post-Training-Framework.

Zur Validierung der Methode nutzte das Team die Vorhersage des Medikamentenstoffwechsels als Fallstudie. Dabei wurden Datensätze aus MetxBioDB verwendet, einer Datenbank mit experimentell bestätigten Biotransformationsreaktionen. Das Ziel war es, das resultierende Metabolit vorherzusagen, wenn ein Ausgangsstoff (Parent Compound) und sein transformierendes Enzym gegeben sind. Die Ergebnisse zeigten, dass Supervised Fine-Tuning die Genauigkeit um 12 % verbesserte, während anschließendes Reinforcement-Learning-Post-Training sie bei einem Ausgabe-Budget von 16.384 Tokens um weitere 17 % steigerte.

Der Leitfaden stellt zudem den Nemotron RL Litmus-Bench V2.0 vor, einen Open-Source-Datensatz und Benchmark, der dazu dient, große Sprachmodelle und agentische KI im Hinblick auf molekulare Eigenschaften zu trainieren und zu bewerten. Dieser Benchmark unterstützt die Entwicklung von Modellen, die längere, komplexere und visuelle wissenschaftliche Workflows mit größerer Zuverlässigkeit bewältigen können.

Wie es funktioniert

Der Kernmechanismus besteht darin, eine Reinforcement-Learning-Umgebung mit verifizierbaren Belohnungen (RLVR) zu erstellen. Forscher beginnen mit einer CSV-Datei von Experimentaldaten, wie etwa Simplified Molecular Input Line Entry System (SMILES)-Strings, die Molekülstrukturen beschreiben. Diese Eingabe-Ausgabe-Paare werden in Prompt-Response-Formate umgewandelt, wobei der experimentelle Ground Truth als Verifizierer dient. Dieses Setup eliminiert die Notwendigkeit menschlicher Präferenzbeschriftungen, da das Belohnungssignal direkt aus den Daten abgeleitet wird.

Im Beispiel des Medikamentenstoffwechsels erhält das Modell das Ausgangsmolekül und das Enzym und sagt dann das Metabolit voraus. Ein Verifizierer vergleicht den vorhergesagten molekularen Fingerabdruck unter Verwendung der Tanimoto-Ähnlichkeit mit dem Referenzwert – einer Metrik, die die Überlappung zwischen zwei Mengen misst. Der Score reicht von 0 bis 1, wobei höhere Werte eine größere strukturelle Ähnlichkeit anzeigen. Dieses dichte Belohnungssignal steuert das Modell während des Trainings via Group Relative Policy Optimization (GRPO) mit Low Rank Adapters (LoRA).

Ein optionaler Distillationsschritt kann dem Reinforcement Learning vorausgehen, um die Konvergenz zu beschleunigen. Ein stärkeres Teacher-Modell, wie Claude Sonnet 5.5, generiert hochwertige Reasoning-Traces für dieselben Aufgaben. Diese Traces werden basierend auf ihrer Genauigkeit gefiltert, wobei nur jene behalten werden, bei denen die Logik des Teachers zu einer korrekten Vorhersage führt. Dieser „Warm-Start“ bietet dem Student-Modell einen besseren Ausgangspunkt, was das nachfolgende RL-Training effizienter macht und die Wahrscheinlichkeit erhöht, eine starke Policy zu finden.

Wichtige Details

  • Nemotron 3.5 Super VL ist ein offenes, anpassbares multimodales Modell, das für wissenschaftliches Coding und Benchmarks optimiert ist.
  • Supervised Fine-Tuning verbesserte die Genauigkeit um 12 %, Reinforcement Learning brachte einen weiteren Zugewinn von 17 % bei der Vorhersage des Medikamentenstoffwechsels.
  • Der Datensatz Nemotron RL Litmus-Bench V2.0 evaluiert LLMs und agentische KI im Hinblick auf molekulare Eigenschaften.
  • Die Distillation nutzt Claude Sonnet 5.5 zur Generierung von Reasoning-Traces, wobei 1.123 hochwertige Beispiele aus 1.934 Prompts gefiltert wurden.
  • Die RL-Umgebung verwendet die Tanimoto-Ähnlichkeit, um Vorhersagen gegen den Ground Truth ohne menschliche Beschriftung zu bewerten.
  • Das Training nutzt GRPO mit LoRA und wird durch NeMo Gym für die Erstellung der Umgebung sowie NeMo RL für das Post-Training unterstützt.

Warum es wichtig ist

Für Ingenieure, die wissenschaftliche KI-Agenten entwickeln, bietet dieser Leitfaden einen konkreten Weg, die Fehlerfortpflanzung in autonomen Workflows zu reduzieren. Wenn Agenten längere und komplexere Aufgaben übernehmen, können kleine Ungenauigkeiten in frühen Schritten später zu erheblichen Fehlern führen. Durch das Post-Training von Modellen auf domänenspezifischen Daten mit verifizierbaren Belohnungen können Entwickler eine höhere Treue bei kritischen Vorhersagen sicherstellen, wie etwa bei Molekülstrukturen oder Reaktionsausgängen.

Die Fähigkeit, offene Modelle wie Nemotron 3.5 Super VL anzupassen, adressiert auch Kosten- und Latenzbedenken. Genauigkeit auf Frontier-Niveau wird oft mit massiven, geschlossenen Modellen assoziiert, deren Betrieb teuer ist. Dieses Rezept ermöglicht es Teams, vergleichbare Leistung bei spezialisierten Aufgaben mit einem anpassbaren Modell zu erzielen, was potenziell die Inferenzkosten senkt und die Time-to-Solution für wissenschaftliche Coding-Aufgaben verbessert.

Darüber hinaus bietet die Einbeziehung der Distillation von stärkeren Teacher-Modellen eine Strategie, um Cold-Start-Probleme im Reinforcement Learning zu überwinden. Wenn Basismodelle nicht über ausreichende Fähigkeiten verfügen oder die RL-Konvergenz langsam ist, kann ein Warm-Start mit hochwertigen Reasoning-Traces die Leistungsobergrenze erhöhen. Dies macht den Trainingsprozess robuster und zugänglicher für Domänen, in denen Daten knapp oder teuer in der Generierung sind.

Was Sie tun können

  • Erkunden Sie das NeMo Gym Repository, um eine eigene RL-Umgebung aus Ihren experimentellen Daten zu erstellen.
  • Nutzen Sie das NeMo RL Repository, um Reinforcement-Learning-Post-Training auf Ihre spezifischen wissenschaftlichen Modelle anzuwenden.
  • Implementieren Sie das bereitgestellte Rezept, um eine Verifikationsschicht unter Verwendung von Tools wie Chemoinformatik-Bibliotheken oder Molekülsimulatoren zu erstellen.
  • Erwägen Sie die Nutzung von Distillation von einem stärkeren Teacher-Modell, um hochwertige Reasoning-Traces zu generieren, bevor Sie mit dem RL-Training beginnen.
  • Bewerten Sie Ihr angepasstes Modell unter Verwendung des Nemotron RL Litmus-Bench V2.0, um die Leistung bei molekularen Eigenschaften zu benchmarken.
  • Passen Sie die bereitgestellten Skripte zur Konvertierung von CSV in JSONL an, um Ihre domänenspezifischen Daten für die Verwendung in der NeMo Gym Umgebung zu formatieren.
  • #nvidia
  • #reinforcement learning
  • #scientific ai
  • #nemotron
  • #post-training

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel