Nutzung des Datenbankzustands als Belohnungssignal für das Agenten-Training

Microsoft und Hugging Face haben ThinkingBox-Training veröffentlicht, ein Open-Source-Framework, das den endgültigen Zustand einer Datenbank nutzt, um KI-Agenten zu bewerten und zu trainieren. Das im Oktober 2026 veröffentlichte Projekt demonstriert, wie ausführbare Prüfungen präzise Belohnungssignale für das Reinforcement Learning liefern können, wodurch die Verlässlichkeit der Agenten erheblich gesteigert wird, ohne dass menschlich gelabelte Daten erforderlich sind.

Was passiert ist

Die Teams entwickelten ThinkingBox, um einen häufigen Fehlermodus bei autonomen Agenten zu beheben: Modelle, die behaupten, eine Aufgabe sei abgeschlossen, während sie die zugrunde liegende Datenbank in einem falschen Zustand hinterlassen. In ihrem ersten Benchmark, ThinkingBox-Bench, evaluierten sie achtzehn Modelle über 507 Aufgaben hinweg, die echte Backends involvierten. Sie stellten fest, dass hohe durchschnittliche Erfolgsraten oft eine schlechte Konsistenz verschleierten. Beispielsweise löste Kimi-K3 93,89 % der Aufgaben mindestens einmal, erreichte aber nur bei 13,41 % davon perfekte Konsistenz. Diese Lücke verdeutlichte, dass Schlagzeilen-Accuracy-Metriken wie pass@1 die Produktionsreife nicht zuverlässig vorhersagen, wo wiederholte Korrektheit entscheidend ist.

Um dies zu verbessern, nutzten die Forscher denselben ausführbaren Bewertungsmechanismus aus dem Benchmark als Belohnungsfunktion für das Post-Training. Sie wählten einen Pool von Aufgaben außerhalb des Benchmark-Datensatzes aus und feintunten das Modell Qwen3.8-27B unter Verwendung von Group Relative Policy Optimization (GRPO) über 50 Schritte. Das Training konzentrierte sich auf die „offline policy-relative difficulty“, was bedeutet, dass sie Aufgaben vorab auswählten, die weder zu einfach noch unmöglich für das Basismodel waren, um sicherzustellen, dass das Lernsignal genug Kontrast enthielt. Das Ergebnis war ein steiler Anstieg der wiederholbaren Erfolge, wobei die Anzahl der Aufgaben, die in allen zwanzig Versuchen korrekt gelöst wurden, von 38 auf 107 anstieg.

Wie es funktioniert

ThinkingBox evaluiert Agenten, indem es für jede Aufgabe ein echtes Backend und eine Reihe von Model Context Protocol (MCP)-Tools bereitstellt. Anstatt zu prüfen, ob der Agent bestimmte Funktionen aufgerufen hat, inspiziert das System den Endzustand der Datenbank, nachdem der Agent fertig ist. Wenn die Datensätze dem erwarteten Ergebnis entsprechen, erhält der Agent eine Belohnung von 1; andernfalls erhält er 0. Diese Methode motiviert das Modell, jeden gültigen Lösungsweg zu finden, anstatt eine spezifische, menschengedefinierte Sequenz von Tool-Aufrufen nachzuahmen.

Für das Training wandte das Team eine Technik namens offline policy-relative difficulty selection an. Vor Beginn des Trainings führten sie Kandidaten-Aufgaben gegen das Basis-Qwen3.8-27B-Modell aus, um Erfolgswahrscheinlichkeiten zu schätzen. Sie behielten nur Aufgaben, die gemischte Ergebnisse lieferten – einige Erfolge und einige Misserfolge –, da GRPO Varianz innerhalb einer Gruppe von Rollouts benötigt, um zu lernen. Wenn jeder Versuch in einer Gruppe scheitert oder erfolgreich ist, ist das relative Belohnungssignal null, was keinen Gradienten für Verbesserungen liefert. Dieser feste Pool von 187 Aufgaben wurde dann für 50 Schritte des Full-Parameter-RL-Feintunings auf 24 H100-GPUs verwendet.

Wichtige Details

• Modellverbesserung: Qwen3.8-27B sah seinen pass@1-Score nach 50 GRPO-Schritten von 51,70 % auf 60,78 % steigen.
• Konsistenzgewinn: Die Anzahl der Aufgaben, die in allen 20 Versuchen bestanden wurden, stieg von 38 (7,50 %) auf 107 (21,10 %), was die Verlässlichkeit nahezu verdreifacht.
• Kosteneffizienz: Die geschätzten Kosten pro verlässlicher Aufgabe sanken um 67,2 %, von $24,36 auf $8,00, da höhere Erfolgsraten unnötige Wiederholungen reduzierten.
• Benchmark-Isolation: Die 507 Aufgaben in ThinkingBox-Bench waren strikt für die Evaluation reserviert und wurden nicht in den Trainingspool aufgenommen.
• Trade-off: Während die Wiederholbarkeit verbessert wurde, ging die pass@20-Metrik (Aufgaben, die mindestens einmal gelöst wurden) leicht von 89,35 % auf 87,97 % zurück, was darauf hindeutet, dass das Modell konservativer wurde.
• Infrastruktur: Das Training verwendete token-mean GRPO mit 18 Gruppen von 8 Rollouts pro Update und behandelte Systemfehler durch Nachfüllen der Gruppen, anstatt den Agenten zu bestrafen.

Warum es wichtig ist

Für Ingenieure, die agentische Workflows bauen, unterstreicht diese Arbeit, dass die durchschnittliche Genauigkeit eine irreführende Metrik für Produktionssysteme ist. Ein Modell, das die richtige Antwort 90 % der Zeit liefert, aber bei kritischen Edge Cases katastrophal versagt, ist oft weniger nützlich als ein etwas weniger genaues Modell, das konsistent zuverlässig ist. Durch die Verlagerung des Fokus auf „observed 20/20“-Erfolgsraten können Entwickler besser einschätzen, ob ein Agent bereit ist, sensible Operationen wie Finanztransaktionen oder Bestandsaktualisierungen ohne ständige menschliche Aufsicht zu handhaben.

Der Ansatz bietet auch einen praktischen Weg, Open-Weight-Modelle ohne teure menschliche Annotation zu verbessern. Die Nutzung von ausführbarem Code und Datenbankzuständen als Ground Truth ermöglicht skalierbares, automatisiertes Reward Modeling. Dies bedeutet, dass Teams kleinere, kosteneffektive Modelle wie Qwen3.8-27B so feintunen können, dass sie bei spezifischen, klar definierten Aufgaben vergleichbar mit größeren proprietären Modellen performen, was potenziell die Inferenzkosten senkt, während hohe Zuverlässigkeitsstandards gewahrt bleiben.

Was Sie tun können

• Evaluieren Sie Ihre aktuellen Agenten anhand zustandsbasierter Prüfungen statt nur durch Textausgabe-Matching, um stille Fehler zu erkennen.
• Erwägen Sie das Feintuning von Open-Weight-Modellen mit GRPO, wenn Sie eine deterministische Möglichkeit haben, die Aufgabenerfüllung zu verifizieren, wie z. B. Datenbankabfragen oder API-Statusprüfungen.
• Filtern Sie Trainingsaufgaben nach Schwierigkeit relativ zu Ihrem Basismodell, um sicherzustellen, dass das Reinforcement-Learning-Signal genügend Varianz für das Lernen enthält.
• Überwachen Sie sowohl pass@1- als auch Konsistenzmetriken (wie pass@20 oder observed 20/20), um ein vollständiges Bild der Agenten-Zuverlässigkeit zu erhalten.
• Nutzen Sie isolierte Backends für Tests, um zu verhindern, dass Agenten Produktionsdaten während der Evaluations- und Trainingsphasen beeinflussen.
• Erkunden Sie das ThinkingBox-Training-Repository auf GitHub, um ähnliche ausführbare Belohnungsschleifen für Ihre domänenspezifischen Aufgaben zu implementieren.