Offene & lokale KI

Training von RL-Adaptern innerhalb von Agent-Harnesses steigert die Genauigkeit und senkt die Token-Kosten

Hugging Face zeigt, wie das Training von LoRA-Adaptern mit Reinforcement Learning direkt innerhalb von Agent-Harnesses die Leistung von Qwen3.8-27B bei Codierungsaufgaben verbessert und den Token-Verbrauch um die Hälfte reduziert.

Ein neuronales Netzwerk-Würfel, der mit drei verschiedenen mechanischen Getriebesystemen verbunden ist.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Hugging Face hat einen technischen Leitfaden veröffentlicht, der demonstriert, wie man benutzerdefinierte Reinforcement-Learning-Adapter für offene Modelle innerhalb spezifischer Agent-Harnesses trainiert. Die im November 2026 veröffentlichte Arbeit konzentriert sich auf die Optimierung des Modells Qwen3.8-27B für Software-Engineering-Aufgaben unter Verwendung dreier beliebter Harnesses: Pi, OpenCode und Hermes Agent.

Was passiert ist

Allgemeine große Sprachmodelle sind nicht vollständig für jedes spezifische Agent-Framework oder jede Aufgabenverteilung optimiert. Wenn Entwickler ein Basismodell mit einem bestimmten Harness kombinieren, lassen sie oft Leistungs- und Effizienzgewinne ungenutzt. Hugging Face hat dies angegangen, indem es Reinforcement Learning auf einer benutzerdefinierten Aufgabenverteilung mit spezifischen Agent-Harnesses kombiniert hat, um maßgeschneiderte Adapter zu erstellen, die mehr Fähigkeiten aus dem Modell für genau diese Kombinationen herausholen.

Das Team trainierte einen Low-Rank Adaptation (LoRA)-Adapter pro Harness für Qwen3.8-27B. Sie nutzten Reinforcement Learning innerhalb des Harness selbst, sodass das Modell aus den exakten Tokens lernte, die während echter Agent-Interaktionen erzeugt wurden. Die Ergebnisse zeigten erhebliche Verbesserungen. Zum Beispiel sprang die Punktzahl von Qwen3.8-27B im Terminal-Bench 2.1 mit dem Pi-Harness von 39 % auf 55 % pass@1. Noch wichtiger war, dass der durchschnittliche Token-Verbrauch pro Aufgabe von 2,9K auf 1,5K sank. Dieser Effizienzgewinn resultierte daraus, dass das Modell weniger schlussfolgerte, weniger Tools aufrief und beim ersten Versuch bessere Ergebnisse erzielte.

Um dies reproduzierbar zu machen, teilte Hugging Face ein vollständig wiederverwendbares Rezept. Alle Datensätze, Trainingskonfigurationen und Agent-Rollouts wurden auf dem Hub unter Verwendung von Jobs, TRLs AsyncGRPOTrainer, OpenEnv und Harbor ausgeführt. Die finalen Artefakte, einschließlich der Adapter und GGUF-Dateien, sind in einer öffentlichen Sammlung verfügbar, sodass Ingenieure dieselbe Methode auf ihre eigenen Aufgaben und Harnesses anwenden können.

Wie es funktioniert

Die Kerninnovation besteht darin, das Modell innerhalb des Agent-Harness zu trainieren, anstatt eine Neuimplementierung der Agent-Schleife zu verwenden. Die meisten Reinforcement-Learning-Frameworks erfordern, dass Agents gegen die eigene Schnittstelle des Frameworks geschrieben werden, was Diskrepanzen zwischen Training und Deployment verursachen kann. Bei diesem Ansatz läuft der Harness genau so, wie er ausgeliefert wird. Ein Proxy sitzt zwischen dem Harness und dem vLLM-Server und zeichnet die exakten Tokens auf, die vom Modell erzeugt werden. Der Trainer lernt dann aus diesen realen Interaktionen, wodurch sichergestellt wird, dass der Adapter auf die spezifischen Verhaltensweisen und Ausgabeformate dieses Harness optimiert wird.

Die Datenqualität wurde durch eine strenge Pipeline gewährleistet. Das Team kombinierte Aufgaben aus SWE-smith, SWE-Gym und Tasksmith und filterte sie mit openenv validate. Dieses Tool prüfte auf semantische Korrektheit und stellte sicher, dass Referenzlösungen maximale Belohnungen erhielten und dass Nichtstun niedriger bewertet wurde. Sie führten auch eine Schwierigkeitsprüfung durch und behielten nur Aufgaben, die das Basismodell manchmal, aber nicht immer löste. Dieser „qualifizierte“ Satz liefert das notwendige Lernsignal für Group Relative Policy Optimization (GRPO), da Aufgaben, die immer leicht oder immer schwer sind, keinen Gradienten für Verbesserungen bieten.

Für das Training wurde TRLs AsyncGRPOTrainer genutzt, der nicht wartet, bis alle Rollouts abgeschlossen sind, bevor er zum nächsten Optimierungsschritt übergeht. Dieser asynchrone Ansatz maximiert die Hardwareauslastung auf NVIDIA B200 GPUs. Die finale Reward-Funktion kombinierte die Verifier-Korrektheit mit einem kleinen Bonus für Tool-Effizienz, um das Modell dazu zu ermutigen, Probleme mit weniger Schritten zu lösen. Die Sicherheit wurde durch das safeagents-Plugin gewährleistet, das Fehlverhalten während des Trainings blockierte, wobei die Anzahl der blockierten Aufrufe konsistent abnahm, als sich das Modell verbesserte.

Wichtige Details

  • Modell und Harnesses: Die Studie konzentrierte sich auf Qwen3.8-27B, angepasst für Pi 1.5.2, OpenCode 2.2.7 und Hermes Agent v0.22.6.
  • Leistungssteigerungen: Der Adapter für den Pi-Harness verbesserte die Scores im Terminal-Bench 2.1 von 39 % auf 55 % pass@1.
  • Effizienzverbesserungen: Der durchschnittliche Token-Verbrauch pro Aufgabe sank von 2,9K auf 1,5K, getrieben durch reduzierte Schlussfolgerungsschritte und Tool-Aufrufe.
  • Trainingsmethode: Reinforcement Learning wurde innerhalb des Harness unter Verwendung von TRLs AsyncGRPOTrainer und OpenEnv durchgeführt, wobei ein Proxy die echten Token-Ausgaben erfasste.
  • Daten-Pipeline: 871 Aufgaben wurden aus SWE-smith, SWE-Gym und Tasksmith kuratiert, gefiltert nach Gültigkeit und qualifizierter Schwierigkeit, um ein effektives GRPO-Training zu gewährleisten.
  • Super-Adapter: Drei separate LoRA-Adapter wurden zu einem einzigen Super-Adapter mit Rang 96 zusammengeführt, der aufgrund der geringen Kosinusähnlichkeit zwischen den Gewichtsaktualisierungen eine hohe Genauigkeit über alle drei Harnesses hinweg beibehielt.

Warum es wichtig ist

Für Ingenieure, die AI-Agents entwickeln, bietet dieser Ansatz einen Weg zu erheblich niedrigeren Betriebskosten und höherer Zuverlässigkeit. Durch die Reduzierung des Token-Verbrauchs um fast die Hälfte können Organisationen leistungsfähigere Modelle wie Qwen3.8-27B bereitstellen, ohne prohibitiv hohe Inferenzrechnungen zu verursachen. Die Verbesserung der Erfolgsquoten beim ersten Versuch reduziert zudem die Latenz, was zu reibungsloseren Benutzererlebnissen bei Coding-Assistenten und autonomen Agents führt. Dies ist besonders relevant für Teams, die offene Modelle nutzen und mit der Effizienz proprietärer, Closed-Source-Alternativen konkurrieren müssen.

Die Methodik entmystifiziert zudem den Prozess der Ausrichtung offener Modelle auf spezifische Tooling-Umgebungen. Durch die Bereitstellung eines wiederverwendbaren Rezepts und die Offenlegung der Artefakte senkt Hugging Face die Einstiegshürde für die benutzerdefinierte Modelloptimierung. Entwickler müssen sich nicht mehr ausschließlich auf allgemeine Fine-Tuning-Verfahren verlassen; sie können Modelle nun auf ihren spezifischen Stack zuschneiden, sei es für Datenanalyse, Code-Erstellung oder komplexe Software-Engineering-Workflows. Diese Verschiebung hin zur harness-spezifischen Optimierung könnte zum Standardverfahren für produktionsreife AI-Agents werden.

Was Sie tun können

  • Erkunden Sie die Hugging Face-Sammlung mit den trainierten Adaptern, GGUFs und RL-Aufgaben, um die Struktur der Artefakte zu verstehen.
  • Nutzen Sie die bereitgestellten Docker-Images mit vorinstallierten Harnesses (Pi, OpenCode, Hermes), um die Trainingsumgebung lokal oder auf dem Hub zu replizieren.
  • Wenden Sie das Tool openenv validate auf Ihre eigenen benutzerdefinierten Aufgaben an, um vor dem Training auf semantische Korrektheit und angemessene Schwierigkeit zu filtern.
  • Implementieren Sie TRLs AsyncGRPOTrainer in Ihren Workflow, um asynchrone Rollout-Verarbeitung zu ermöglichen und die Trainingseffizienz auf Multi-GPU-Setups zu verbessern.
  • Erwägen Sie das Zusammenführen mehrerer harness-spezifischer LoRA-Adapter, wenn Sie mehrere Agent-Frameworks unterstützen, und nutzen Sie dabei die geringe Interferenz zwischen orthogonalen Gewichtsaktualisierungen.
  • Integrieren Sie das safeagents-Plugin mit Ihren eigenen Regex- und Musterregeln, um Fehlverhalten des Modells während der Reinforcement-Learning-Phase zu verhindern.
  • #reinforcement learning
  • #agent harnesses
  • #llm optimization
  • #hugging face
  • #qwen
  • #lora

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel