Gelerntes Gedächtnis steigert die Zuverlässigkeit von Agenten ohne Fine-Tuning

Ein neuer Ansatz namens ALTK-Evolve hat gezeigt, dass Software-Agenten Spitzenleistungen in komplexen Kundenservice-Benchmarks erzielen können, ohne Modellgewichte zu aktualisieren. Durch das automatische Generieren und Anhängen von Verhaltensrichtlinien an System-Prompts ermöglicht diese Methode älteren Modellen wie GPT-4.1, spezialisierte, feinabgestimmte Systeme auf der τ²-bench-Einzelhandels-Rangliste per Oktober 2026 zu übertreffen.

Was passiert ist

Forscher testeten eine Technik, bei der ein Agent seine eigenen früheren Erfolge und Misserfolge analysiert, um eine Reihe kurzer, handlungsorientierter Regeln zu erstellen. Diese Regeln werden anschließend dem System-Prompt des Agenten für zukünftige Interaktionen hinzugefügt. Mit dieser Methode erzielte ein grundlegender ReAct-Agent mit GPT-4.1 einen Pass^4-Score von 67,5 % im τ²-bench-Einzelhandelsbereich. Diese Metrik zeigt an, dass der Agent die Aufgabe in allen vier unabhängigen Versuchen bei 67,5 % der Fälle korrekt löste. Dieses Ergebnis platzierte ihn über jedem anderen Eintrag im Einzelhandel in der Ranglisten-Momentaufnahme vom 12. Oktober 2026, einschließlich RAFT-30B-A3B, einem Modell, das speziell mit synthetischen Daten für diesen Benchmark feinabgestimmt wurde.

Die Bewertung nutzte das τ²-bench-Framework, das realistische Kundenservice-Szenarien simuliert. In diesen Tests interagiert ein Agent mit einem durch LLM simulierten Kunden, der spezifische Ziele und Einschränkungen hat. Der Agent muss Domänentools verwenden, wie z. B. die Suche nach Bestellungen oder die Ausstellung von Rückerstattungen, während er sich strikt an schriftliche Policy-Dokumente hält. Der Erfolg wird daran gemessen, ob der endgültige Datenbankzustand dem erwarteten Ergebnis entspricht – eine strenge binäre Belohnung, die keinen Raum für Teilpunkte lässt. Die Forscher wandten diese Methode sowohl auf den Einzelhandels- als auch auf den Luftfahrtbereich an und verwendeten GPT-4.1 und GPT-5.5 als zugrunde liegende Agentenmodelle.

Der Prozess erfordert keine menschliche Annotation oder Gewichtsaktualisierungen. Dasselbe Modell, das den Agenten antreibt, extrahiert auch die Richtlinien aus den Trainingsverläufen. Wenn der Agent beispielsweise häufig versäumt, Benutzer vor einer Aktion zu authentifizieren, generiert er eine Regel, die Authentifizierung zuerst verlangt. Diese Richtlinien werden in eine einfache Markdown-Liste destilliert und an den System-Prompt angehängt. Die Studie ergab, dass dieser Ansatz sowohl die durchschnittliche Genauigkeit als auch die Zuverlässigkeit über verschiedene Modellgrößen und Domänen hinweg verbesserte und bewies, dass Prompt-Level-Gedächtnis mit den Vorteilen des Fine-Tunings konkurrieren oder sie sogar übertreffen kann.

Wie es funktioniert

ALTK-Evolve arbeitet, indem der Agent auf einer Reihe von Trainingaufgaben ausgeführt und die resultierenden Verläufe analysiert werden. Es identifiziert Muster in erfolgreichen und fehlgeschlagenen Versuchen und destilliert sie in prägnante Verhaltensregeln. Eine Regel könnte beispielsweise lauten: „Bestätigen Sie alle beabsichtigten Änderungen immer mit einer klaren Zusammenfassung, bevor Sie eine datenbankändernde Aktion ausführen.“ Diese Richtlinien erhalten eine Support-Anzahl, die widerspiegelt, wie viele unterschiedliche Trainingaufgaben zu ihrer Erstellung beigetragen haben. Ein höherer Support deutet darauf hin, dass eine Regel besser generalisierbar ist.

Während der Inferenz werden diese Richtlinien zusammen mit der Domänen-Policy in den System-Prompt injiziert. Die Forscher testeten drei Konfigurationen: eine Baseline ohne Richtlinien, eine „sup3“-Konfiguration, die nur hochzuverlässige Regeln mit einem Support von drei oder mehr behält, und eine „lossless“-Konfiguration, die alle beibehaltenen Richtlinien einschließt. Der Agent folgt dann diesen Anweisungen während seiner THINK → ACT-Schleife. Da die Richtlinien Teil des Prompts sind, beeinflussen sie die Schlussfolgerungen des Modells, ohne seine internen Gewichte zu verändern. Dies ermöglicht es demselben Basismodell, sich einfach durch Austausch des Richtliniensatzes an verschiedene Domänen anzupassen.

Wichtige Details

• Leistungssteigerung: GPT-4.1 mit verlustfreien Richtlinien erreichte 67,5 % Pass^4 bei Einzelhandelsaufgaben, eine Steigerung von 10 Punkten gegenüber der Baseline.
• Kostenauswirkung: Die Kosten für Eingabe-Token stiegen bei Einzelhandelsaufgaben um bis zu 65 % aufgrund längerer Prompts, aber die Anzahl der Gesprächsrunden sank leicht, was die Latenz reduzierte.
• Domänenspezifität: Einzelhandelsaufgaben profitierten am meisten vom vollständigen verlustfreien Satz von 292 Richtlinien, während Luftfahrtaufgaben eine höhere Zuverlässigkeit mit einem kompakten Kern von 14 Regeln mit hohem Support zeigten.
• Boost für Frontier-Modelle: Die Anwendung derselben Technik auf GPT-5.5 erhöhte dessen Pass^4-Score im Luftfahrtbereich von 55,0 % auf 70,0 %, was zeigt, dass die Methode mit der Modellfähigkeit skaliert.
• Kein Fine-Tuning: Der Ansatz verlässt sich vollständig auf Prompt-Engineering und Selbstreflexion und vermeidet die hohen Rechenkosten und die Fragilität von Gewichtsaktualisierungen.
• Strenge Metriken: Pass^4 misst die Zuverlässigkeit, indem Erfolg in allen vier Versuchen pro Aufgabe erforderlich ist, was sicherstellt, dass der Agent konsistent und nicht nur gelegentlich korrekt ist.

Warum es wichtig ist

Für Ingenieure, die Produktionsagenten entwickeln, hebt diese Arbeit eine praktikable Alternative zum Fine-Tuning hervor. Fine-Tuning ist oft teuer, erfordert große Datensätze und kann zu katastrophalem Vergessen oder schlechter Übertragung auf neue Domänen führen. ALTK-Evolve demonstriert, dass vergleichbare oder bessere Ergebnisse erzielt werden können, indem die eigene Erfahrung des Modells durch Prompt-Augmentation genutzt wird. Dies ist besonders wertvoll für Domänen mit strengen Policies, wie Kundenservice oder Gesundheitswesen, wo die Einhaltung von Regeln kritisch ist und Fehler kostspielig sind.

Der Kompromiss zwischen Kosten und Leistung ist ebenfalls günstig. Während die größeren Prompts die Nutzung von Eingabe-Token erhöhen, bedeutet die Reduzierung der Gesprächsrunden eine geringere End-to-End-Latenz. In einer realen Umgebung kann Prompt-Caching die Eingabekosten mindern, da der Richtlinienblock über Aufrufe hinweg statisch bleibt. Dies ermöglicht es Teams, zuverlässigere Agenten unter Verwendung älterer, günstigerer Modelle wie GPT-4.1 bereitzustellen, anstatt ständig den neuesten Frontier-Modellen hinterherzujagen, um marginale Gewinne zu erzielen.

Was Sie tun können

• Implementieren Sie einen Feedback-Loop, bei dem Ihr Agent erfolgreiche und fehlgeschlagene Verläufe zur Analyse protokolliert.
• Verwenden Sie ein LLM, um diese Protokolle in prägnante, handlungsorientierte Richtlinien zu destillieren, die als Markdown-Listen formatiert sind.
• Hängen Sie diese Richtlinien an Ihren System-Prompt an und experimentieren Sie mit Filtern nach Support-Anzahl, um Kürze und Abdeckung auszubalancieren.
• Messen Sie die Zuverlässigkeit anhand strenger Metriken wie Pass^N, nicht nur der durchschnittlichen Genauigkeit, um konsistente Leistung sicherzustellen.
• Überwachen Sie Token-Kosten und Gesprächslänge, um zu überprüfen, dass die verbesserte Genauigkeit nicht auf Kosten übermäßiger Latenz geht.
• Testen Sie den Ansatz in verschiedenen Domänen, um die optimale Dichte der Richtlinien für jeden spezifischen Anwendungsfall zu bestimmen.