Senkung der Kosten für agentische KI durch sequenzbasierte Wissensdistillation auf SageMaker

Amazon Web Services hat einen technischen Leitfaden veröffentlicht, der zeigt, wie sich die Betriebskosten von Anwendungen mit agentischer KI durch sequenzbasierte Wissensdistillation reduzieren lassen. Der im November 2026 veröffentlichte Leitfaden skizziert einen Workflow auf Amazon SageMaker AI, bei dem ein großes Frontier-Modell ein kleineres, effizienteres Modell dazu bringt, komplexe mehrstufige Aufgaben auszuführen. Dieser Ansatz adressiert die steigenden Kosten von Agentenschleifen, indem er Reasoning-Fähigkeiten auf Modelle überträgt, die schneller und günstiger gehostet werden können.

Was passiert ist

Agentische Anwendungen unterscheiden sich von standardmäßigen Chatbots, da sie in Schleifen arbeiten. Eine einzelne Nutzeranfrage, etwa das Finden eines bestimmten Produkts unter bestimmten Einschränkungen, löst eine Abfolge von Aktionen aus: Durchsuchen eines Katalogs, Lesen der Ergebnisse, Verfeinern der Suchanfragen, Überprüfen der Einschränkungen und Aussprechen einer abschließenden Empfehlung. Jeder Schritt in dieser Schleife erfordert einen separaten Aufruf eines großen Sprachmodells. In der Produktionsskala führt die Bezahlung jedes einzelnen Aufrufs eines Frontier-Modells zu Erosion der Investitionsrendite (ROI) und kann verhindern, dass Projekte überhaupt ausgeliefert werden.

Um dies zu lösen, erwägen Entwickler oft den Wechsel zu kleineren Modellen. Allerdings fehlen kleineren Modellen typischerweise die erforderliche Tiefe im Reasoning für komplexe Tool-Use-Aufgaben. Der AWS-Leitfaden schlägt Wissensdistillation als Brücke vor. Konkret wird sequenzbasierte Wissensdistillation (SeqKD) verwendet, um ein kleineres „Schüler“-Modell auf den Ausgabe-Trajektorien eines größeren „Lehrer“-Modells zu trainieren. Das Ziel besteht darin, das hochwertige Verhalten des Lehrers beizubehalten, während gleichzeitig von der Geschwindigkeit und den niedrigeren Kosten des Schülers profitiert wird.

Der Leitfaden führt durch ein konkretes Beispiel unter Verwendung eines Shopping-Assistenten. Er demonstriert, wie hochqualitative Trainingsdaten mit einem Frontier-Modell generiert, nach erfolgreichen Ergebnissen gefiltert und ein kleineres Modell auf Amazon SageMaker AI feinabgestimmt wird. Der Prozess basiert vollständig auf Textausgaben des Lehrers, was bedeutet, dass er auch dann funktioniert, wenn das Lehrermodell nur über eine API zugänglich ist und seine internen Gewichte oder Logits nicht verfügbar sind.

Wie es funktioniert

Sequenzbasierte Wissensdistillation behandelt die gesamte Interaktionshistorie des Agenten als eine einzige Trainingssequenz. Im Gegensatz zur logit-basierten Distillation, die Zugriff auf die internen Wahrscheinlichkeitsverteilungen des Lehrers erfordert, nutzt SeqKD nur den vom Lehrer generierten Text. Das Lehrermodell erzeugt mehrere potenzielle Trajektorien für eine gegebene Aufgabe. Ein programmatischer Scorer bewertet diese Trajektorien anschließend und behält nur jene bei, die die Aufgabe erfolgreich lösen. Dieses Rejection Sampling stellt sicher, dass der Schüler aus korrekten Beispielen lernt, anstatt die Fehler des Lehrers nachzuahmen.

Die ausgewählten Trajektorien werden in ein Format kodiert, das für das überwachte Fine-Tuning geeignet ist. Jeder Schritt in der Agentenschleife – Reasoning, Tool-Aufrufe und Beobachtungen – wird in einen Chat-Turn umgewandelt. Das Trainingsziel konzentriert sich auf die Antworten des Assistenten und lehrt den Schüler, den nächsten Reasoning-Schritt und die nächste Aktion basierend auf der Konversationshistorie vorherzusagen. Durch Komprimierung von Tool-Beobachtungen und Abschneiden unnötiger Daten passt die Methode lange, mehrstufige Trajektorien in handhabbare Token-Limits.

Das Training erfolgt auf Amazon SageMaker AI unter Nutzung serverloser Infrastruktur. Der Leitfaden verwendet Qwen3.5-4B als Schülermodell und GLM-5.3 auf Amazon Bedrock als Lehrer. Der SageMaker Model Customization Service übernimmt die Bereitstellung der Rechenressourcen und die Ausführung, sodass Entwickler Low-Rank Adaptation (LoRA)-Fine-Tuning durchführen können, ohne Container oder Instanzen verwalten zu müssen. Das resultierende Modell wird anschließend auf einem zurückgehaltenen Datensatz evaluiert, um zu überprüfen, ob es das Verhalten des Lehrers gelernt hat.

Wichtige Details

• Methode: Sequenzbasierte Wissensdistillation (SeqKD) nutzt Textausgaben des Lehrers für das überwachte Fine-Tuning und erfordert keinen Zugriff auf Logits oder Gewichte des Lehrers.
• Lehrermodell: GLM-5.3 auf Amazon Bedrock generiert Trajektorien mit einer Temperatur von 1,0, um diverse Reasoning-Pfade zu fördern.
• Schülermodell: Qwen3.5-4B wird mittels Low-Rank Adaptation (LoRA) mit einem Rang von 64 feinabgestimmt.
• Datensatz: ShoppingBench stellt 750 synthetisierte Probleme bereit; 426 werden für das Training und 324 für die Evaluation verwendet, wobei nur gelöste Trajektorien behalten werden.
• Infrastruktur: Das Training läuft auf Amazon SageMaker AI Model Customization mit serverlosem SFT und nutzt eine maximale Dataset-Länge von 16.384 Tokens.
• Evaluation: Ein zweistufiger Prozess nutzt einen kostengünstigen Vorcheck für die Schrittgenauigkeit, gefolgt von einer vollständigen End-to-End-Evaluation der Agentenschleife.

Warum es wichtig ist

Für Engineering-Teams, die agentische Systeme entwickeln, ist Kosteneffizienz eine primäre Hürde beim Skalieren. Frontier-Modelle liefern hohe Performance, berechnen aber pro Token, und Agenten verbrauchen viele Tokens pro Aufgabe. Durch die Destillation dieser Fähigkeit in ein kleineres Modell können Organisationen die Inferenzkosten erheblich senken. Dies macht den Einsatz ausgeklügelter Agenten in Hochvolumenszenarien machbar, wo Margendruck sonst die Nutzung großer Modelle untersagen würde.

Darüber hinaus senkt SeqKD die Einstiegshürde für die Entwicklung individueller Agenten. Da es nur auf Textausgaben beruht, funktioniert es mit jedem über API zugänglichen Modell, einschließlich Closed-Source-Frontier-Modellen. Teams benötigen keine spezialisierte Infrastruktur, um Logits zu extrahieren oder komplexe Reinforcement-Learning-Pipelines zu verwalten. Die Möglichkeit, generierte Datensätze für mehrere Schülermodelle wiederzuverwenden, erhöht die Effizienz weiter und ermöglicht iterative Verbesserungen, ohne teure Lehrerdaten neu generieren zu müssen.

Was Sie tun können

• Identifizieren Sie agentische Aufgaben in Ihrem aktuellen Stack, bei denen die Kosten pro Aufgabe aufgrund mehrerer Modellaufrufe hoch sind.
• Wählen Sie ein Frontier-Modell als Lehrer und ein kleineres, kosteneffektives Modell als Kandidat für den Schüler aus.
• Implementieren Sie einen programmatischen Scorer oder Grader, um automatisch zu validieren, ob Agenten-Trajektorien Aufgaben erfolgreich abschließen.
• Generieren Sie diverse Trainingsdaten, indem Sie das Lehrermodell mit höheren Temperatureinstellungen sampeln, um unterschiedliche Reasoning-Pfade zu erkunden.
• Kodieren Sie mehrstufige Trajektorien in Chat-Formate und komprimieren Sie Tool-Beobachtungen, um innerhalb der Token-Limits für das Fine-Tuning zu bleiben.
• Nutzen Sie verwaltete Fine-Tuning-Dienste wie Amazon SageMaker AI Model Customization, um Schülermodelle zu trainieren, ohne die zugrunde liegende Infrastruktur verwalten zu müssen.