Entscheidungsmodelle für skalierbare Agentenbewertung in AWS Bedrock nutzen

Amazon Web Services hat die Funktion Amazon Bedrock AgentCore Evaluations erweitert, um benutzerdefinierte Bewerter zu unterstützen, die auf Entscheidungsmodellen basieren. Dieses Update, veröffentlicht im November 2026, ermöglicht es Entwicklern, spezialisierte Modelle wie TypeSafe’s Jev und das Open-Source-Modell Strands Decider 2B direkt in ihre Pipelines zur Bewertung von Agenten zu integrieren. Dieser Ansatz bietet eine strukturierte Alternative zu allgemeinen Large Language Models (LLMs) als Richter für spezifische, wiederholbare Validierungsaufgaben.

Was passiert ist

AgentCore Evaluations ist darauf ausgelegt, KI-Agenten über ihren gesamten Lebenszyklus hinweg zu bewerten, von der Entwicklung bis zum Produktionsverkehr. Während der Dienst bereits 15 integrierte Bewerter enthält, die LLMs nutzen, um Antworten anhand von Rubriken zu bewerten, unterstützt er nun auch benutzerdefinierte Bewerter, die entweder als „LLM-as-a-judge“ oder als codebasierte Logik definiert sind. Der neue Fokus liegt auf codebasierten Bewertern, die externe Systeme, einschließlich Entscheidungsmodelle, über AWS Lambda-Funktionen aufrufen können.

Entscheidungsmodelle unterscheiden sich von Standard-LLMs dadurch, dass sie kalibrierte Wahrscheinlichkeiten für einen festen Satz von Antworten zurückgeben, anstatt freitextliche Inhalte zu generieren. Dies macht sie ideal für eng gefasste Fragen, bei denen eine informierte Person schnell urteilen kann, z. B. ob eine Antwort beim Thema bleibt oder ob ein Tool-Aufruf sicher ist. Durch die Integration dieser Modelle können Entwickler eine Screening-Ebene erstellen, die Probleme effizient erkennt, bevor komplexe Fälle an teurere, erklärende LLM-Bewerter weitergeleitet werden.

Die Ankündigung hebt zwei spezifische Backends für diese Integration hervor: Jev, ein gehosteter Dienst von TypeSafe, und Strands Decider 2B, ein Open-Source-Modell vom Team der Strands Agents. Beide unterstützen drei Fragetypen: binär Ja/Nein (noul), Multiple Choice (choice) und geordnete Stufen (score). Diese Struktur ermöglicht präzise, programmatische Schwellenwerte, die mit den variablen Ausgaben generativer Modelle schwer zu erreichen sind.

Wie es funktioniert

Die Integration basiert auf AWS Lambda-Funktionen, die als Brücke zwischen AgentCore Evaluations und dem Entscheidungsmodell dienen. Wenn eine Bewertung ausgelöst wird, erhält die Lambda-Funktion OpenTelemetry-Spans, die die Interaktionsdaten des Agenten enthalten. Ein Normalisierungsmodul formatiert diese Daten so, dass sie für das Entscheidungsmodell geeignet sind, und sendet nur den relevanten Verlauf der Gesprächsrunden für Prüfungen auf Trace-Ebene oder die gesamte Sitzung für breitere Bewertungen.

Sobald das Entscheidungsmodell die Eingabe verarbeitet hat, gibt es eine Wahrscheinlichkeitsverteilung zurück. Der Lambda-Adapter konvertiert diese Verteilung in ein Format, das AgentCore erwartet. Bei binären Fragen wird die Wahrscheinlichkeit für „true“ zum Wert. Bei bewerteten Fragen berechnet das System ein wahrscheinlichkeitsgewichtetes erwartetes Niveau, skaliert zwischen null und eins. Dieses Ergebnis wird dann als codebasierter Bewerter innerhalb der AgentCore-Control-Plane registriert, sodass es neben eingebauten Metriken wie Korrektheit und Hilfreichkeit ausgeführt werden kann.

Entwickler können dieses Setup mit bereitgestellten Python-Skripten implementieren, die die Erstellung von Rollen, das Packaging von Lambda und die Registrierung des Bewerters übernehmen. Das System unterstützt sowohl On-Demand-Batch-Bewertungen gegen gespeicherte Sitzungen als auch kontinuierliche Online-Bewertungen von Live-Traffic. Flags im Deployment-Skript ermöglichen es Benutzern, sich für Jev- oder Strands-Decider-Backends zu entscheiden, mit Optionen zur automatischen Bereitstellung notwendiger EC2-Instanzen für selbst gehostete Modelle.

Wichtige Details

• Entscheidungsmodelle geben kalibrierte Wahrscheinlichkeiten für feste Optionen zurück, im Gegensatz zu LLMs, die Freitext und Begründungen generieren.
• Zwei unterstützte Backends sind Jev (gehostet von TypeSafe) und Strands Decider 2B (Open Source, selbst gehostet).
• Drei Fragetypen werden unterstützt: noul (Ja/Nein), choice (bis zu 255 Optionen) und score (2–10 geordnete Stufen).
• Codebasierte Bewerter laufen in AWS Lambda, empfangen OpenTelemetry-Spans und geben strukturierte Ergebnisse an AgentCore zurück.
• Das „Kaskadenmuster“ empfiehlt die Verwendung von Entscheidungsmodellen für günstiges, schnelles Screening und die Eskalation nur von Fällen mit geringer Konfidenz an LLM-Bewerter.
• Die Validierung erfordert den Vergleich der Ausgaben des Entscheidungsmodells mit menschlich gekennzeichneten Stichproben, um Übereinstimmungsraten und Kalibrierung zu überprüfen.

Warum das wichtig ist

Für Ingenieure, die produktive KI-Agenten entwickeln, sind Kosten und Konsistenz große Sorgen. Allgemeine LLM-Bewerter liefern zwar reichhaltige Erklärungen, sind aber teuer und können unter Vertrauensdrift leiden. Entscheidungsmodelle bieten eine Möglichkeit, spezifische Rubriken konsistent durchzusetzen, ohne die Variabilität generativer Texte. Durch ihre Nutzung als erster Durchlauf können Teams das Volumen der Interaktionen reduzieren, die an größere Modelle gesendet werden, was die Betriebskosten senkt und gleichzeitig eine hohe Abdeckung gewährleistet.

Dieser Ansatz verbessert auch die Zuverlässigkeit automatisierter Tests. Da Entscheidungsmodelle numerische Wahrscheinlichkeiten ausgeben, können Entwickler präzise Schwellenwerte für das Bestehen oder Nichtbestehen bestimmter Kriterien festlegen. Dies ist entscheidend für compliance-lastige Bereiche wie HR oder Finanzen, wo Richtlinien einheitlich angewendet werden müssen. Die Fähigkeit, diese Scores programmatisch zu schwellenwertisieren und zu aggregieren, ermöglicht robustere Monitoring- und Alarmsysteme.

Darüber hinaus klärt die Trennung von „Lesen“- versus „Ableiten“-Aufgaben die Bewertungsstrategie. Eng gefasste Prüfungen auf Fundiertheit oder Zielerreichung können von Entscheidungsmodellen übernommen werden, während komplexe Schlussfolgerungsaufgaben bei LLM-Richtern verbleiben. Diese hybride Architektur nutzt die Stärken beider Technologien und stellt sicher, dass tiefgehende Untersuchungskraft für Fälle reserviert bleibt, in denen einfache binäre Prüfungen nicht ausreichen.

Was Sie tun können

• Identifizieren Sie eng gefasste, wiederholbare Bewertungsfragen in Ihrem Agenten-Workflow, wie z. B. Policy-Einhaltung oder Faktenfundierung.
• Erstellen Sie eine gekennzeichnete Stichprobe Ihres Agenten-Traffics mit menschlichen Referenzlabels, um jeden neuen Entscheidungsmodell-Bewerter zu validieren.
• Stellen Sie die bereitgestellten Python-Skripte bereit, um Lambda-basierte Bewerter für Jev oder Strands Decider in Ihrem AWS-Konto einzurichten.
• Implementieren Sie das Kaskadenmuster, indem Sie Konfidenzschwellenwerte festlegen, die eine tiefere LLM-Bewertung nur bei Bedarf auslösen.
• Überwachen Sie die Kalibrierung, indem Sie Interaktionsrunden nach gemeldeter Wahrscheinlichkeit gruppieren und sie mit menschlichen Übereinstimmungsraten vergleichen.
• Führen Sie Validierungsprüfungen erneut durch, wann immer Sie die Version des Entscheidungsmodells aktualisieren oder die Bewertungsfragen umformulieren.