Wie das Claude-Code-Team KI-Verifizierungsschleifen skaliert
Das Claude-Code-Team teilt, wie es End-to-End-, Property- und Differenzialtests nutzt, um agentengenerierten Code im großen Maßstab zu verifizieren.
Automatisch aus dem englischen Original übersetzt.
Das Claude-Code-Team bei Anthropic lässt Claude inzwischen etwa neunzig Prozent seiner Codebasis schreiben und überprüfen. In einem Blogbeitrag vom November 2026 erläuterte das Team, wie strukturierte Verifizierungsschleifen eingesetzt werden, um die Qualität bei der Skalierung des Agenteneinsatzes aufrechtzuerhalten. Dieser Ansatz ermöglicht es ihnen, Dutzende oder Hunderte von Agenten parallel laufen zu lassen, indem sie den Prozess der Beweissammlung automatisieren, der normalerweise menschliche Aufsicht erfordert.
Was passiert ist
In diesem Maßstab wird die manuelle Überprüfung zum Engpass. Das Team stellte fest, dass Ingenieure ohne automatisierte Verifizierung nur ein oder zwei Agenten gleichzeitig verwalten konnten, da jede Ausgabe einer persönlichen Inspektion bedurfte. Indem sie die Agenten mit der Fähigkeit ausstatteten, ihre eigene Arbeit anhand spezifischer Bewertungskriterien zu überprüfen, schalteten sie massive Parallelisierung frei. Interne Tests zeigten, dass die Verwendung eines separaten Bewerters zur Prüfung der strukturierten Dateierzeugung die Erfolgsquote bei Aufgaben um bis zu zehn Punkte verbesserte, wobei die größten Gewinne bei den schwierigsten Problemen erzielt wurden.
Die zentrale Erkenntnis besteht darin, dass Verifizierungsaufgaben, die für Menschen einst teuer waren, nun für Agenten günstig sind. Agenten können schnell Tests, Benchmarks und Spezifikationen generieren. Einmal erstellt, laufen diese Artefakte als Standardsoftware, was eine häufige Ausführung ohne zusätzlichen Tokenverbrauch ermöglicht. Das Team schließt die Schleife, indem Testergebnisse verwendet werden, um die Regeln der Agenten zu aktualisieren, beispielsweise durch das Hinzufügen expliziter Einschränkungen in Konfigurationsdateien, wenn ein Agent einen bestimmten Check wiederholt nicht besteht.
Wie es funktioniert
Das Team priorisiert drei spezifische Testarten, um Robustheit sicherzustellen. Erstens bevorzugen sie End-to-End-Tests (E2E) gegenüber Unit-Tests, da E2E-Tests reale Benutzerabläufe beschreiben und schwer zu täuschen sind. Während Unit-Tests möglicherweise bestehen, selbst wenn eine Funktion fehlerhaft ist, liefern E2E-Tests eindeutige Abschlusskriterien und konkrete Fehlerbeweise, wie etwa Screenshots. Agenten nutzen Tools wie CDP oder Simulatoren, um mit dem laufenden System zu interagieren, geleitet von Feature-Maps, die erwartete Pfade und Ergebnisse auflisten.
Zweitens verwenden sie Property-Tests, um Randfälle zu erfassen, die Menschen und Agenten oft übersehen. Anstatt spezifische Eingaben zu testen, definieren Property-Tests Invarianten, die immer wahr sein müssen, wie etwa die Konsistenz der Round-Trip-Kodierung oder nicht-negative Kontostände. Bibliotheken wie fast-check oder Hypothesis generieren Tausende von zufälligen Eingaben, um diese Regeln zu brechen, und bieten so eine unvoreingenommene Prüfung des agentengenerierten Codes. Drittens setzen sie für groß angelegte Migrationen Differenzialtests ein. Diese vergleichen die Ausgaben des alten und des neuen Systems unter Verwendung derselben Eingaben und markieren Abweichungen als potenzielle Bugs.
Wichtige Details
- Verifizierungsschleifen ermöglichen es Teams, von der Verwaltung von ein oder zwei Agenten auf Dutzende oder Hunderte parallel zu skalieren.
- End-to-End-Tests werden bevorzugt, weil sie reale Benutzerabläufe validieren und konkrete Fehlerbeweise liefern.
- Property-Tests nutzen die Generierung zufälliger Eingaben, um Randfälle zu finden, die voreingenommene Agenten möglicherweise übersehen.
- Differenzialtests vergleichen die Ausgaben alter und neuer Systeme, um Regressionen während Migrationen zu erkennen.
- Agenten versuchen drei Runden lang, fehlgeschlagene Checks zu beheben, bevor sie das Problem an einen menschlichen Reviewer eskalieren.
- Verifizierungsregeln werden in Branches gespeichert, die Agenten nicht ändern können, um zu verhindern, dass sie ihre eigenen Bewertungskriterien manipulieren.
Warum das wichtig ist
Für Engineering-Leader und Entwickler, die mit KI-Agenten arbeiten, verändert dieser Wandel das primäre Anforderungsprofil: weg vom Lesen jedes Diffs hin zur Definition dessen, wie "fertig" aussieht. Durch Investitionen in starke Verifizierungsebenen können Teams komplexere Aufgaben an Agenten delegieren, ohne die Qualität zu opfern. Der Schlüssel liegt darin, Verifizierung als ein System zu betrachten, das Wartung, Feinabstimmung und Schutz vor genau den Agenten benötigt, die es bewertet.
Dieser Ansatz reduziert auch die kognitive Belastung für menschliche Reviewer. Anstatt nach Bugs zu suchen, konzentrieren sich Reviewer auf die High-Level-Architektur und auf Randfälle, die die Automatisierung übersieht. Die Methode des Teams, einen "Observe Mode" für neue Gateways zu verwenden, ermöglicht es ihnen, die Empfindlichkeit einzustellen, ohne die Entwicklung zu blockieren, sodass False Positives den Workflow nicht stören. Diese Balance zwischen Automatisierung und menschlicher Aufsicht ist entscheidend für eine nachhaltige KI-gestützte Entwicklung.
Was Sie tun können
- Erstellen Sie eine
verify-Skill in Ihrem Repository, die definiert, wie Ihre Anwendung end-to-end gestartet und getestet wird. - Priorisieren Sie das Schreiben von E2E-Tests, die kritische User Journeys abdecken, anstatt sich ausschließlich auf Unit-Tests zu verlassen.
- Implementieren Sie Property-Tests für Kernlogik, um Randfälle mittels randomisierter Eingabegenerierung zu erfassen.
- Speichern Sie Verifizierungsregeln und Review-Richtlinien in Dateien wie
REVIEW.mdauf geschützten Branches. - Konfigurieren Sie Agenten so, dass sie lokale Tests und Linter ausführen, bevor sie Pull Requests öffnen, um CI-Ressourcen zu sparen.
- Überprüfen Sie regelmäßig zurückgesetzte Änderungen und fehlgeschlagene Tests, um Ihre Verifizierungsregeln zu aktualisieren und Wiederholungen zu verhindern.



