Mit KI entwickeln

Anthropics automatisierte Pipeline für Code-Reviews bei KI-generierten Änderungen

Anthropic zeigt, wie das Team von Claude Code automatisierte Verifizierung und deterministische Prüfungen nutzt, um KI-geschriebenen Code zu validieren, ohne dass jeder Änderungsschritt manuell von Ingenieuren überprüft werden muss.

Ein Glaswürfel mit leuchtenden Schaltkreisen auf einem Schreibtisch neben Notizen und einer Lupe
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Das Engineering-Team von Anthropic verlässt sich nun auf seinen eigenen KI-Assistenten Claude, der etwa 90 % des Codes für das Produkt Claude Code schreibt und überprüft. In einem kürzlich veröffentlichten technischen Beitrag erläuterte der Mitarbeiter Addy Osmani das interne Verifizierungssystem, das diesen hohen Grad an Automatisierung ermöglicht, während die Softwarezuverlässigkeit gewahrt bleibt. Der Ansatz verlagert den menschlichen Aufwand vom Schreiben jeder einzelnen Zeile hin zur Bewertung der von automatisierten Agenten erzeugten Nachweise.

Was passiert ist

Das Team von Claude Code hat seinen Workflow so strukturiert, dass KI-Agenten den Großteil der Codierungsaufgaben übernehmen, aber keine Änderungen vornehmen, bevor sie einen strengen Satz automatisierter Prüfungen bestanden haben. Diese Prüfungen sind darauf ausgelegt, Dutzende oder sogar Hunderte gleichzeitig arbeitender Agenten zu unterstützen. Anstatt zu verlangen, dass ein Ingenieur jede einzelne Änderung inspiziert, stellt das System strukturierte Nachweise bereit, anhand deren Ingenieure endgültige Entscheidungen treffen können.

Diese Methode hat in der Entwicklergemeinschaft eine Debatte über Kosten und Integrität ausgelöst. Kritiker hinterfragten, ob die Inferenzkosten für den Einsatz großer Sprachmodelle zur Verifizierung im Vergleich zu günstigeren, deterministischen Tools gerechtfertigt seien. Andere befürchteten, dass KI-Agenten Tests manipulieren könnten, um diese zu bestehen, statt zugrunde liegende Probleme zu beheben. Anthropic reagierte mit einer Erklärung, wie kostengünstige deterministische Prüfungen vor teuren Modellüberprüfungen geschaltet werden und strenge Regeln durchgesetzt werden, damit Agenten das System nicht austricksen können.

Wie es funktioniert

Der Verifizierungsprozess beginnt mit deterministischen Prüfungen, deren Ausführung nur sehr geringe Kosten verursacht. Dazu gehören Standard-Builds, Linter, Unit-Tests und eigenschaftsbasierte Tests. Da es sich um übliche Softwareprozesse handelt, können sie häufig ohne nennenswerte Kosten wiederholt werden. Erst nachdem diese Prüfungen bestanden wurden, schaltet das System die modellbasierte Überprüfung ein. Dieser gestufte Ansatz stellt sicher, dass teure Inferenzen nur für komplexe Bewertungen reserviert bleiben, die einfache Tests nicht beantworten können, wie etwa die Beurteilung, ob eine Änderung den richtigen architektonischen Ansatz wählt oder Randfälle übersieht, die von bestehenden Tests nicht abgedeckt werden.

Um zu verhindern, dass Agenten Ergebnisse manipulieren, erzwingt Anthropic eine strikte Trennung zwischen dem geänderten Code und den ihn validierenden Prüfungen. Wenn eine Änderung die Prüfung modifizieren kann, die sie selbst bewertet, betrachtet das System diese Prüfung als fehlerhaft. Beispielsweise liest der Code-Reviewer Konfigurationsdateien wie REVIEW.md aus dem Basis-Branch (Base Branch) und nicht aus dem neuen Pull Request. Es ist Agenten untersagt, flaky Tests zu überspringen, Verzögerungen einzubauen, um Fehler zu verschleiern, oder Tests so lange erneut auszuführen, bis sie bestanden sind. Kann ein Agent einen fehlgeschlagenen Test nicht lösen, muss er den Test löschen und den Grund dokumentieren, was Transparenz gewährleistet.

Wichtige Details

  • Claude schreibt und überprüft rund 90 % des Codes für das Team von Claude Code.
  • Verifizierungsfähigkeiten werden in repository-spezifischen Ordnern unter .claude/skills/ gespeichert.
  • Deterministische Prüfungen wie Builds und Linter laufen vor jeder modellbasierten Überprüfung, um die Kosten zu kontrollieren.
  • Agenten können die Prüfungen, die ihren eigenen Code bewerten, nicht ändern; Reviewer lesen aus dem Basis-Branch.
  • Zwischen Juni und September verdoppelte sich die Anzahl der zusammengeführten Pull Requests, während Reverts um mehr als 40 % zurückgingen.
  • Ingenieure bleiben für jede ausgelieferte Änderung verantwortlich und prüfen Nachweise wie Screenshots und Testprotokolle.

Warum das wichtig ist

Für Teams, die Software mit KI entwickeln, bietet dieses Modell einen Bauplan, um die Entwicklung zu skalieren, ohne den Personalbestand linear zu erhöhen. Es zeigt, dass hohe Automatisierungsraten möglich sind, wenn in robuste Verifizierungsinfrastruktur investiert wird. Die zentrale Erkenntnis ist, dass Vertrauen nicht blind in die KI gesetzt wird, sondern in die von ihr erzeugten Nachweise. Durch die Verschiebung der menschlichen Rolle vom Autor zum Auditor können Teams höhere Volumina an Änderungen bewältigen und dabei Qualitätsstandards wahren.

Da jedoch keine veröffentlichten Daten zu False-Positive-Raten und spezifischen Inferenzkosten vorliegen, müssen Teams ihre eigenen Implementierungen sorgfältig benchmarken. Die Strategie erfordert einen kulturellen Wandel, bei dem Ingenieure die Verantwortung für Code übernehmen, den sie nicht selbst getippt haben. Sie verlangt zudem nach rigorosen Tools, um zu verhindern, dass Agenten Abkürzungen nehmen, wie etwa das Umschreiben von Tests, um Bugs zu verstecken. Ohne diese Schutzmaßnahmen könnten die Geschwindigkeitsgewinne durch KI-Codierung durch erhöhte technische Schulden und Instabilität zunichte gemacht werden.

Was Sie tun können

  • Implementieren Sie eigenschaftsbasiertes Testen, um KI-Agenten zu helfen, Randfälle zu identifizieren, die Standard-Unit-Tests möglicherweise übersehen.
  • Trennen Sie Ihre Verifizierungslogik von Ihrem Anwendungscode, damit Agenten ihre eigenen Prüfer nicht modifizieren können.
  • Führen Sie kostengünstige deterministische Prüfungen wie Linter und Builds aus, bevor teure modellbasierte Überprüfungen ausgelöst werden.
  • Nutzen Sie Differenztests, um neue Implementierungen mit alten zu vergleichen und unerwartete Verhaltensänderungen zu erkennen.
  • Verlangen Sie von Agenten, zu dokumentieren, warum sie Tests löschen oder überspringen, um Transparenz im Verifizierungsprozess zu gewährleisten.
  • Überwachen Sie die Einhaltung der Verifizierungs-Gates, bevor Sie diese verpflichtend machen, damit Teams ihre Workflows schrittweise anpassen können.
  • #ai coding
  • #software engineering
  • #anthropic
  • #code verification
  • #developer tools

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel