Rescale senkt die Zeit für das Test-Triage um 20 % durch KI-Agenten und Mob Programming

Ingenieure von Rescale haben die Zeit, die für die Blockade von Produktionsbereitstellungen aufgewendet wird, um 20 % verkürzt, nachdem sie einen automatisierten KI-Triage-Agenten eingeführt hatten. Das System wurde in nur fünf Tagen während eines Workshops mit AWS-Architekten entwickelt. Es klassifiziert nächtliche End-to-End-Testfehler und leitet sie an die zuständigen Teams weiter. Das Projekt zeigt, wie strukturierte Mensch-KI-Zusammenarbeit komplexe Infrastruktur-Tools beschleunigen kann, ohne die architektonische Strenge zu vernachlässigen.

Was passiert ist

Rescale, eine digitale Engineering-Plattform für Branchen wie Luft- und Raumfahrt sowie Lebenswissenschaften, sah sich einem wachsenden operativen Engpass gegenüber. Die nächtlichen Testsuiten, die als Gatekeeper für wöchentliche Produktionsreleases dienen, produzierten häufig Hunderte von Fehlern. Bereitschaftsdienst-Ingenieure verbrachten Stunden damit, manuell Logs abzurufen, Ursachen zu analysieren und Probleme an die richtigen Teams weiterzuleiten. Diese repetitive Arbeit band erhebliche Ingenieurskapazitäten und verzögerte Bereitstellungen, wenn ungelöste Fehler koordinierte Maßnahmen über Teamgrenzen hinweg erforderten.

Um dieses Problem zu lösen, arbeitete Rescale mit AWS zusammen, um einen intelligenten Agenten unter Verwendung des AI-Driven Development Lifecycle (AI-DLC)-Frameworks zu entwickeln. Das Team schaffte den Weg von der Problemddefinition bis zur Staging-Bereitstellung in fünf Tagen; die Einführung in der Produktion folgte innerhalb weniger Wochen. Der Agent übernimmt nun die anfängliche Klassifizierung von Testfehlern, sodass sich Ingenieure auf Validierung und komplexes Debugging konzentrieren können, statt auf manuelles Triage.

Der Erfolg dieses Pilotprojekts hat dazu geführt, dass Rescale den Einsatz von AI-DLC in seiner gesamten Engineering-Organisation ausweitet. Teams wenden denselben strukturierten Ansatz nun auch für andere interne Tools an, darunter das Management des HPC-Simulationskatalogs und die Verfolgung von Container-Schwachstellen. Die Methodik hat sich von einem einmaligen Experiment zu einer Standardpraxis für den Aufbau KI-nativer Entwicklungstools gewandelt.

Wie es funktioniert

Der Triage-Agent arbeitet als Pod innerhalb der bestehenden Argo Workflows CI/CD-Pipeline von Rescale auf Amazon Elastic Kubernetes Service (Amazon EKS). Wenn eine nächtliche Playwright-Testsuite fehlschlägt, löst die Pipeline den Agenten aus. Er ruft Claude Opus 4.8 auf Amazon Bedrock auf, um jeden Fehler in Kategorien wie Infrastrukturprobleme, Code-Bugs, flaky Tests oder Umgebungsprobleme einzustufen. Der Agent ruft historische Fehlermuster aus einer Wissensdatenbank ab und fragt Pod-Logs über das Model Context Protocol (MCP) ab, um Laufzeitnachweise zu sammeln.

Anstatt autonom zu handeln, generiert der Agent einen strukturierten Behebungsbericht im JSON- und HTML-Format. Dieser Bericht enthält spezifische Dateiverweise, Funktionsnamen und empfohlene Korrekturen zur Überprüfung durch Ingenieure. Durch die direkte Integration in die bestehende Berichterstattungspipeline liefert der Agent handlungsorientierte Erkenntnisse, ohne aktuelle Workflows zu stören. Die Nutzung von MCP ermöglicht es dem Agenten, Datenquellen zu wechseln – beispielsweise von Logging-Drittanbietern zu Amazon CloudWatch –, ohne das Kerninteraktionsmuster zu ändern.

Wichtige Details

• Entwicklungszeitrahmen: Das Team ging in fünf Tagen während eines persönlichen Workshops von der Vision zur Staging-Bereitstellung.
• Leistungsverbesserung: Die Übereinstimmung der Klassifizierung mit dem menschlichen Triage stieg von 44 % beim Start auf derzeit 68 %.
• Operative Auswirkung: Die Zeit, die für die Blockade von Produktionsbereitstellungen aufgrund von Testanalysen benötigt wurde, sank um 20 %.
• Tech-Stack: Der Agent nutzt das Strands SDK, läuft auf Amazon EKS und verwendet Amazon Bedrock für die Modellinferenz.
• Methodik: Das Projekt nutzte AI-DLC, das „Mob Elaboration“ für Anforderungen und „Mob Construction“ für die Implementierung betont.
• Architekturwechsel: Das Team verschob den Agenten von Amazon Bedrock AgentCore zu Amazon EKS, um ihn an ihre bestehende CI/CD-Infrastruktur anzupassen.

Warum es wichtig ist

Für Engineering-Leads und Plattformteams verdeutlicht diese Fallstudie den Wert der Strukturierung der KI-Entwicklung rund um menschliche Entscheidungsprozesse. Viele Organisationen kämpfen mit KI-Projekten, die Code produzieren, aber architektonische Kohärenz vermissen lassen. Durch die Nutzung von Mob-Sessions, in denen KI Pläne generiert und Menschen diese in Echtzeit validieren, vermied Rescale die häufige Falle asynchroner Übergaben. Dieser Ansatz stellte sicher, dass kritische Grenzen – etwa was in Phase 1 versus Phase 2 einbezogen werden soll – vor Beginn der Codierung explizit definiert wurden.

Die Integration von Agenten in CI/CD-Pipelines bietet zudem einen praktischen Bauplan zur Reduzierung mühsamer Routineaufgaben („Toil“). Da Testsuiten immer komplexer werden, wird manuelles Triage nicht mehr tragfähig. Die Automatisierung des ersten Schritts der Fehleranalyse ermöglicht es Senior-Ingenieuren, sich auf wertschöpfende Aufgaben wie Architektur und Produktentscheidungen zu konzentrieren. Die Verwendung standardisierter Protokolle wie MCP stellt außerdem sicher, dass diese Agenten flexibel und wartbar bleiben, wenn sich die zugrunde liegende Infrastruktur ändert.

Was Sie tun können

• Identifizieren Sie arbeitsintensive Workflows: Suchen Sie nach repetitiven Aufgaben in Ihren CI/CD-Prozessen oder Bereitschaftsdiensten, die das Sammeln von Daten aus mehreren Quellen beinhalten.
• Adoptieren Sie strukturierte KI-Methodologien: Erwägen Sie Frameworks wie AI-DLC, die die Anforderungselaboration von der Codegenerierung trennen, um die architektonische Kontrolle zu bewahren.
• Beginnen Sie mit kleinen Umfängen: Definieren Sie klare Grenzen für Phase 1 und verschieben Sie komplexe Funktionen wie die automatische Generierung von Pull Requests, bis die Kernlogik stabil ist.
• Nutzen Sie Evaluations-Harnesses: Bauen Sie PyTest-basierte Frameworks mit Live- und Stub-Modi auf, um die Genauigkeit des Agenten anhand eines Golden Datasets zu messen.
• Nutzen Sie bestehende Infrastruktur: Hosten Sie Agenten innerhalb Ihrer aktuellen Kubernetes-Cluster, um den operativen Overhead zu reduzieren und die Integration zu vereinfachen.
• Iterieren Sie Prompts: Verfeinern Sie Prompt-Engineering und Trainingsdaten kontinuierlich, um die Übereinstimmung der Klassifizierung im Laufe der Zeit zu verbessern.