Rescale réduit de 20 % le temps de triage des tests grâce aux agents IA et au mob programming

Les ingénieurs de Rescale ont réduit de 20 % le temps passé à bloquer les déploiements en production après avoir mis en place un agent de triage IA automatisé. Conçu en seulement cinq jours lors d'un atelier avec des architectes AWS, ce système classe les échecs des tests de bout en bout nocturnes et les oriente vers les équipes appropriées. Ce projet démontre comment une collaboration structurée entre humains et IA peut accélérer le développement d'outils d'infrastructure complexes sans sacrifier la rigueur architecturale.

Ce qui s'est passé

Rescale, une plateforme d'ingénierie numérique pour des secteurs comme l'aérospatiale et les sciences de la vie, faisait face à un goulot d'étranglement opérationnel croissant. Leurs suites de tests nocturnes, qui conditionnent les releases hebdomadaires en production, généraient fréquemment des centaines d'échecs. Les ingénieurs d'astreinte passaient des heures à extraire manuellement les logs, analyser les causes racines et router les problèmes vers les bonnes équipes. Ce travail répétitif consommait une capacité d'ingénierie significative et retardait les déploiements lorsque les échecs non résolus nécessitaient une coordination inter-équipes.

Pour résoudre ce problème, Rescale s'est associé à AWS pour construire un agent intelligent utilisant le framework AI-Driven Development Lifecycle (AI-DLC). L'équipe est passée de la définition du problème à un déploiement en staging en cinq jours, suivi d'une mise en production dans les semaines suivantes. L'agent gère désormais la classification initiale des échecs de tests, permettant aux ingénieurs de se concentrer sur la validation et le débogage complexe plutôt que sur le triage manuel.

Le succès de ce pilote a conduit Rescale à étendre l'utilisation d'AI-DLC à travers son organisation d'ingénierie. Les équipes appliquent maintenant cette même approche structurée à d'autres outils internes, notamment la gestion du catalogue de simulations HPC et le suivi des vulnérabilités des conteneurs. La méthodologie est passée d'une expérimentation ponctuelle à une pratique standard pour la construction d'outils de développement natifs IA.

Comment cela fonctionne

L'agent de triage opère comme un pod au sein du pipeline CI/CD Argo Workflows existant de Rescale sur Amazon Elastic Kubernetes Service (Amazon EKS). Lorsqu'une suite de tests Playwright nocturne échoue, le pipeline déclenche l'agent. Il invoque Claude Opus 4.8 sur Amazon Bedrock pour classer chaque échec dans des catégories telles que les problèmes d'infrastructure, les bugs de code, les tests instables ou les problèmes d'environnement. L'agent récupère les modèles d'échecs historiques depuis une base de connaissances et interroge les logs des pods via le Model Context Protocol (MCP) pour recueillir des preuves d'exécution.

Au lieu de prendre des mesures autonomes, l'agent génère un rapport de remédiation structuré en JSON et HTML. Ce rapport inclut des références spécifiques aux fichiers, des noms de fonctions et des correctifs recommandés pour examen par les ingénieurs. En s'intégrant directement dans le pipeline de reporting existant, l'agent fournit des insights exploitables sans perturber les workflows actuels. L'utilisation de MCP permet à l'agent de changer de sources de données, par exemple en passant de logs tiers à Amazon CloudWatch, sans modifier le modèle d'interaction central.

Détails clés

• Chronologie de développement : L'équipe est passée de la vision au déploiement en staging en cinq jours lors d'un atelier en présentiel.
• Amélioration des performances : L'accord de classification avec le triage humain est passé de 44 % au lancement à 68 % actuellement.
• Impact opérationnel : Le temps bloquant les déploiements en production dû à l'analyse des tests a diminué de 20 %.
• Stack technique : L'agent utilise le Strands SDK, tourne sur Amazon EKS et exploite Amazon Bedrock pour l'inférence des modèles.
• Méthodologie : Le projet a utilisé AI-DLC, qui met l'accent sur la « mob elaboration » pour les exigences et la « mob construction » pour l'implémentation.
• Changement d'architecture : L'équipe a déplacé l'agent d'Amazon Bedrock AgentCore vers Amazon EKS pour s'aligner sur leur infrastructure CI/CD existante.

Pourquoi c'est important

Pour les responsables d'ingénierie et les équipes plateformes, cette étude de cas souligne la valeur de structurer le développement IA autour de la prise de décision humaine. De nombreuses organisations peinent avec des projets IA qui produisent du code mais manquent de cohérence architecturale. En utilisant des sessions de mob où l'IA génère des plans et les humains les valident en temps réel, Rescale a évité l'écueil courant des transferts asynchrones. Cette approche a garanti que les limites critiques, telles que ce qu'il faut inclure en Phase 1 versus Phase 2, soient définies explicitement avant le début du codage.

L'intégration d'agents dans les pipelines CI/CD offre également un plan pratique pour réduire la pénibilité (toil). À mesure que les suites de tests gagnent en complexité, le triage manuel devient intenable. Automatiser la première passe d'analyse des échecs permet aux ingénieurs seniors de se concentrer sur des tâches à haute valeur ajoutée comme l'architecture et le jugement produit. L'utilisation de protocoles standardisés comme MCP garantit en outre que ces agents restent flexibles et maintenables alors que l'infrastructure sous-jacente évolue.

Ce que vous pouvez faire

• Identifier les workflows à forte friction : Recherchez les tâches répétitives dans vos rotations CI/CD ou d'astreinte qui impliquent de collecter des données provenant de multiples sources.
• Adopter des méthodologies IA structurées : Envisagez des frameworks comme AI-DLC qui séparent l'élaboration des exigences de la génération de code pour maintenir le contrôle architectural.
• Commencer avec des périmètres restreints : Définissez des limites claires pour la Phase 1 et reportez les fonctionnalités complexes comme la génération automatique de pull requests tant que la logique centrale n'est pas stable.
• Utiliser des harnais d'évaluation : Construisez des frameworks basés sur PyTest avec des modes live et stubbed pour mesurer la précision de l'agent contre un jeu de données de référence (golden dataset).
• Exploiter l'infrastructure existante : Hébergez les agents au sein de vos clusters Kubernetes actuels pour réduire la charge opérationnelle et simplifier l'intégration.
• Itérer sur les prompts : Affinez continuellement l'ingénierie des prompts et les données d'entraînement pour améliorer l'accord de classification au fil du temps.