Rescale reduce el tiempo de triaje de pruebas un 20% mediante agentes de IA y programación en grupo

Los ingenieros de Rescale han reducido en un 20% el tiempo dedicado a bloquear los despliegues en producción tras implementar un agente de triaje automatizado basado en IA. Construido en solo cinco días durante un taller con arquitectos de AWS, el sistema clasifica los fallos de las pruebas end-to-end nocturnas y los dirige a los equipos correspondientes. El proyecto demuestra cómo una colaboración estructurada entre humanos e IA puede acelerar el desarrollo de herramientas complejas de infraestructura sin sacrificar el rigor arquitectónico.

Qué ocurrió

Rescale, una plataforma de ingeniería digital para industrias como la aeroespacial y las ciencias de la vida, se enfrentaba a un creciente cuello de botella operativo. Sus suites de pruebas nocturnas, que actúan como puerta de acceso para los lanzamientos semanales en producción, generaban frecuentemente cientos de fallos. Los ingenieros de guardia pasaban horas extrayendo registros manualmente, analizando causas raíz y dirigiendo los problemas a los equipos adecuados. Este trabajo repetitivo consumía una capacidad de ingeniería significativa y retrasaba los despliegues cuando los fallos no resueltos requerían coordinación entre equipos.

Para resolver esto, Rescale colaboró con AWS para construir un agente inteligente utilizando el marco del Ciclo de Vida de Desarrollo Impulsado por IA (AI-DLC). El equipo pasó de la definición del problema al despliegue en entorno de preproducción en cinco días, con el lanzamiento en producción siguiendo pocas semanas después. El agente ahora gestiona la clasificación inicial de los fallos de prueba, permitiendo a los ingenieros centrarse en la validación y la depuración compleja en lugar del triaje manual.

El éxito de este piloto ha llevado a Rescale a expandir el uso de AI-DLC en toda su organización de ingeniería. Los equipos están aplicando ahora el mismo enfoque estructurado a otras herramientas internas, incluida la gestión del catálogo de simulaciones HPC y el seguimiento de vulnerabilidades en contenedores. La metodología ha pasado de ser un experimento puntual a una práctica estándar para construir herramientas de desarrollo nativas de IA.

Cómo funciona

El agente de triaje opera como un pod dentro del pipeline CI/CD existente de Argo Workflows de Rescale en Amazon Elastic Kubernetes Service (Amazon EKS). Cuando una suite de pruebas Playwright nocturna falla, el pipeline activa el agente. Este invoca Claude Opus 4.8 en Amazon Bedrock para clasificar cada fallo en categorías como problemas de infraestructura, errores de código, pruebas inestables o problemas de entorno. El agente recupera patrones históricos de fallos de una base de conocimiento y consulta los registros de los pods mediante el Model Context Protocol (MCP) para recopilar evidencia en tiempo de ejecución.

En lugar de tomar acciones autónomas, el agente genera un informe estructurado de remediación en JSON y HTML. Este informe incluye referencias específicas a archivos, nombres de funciones y correcciones recomendadas para revisión por parte de los ingenieros. Al integrarse directamente en el pipeline de informes existente, el agente proporciona información accionable sin interrumpir los flujos de trabajo actuales. El uso de MCP permite al agente cambiar fuentes de datos, como pasar de registros de terceros a Amazon CloudWatch, sin alterar el patrón de interacción principal.

Detalles clave

• Cronología del desarrollo: El equipo pasó de la visión al despliegue en preproducción en cinco días durante un taller presencial.
• Mejora del rendimiento: La coincidencia de clasificación con el triaje humano aumentó del 44% en el lanzamiento al 68% actual.
• Impacto operativo: El tiempo que bloquea los despliegues en producción debido al análisis de pruebas disminuyó un 20%.
• Stack tecnológico: El agente utiliza Strands SDK, se ejecuta en Amazon EKS y aprovecha Amazon Bedrock para la inferencia de modelos.
• Metodología: El proyecto utilizó AI-DLC, que enfatiza la "elaboración en grupo" para los requisitos y la "construcción en grupo" para la implementación.
• Cambio de arquitectura: El equipo movió el agente de Amazon Bedrock AgentCore a Amazon EKS para alinearse con su infraestructura CI/CD existente.

Por qué importa

Para los líderes de ingeniería y los equipos de plataforma, este caso de estudio destaca el valor de estructurar el desarrollo de IA en torno a la toma de decisiones humana. Muchas organizaciones luchan con proyectos de IA que producen código pero carecen de coherencia arquitectónica. Al utilizar sesiones en grupo donde la IA genera planes y los humanos los validan en tiempo real, Rescale evitó la trampa común de los traspasos asíncronos. Este enfoque garantizó que límites críticos, como qué incluir en la Fase 1 frente a la Fase 2, se definieran explícitamente antes de comenzar a codificar.

La integración de agentes en pipelines CI/CD también ofrece un modelo práctico para reducir el trabajo tedioso. A medida que las suites de pruebas crecen en complejidad, el triaje manual se vuelve insostenible. Automatizar la primera pasada del análisis de fallos permite a los ingenieros senior centrarse en tareas de alto valor como la arquitectura y el juicio de producto. El uso de protocolos estandarizados como MCP asegura además que estos agentes permanezcan flexibles y mantenibles a medida que cambia la infraestructura subyacente.

Qué puedes hacer

• Identificar flujos de trabajo de alta fricción: Busca tareas repetitivas en tus rotaciones de CI/CD o de guardia que impliquen recopilar datos de múltiples fuentes.
• Adoptar metodologías estructuradas de IA: Considera marcos como AI-DLC que separan la elaboración de requisitos de la generación de código para mantener el control arquitectónico.
• Comenzar con alcances pequeños: Define límites claros para la Fase 1 y posponga características complejas como la generación automática de pull requests hasta que la lógica central sea estable.
• Utilizar entornos de evaluación: Construye frameworks basados en PyTest con modos en vivo y simulados para medir la precisión del agente contra un conjunto de datos dorado.
• Aprovechar la infraestructura existente: Aloja agentes dentro de tus clústeres Kubernetes actuales para reducir la sobrecarga operativa y simplificar la integración.
• Iterar sobre los prompts: Refina continuamente la ingeniería de prompts y los datos de entrenamiento para mejorar la coincidencia de clasificación con el tiempo.