Rescale giảm 20% thời gian phân loại lỗi thử nghiệm nhờ AI agents và mob programming

Các kỹ sư của Rescale đã giảm được 20% thời gian bị chặn bởi các vấn đề liên quan đến triển khai production sau khi đưa vào hoạt động một AI triage agent tự động. Hệ thống này được xây dựng chỉ trong năm ngày trong một buổi workshop cùng với các kiến trúc sư AWS, có khả năng phân loại các lỗi thất bại của bộ test end-to-end hàng đêm và chuyển chúng đến đúng nhóm phụ trách. Dự án minh chứng cho thấy sự hợp tác có cấu trúc giữa con người và AI có thể đẩy nhanh quá trình phát triển các công cụ hạ tầng phức tạp mà vẫn đảm bảo tính chặt chẽ về mặt kiến trúc.

Chuyện gì đã xảy ra

Rescale, một nền tảng kỹ thuật số dành cho các ngành như hàng không vũ trụ và khoa học sự sống, đang đối mặt với nút thắt cổ chai vận hành ngày càng trầm trọng. Các bộ test hàng đêm của họ, vốn là điều kiện tiên quyết để phê duyệt các bản phát hành production hàng tuần, thường xuyên tạo ra hàng trăm lỗi. Các kỹ sư trực ban phải dành nhiều giờ để thủ công trích xuất log, phân tích nguyên nhân gốc rễ và chuyển các vấn đề đến đúng nhóm xử lý. Công việc lặp đi lặp lại này tiêu tốn đáng kể nguồn lực kỹ thuật và làm chậm tiến độ triển khai khi các lỗi chưa được giải quyết đòi hỏi sự phối hợp giữa nhiều nhóm.

Để giải quyết vấn đề này, Rescale đã hợp tác với AWS để xây dựng một agent thông minh sử dụng khung làm việc AI-Driven Development Lifecycle (AI-DLC). Nhóm đã đi từ định nghĩa vấn đề đến triển khai trên môi trường staging chỉ trong năm ngày, và việc rollout ra production diễn ra trong vài tuần sau đó. Agent hiện nay đảm nhận bước phân loại ban đầu các lỗi test, cho phép các kỹ sư tập trung vào việc xác thực và gỡ lỗi phức tạp thay vì phải phân loại thủ công.

Thành công của dự án thí điểm này đã thúc đẩy Rescale mở rộng việc áp dụng AI-DLC trên toàn bộ tổ chức kỹ thuật. Các nhóm hiện đang áp dụng phương pháp tiếp cận có cấu trúc tương tự cho các công cụ nội bộ khác, bao gồm quản lý danh mục mô phỏng HPC và theo dõi lỗ hổng container. Phương pháp luận này đã chuyển từ một thử nghiệm đơn lẻ thành một thực hành chuẩn trong việc xây dựng các công cụ phát triển thuần AI (AI-native).

Cách thức hoạt động

Triage agent hoạt động như một pod trong pipeline CI/CD Argo Workflows hiện có của Rescale trên Amazon Elastic Kubernetes Service (Amazon EKS). Khi bộ test Playwright hàng đêm gặp lỗi, pipeline sẽ kích hoạt agent. Agent gọi Claude Opus 4.8 trên Amazon Bedrock để phân loại từng lỗi vào các nhóm như vấn đề hạ tầng, bug code, test không ổn định (flaky tests) hoặc vấn đề môi trường. Agent truy xuất các mẫu lỗi lịch sử từ một knowledge base và truy vấn log của pod thông qua Model Context Protocol (MCP) để thu thập bằng chứng runtime.

Thay vì tự động thực hiện hành động, agent tạo ra một báo cáo khắc phục có cấu trúc dưới dạng JSON và HTML. Báo cáo này bao gồm các tham chiếu file cụ thể, tên hàm và các đề xuất sửa chữa để kỹ sư xem xét. Bằng cách tích hợp trực tiếp vào pipeline báo cáo hiện tại, agent cung cấp những insight có thể hành động được mà không làm gián đoạn các workflow đang chạy. Việc sử dụng MCP cho phép agent chuyển đổi nguồn dữ liệu, chẳng hạn như chuyển từ logging của bên thứ ba sang Amazon CloudWatch, mà không cần thay đổi mô hình tương tác cốt lõi.

Chi tiết chính

• Thời gian phát triển: Nhóm đã đi từ tầm nhìn đến triển khai staging trong năm ngày trong một buổi workshop trực tiếp.
• Cải thiện hiệu suất: Mức độ đồng thuận trong phân loại so với con người tăng từ 44% lúc khởi động lên 68% hiện tại.
• Tác động vận hành: Thời gian bị chặn do phân tích lỗi test ảnh hưởng đến triển khai production đã giảm 20%.
• Tech stack: Agent sử dụng Strands SDK, chạy trên Amazon EKS và tận dụng Amazon Bedrock cho suy luận mô hình.
• Phương pháp luận: Dự án sử dụng AI-DLC, nhấn mạnh vào "mob elaboration" cho yêu cầu và "mob construction" cho việc triển khai.
• Chuyển hướng kiến trúc: Nhóm đã di chuyển agent từ Amazon Bedrock AgentCore sang Amazon EKS để phù hợp với hạ tầng CI/CD hiện có.

Tại sao điều này quan trọng

Đối với các trưởng nhóm kỹ thuật và đội ngũ platform, case study này làm nổi bật giá trị của việc cấu trúc hóa phát triển AI xoay quanh quy trình ra quyết định của con người. Nhiều tổ chức gặp khó khăn với các dự án AI tạo ra code nhưng thiếu tính nhất quán về kiến trúc. Bằng cách sử dụng các phiên mob nơi AI tạo ra kế hoạch và con người xác thực chúng theo thời gian thực, Rescale đã tránh được bẫy phổ biến của các handoff bất đồng bộ. Cách tiếp cận này đảm bảo rằng các ranh giới quan trọng, chẳng hạn như phạm vi của Phase 1 so với Phase 2, được xác định rõ ràng trước khi bắt đầu viết code.

Việc tích hợp agents vào các pipeline CI/CD cũng cung cấp một blueprint thực tế để giảm bớt công việc thủ công (toil). Khi các bộ test ngày càng phức tạp, việc phân loại thủ công trở nên không bền vững. Tự động hóa bước phân tích lỗi đầu tiên cho phép các kỹ sư cao cấp tập trung vào các nhiệm vụ giá trị cao như kiến trúc và đánh giá sản phẩm. Việc sử dụng các giao thức chuẩn hóa như MCP còn đảm bảo rằng các agent này vẫn linh hoạt và dễ bảo trì khi hạ tầng cơ sở thay đổi.

Bạn có thể làm gì

• Xác định các workflow gây ma sát cao: Tìm kiếm các nhiệm vụ lặp đi lặp lại trong CI/CD hoặc quy trình trực ban của bạn liên quan đến việc thu thập dữ liệu từ nhiều nguồn.
• Áp dụng các phương pháp luận AI có cấu trúc: Xem xét các framework như AI-DLC tách biệt phần làm rõ yêu cầu khỏi phần sinh code để duy trì kiểm soát kiến trúc.
• Bắt đầu với phạm vi nhỏ: Xác định rõ ràng các ranh giới cho Phase 1 và hoãn các tính năng phức tạp như tự động tạo pull request cho đến khi logic cốt lõi ổn định.
• Sử dụng các harness đánh giá: Xây dựng các framework dựa trên PyTest với chế độ live và stubbed để đo lường độ chính xác của agent so với một golden dataset.
• Tận dụng hạ tầng hiện có: Host các agent trong các cụm Kubernetes hiện tại của bạn để giảm chi phí vận hành và đơn giản hóa tích hợp.
• Lặp lại và tối ưu prompt: Liên tục tinh chỉnh kỹ thuật prompt engineering và dữ liệu huấn luyện để cải thiện mức độ đồng thuận trong phân loại theo thời gian.