Rescale、AIエージェントとモブプログラミングでテストトリアージ時間を20%短縮

Rescaleのエンジニアチームは、自動化されたAIトリアージエージェントを導入した後、本番デプロイをブロックする時間を20%短縮しました。AWSアーキテクトとのワークショップ中にわずか5日で構築されたこのシステムは、毎晩のエンドツーエンドテスト失敗を分類し、適切なチームへルーティングします。本プロジェクトは、構造化された人間とAIのコラボレーションにより、アーキテクチャの厳密性を犠牲にすることなく、複雑なインフラツール開発を加速できることを示しています。

何が起きたか

航空宇宙やライフサイエンスなどの業界向けデジタルエンジニアリングプラットフォームであるRescaleは、増大する運用上のボトルネックに直面していました。週次の本番リリースをゲートする毎晩のテストスイートでは、頻繁に数百件の失敗が発生していました。オンコールエンジニアはログの手動取得、根本原因の分析、問題の正しいチームへのルーティングに何時間も費やしていました。この反復的な作業はエンジニアのリソースを大幅に消費し、未解決の失敗がチーム間の調整を必要とする場合、デプロイが遅延していました。

これを解決するため、RescaleはAWSと提携し、AI駆動開発ライフサイクル（AI-DLC）フレームワークを使用してインテリジェントエージェントを構築しました。チームは課題定義からステージング環境へのデプロイまでを5日間で完了し、数週間以内に本番展開を行いました。現在、エージェントはテスト失敗の初期分類を担当しており、エンジニアは手動でのトリアージではなく、検証や複雑なデバッグに集中できるようになりました。

このパイロットの成功を受け、RescaleはAI-DLCの使用範囲をエンジニアリング組織全体へと拡大しています。チームは現在、HPCシミュレーションカタログ管理やコンテナ脆弱性トラッキングなど、他の内部ツールにも同じ構造化アプローチを適用しています。この手法は、一時的な実験から、AIネイティブな開発ツール構築のための標準的なプラクティスへと変化しました。

仕組み

トリアージエージェントは、Amazon Elastic Kubernetes Service（Amazon EKS）上のRescale既存のArgo Workflows CI/CDパイプライン内のポッドとして動作します。毎晩のPlaywrightテストスイートが失敗すると、パイプラインがエージェントをトリガーします。エージェントはAmazon Bedrock上のClaude Opus 4.8を呼び出し、各失敗をインフラの問題、コードバグ、不安定なテスト（flaky tests）、環境の問題などのカテゴリーに分類します。エージェントはナレッジベースから過去の失敗パターンを取得し、Model Context Protocol（MCP）を介してポッドログをクエリすることで、実行時の証拠を集めます。

自律的なアクションを取る代わりに、エージェントはJSONおよびHTML形式の構造化された修復レポートを生成します。このレポートには、エンジニアによるレビュー用に具体的なファイル参照、関数名、推奨される修正が含まれます。既存のレポーティングパイプラインに直接統合することで、エージェントは現在のワークフローを妨げることなく、実行可能な洞察を提供します。MCPの使用により、エージェントはサードパーティのロギングからAmazon CloudWatchへの移行など、データソースを切り替える際にも、コアとなるインタラクションパターンを変更せずに済みます。

主要な詳細

• 開発タイムライン: チームは対面ワークショップ中に、ビジョンからステージングデプロイまでを5日間で実現しました。
• パフォーマンス向上: 人間のトリアージとの分類一致率は、開始時の44%から現在68%まで上昇しました。
• 運用インパクト: テスト分析による本番デプロイのブロック時間が20%減少しました。
• 技術スタック: エージェントはStrands SDKを使用し、Amazon EKS上で動作し、モデル推論にはAmazon Bedrockを活用しています。
• 方法論: プロジェクトではAI-DLCを採用し、要件に対して「モブ elaboration」、実装に対して「モブ construction」を重視しています。
• アーキテクチャ転換: チームは既存のCI/CDインフラとの整合性を図るため、エージェントをAmazon Bedrock AgentCoreからAmazon EKSへ移行しました。

なぜ重要か

エンジニアリングリードやプラットフォームチームにとって、このケーススタディは、人間の意思決定を中心にAI開発を構造化することの価値を浮き彫りにします。多くの組織は、コードは生成するもののアーキテクチャの一貫性に欠けるAIプロジェクトに苦慮しています。AIが計画を生成し、人間がリアルタイムでそれを検証するモブセッションを利用することで、Rescaleは非同期ハンドオフという一般的な落とし穴を回避しました。このアプローチにより、コーディング開始前にフェーズ1とフェーズ2に何を含めるかなどの重要な境界線が明示的に定義されました。

エージェントをCI/CDパイプラインに統合することは、退屈な作業（toil）を削減するための実践的な青写真も提供します。テストスイートの複雑性が増すにつれ、手動でのトリアージは持続不可能になります。失敗分析の初回パスを自動化することで、シニアエンジニアはアーキテクチャや製品判断といった高付加価値タスクに集中できます。MCPのような標準化されたプロトコルの使用は、基盤インフラが変化する中でもこれらのエージェントが柔軟性と保守性を維持することをさらに保証します。

実施できること

• 摩擦の高いワークフローの特定: 複数のソースからデータを収集する、CI/CDやオンコールローテーションにおける反復的なタスクを探してください。
• 構造化されたAI手法の採用: アーキテクチャ制御を維持するために、要件の詳細化とコード生成を分離するAI-DLCのようなフレームワークを検討してください。
• 小規模なスコープから開始: フェーズ1の明確な境界を定義し、コアロジックが安定するまで、プルリクエストの自動生成などの複雑な機能は後回しにしてください。
• 評価ハーネスの使用: ゴールデンデータセットに対するエージェントの精度を測定するために、ライブモードとスタブモードを持つPyTestベースのフレームワークを構築してください。
• 既存インフラの活用: 運用オーバーヘッドを減らし、統合を簡素化するために、エージェントを現在のKubernetesクラスター内でホストしてください。
• プロンプトの反復改善: 分類一致率を時間とともに向上させるために、プロンプトエンジニアリングとトレーニングデータを継続的に洗練させてください。