AI agent

Cách đội ngũ Claude Code mở rộng các vòng lặp xác minh AI

Đội ngũ Claude Code chia sẻ cách họ sử dụng kiểm thử end-to-end, kiểm thử thuộc tính và kiểm thử khác biệt để xác minh mã do agent tạo ra ở quy mô lớn.

Một cánh tay robot đang kiểm tra bảng mạch với các ký hiệu xác minh.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Đội ngũ Claude Code tại Anthropic hiện đã để Claude viết và xem xét khoảng chín mươi phần trăm mã nguồn của mình. Trong một bài đăng blog vào tháng 11 năm 2026, nhóm đã chi tiết hóa cách họ sử dụng các vòng lặp xác minh có cấu trúc để duy trì chất lượng trong khi mở rộng việc sử dụng agent. Cách tiếp cận này cho phép họ chạy hàng chục hoặc hàng trăm agent song song bằng cách tự động hóa quá trình thu thập bằng chứng vốn thường đòi hỏi sự giám sát của con người.

Điều gì đã xảy ra

Ở quy mô này, việc kiểm tra thủ công trở thành nút thắt cổ chai. Nhóm nhận thấy rằng nếu không có xác minh tự động, kỹ sư chỉ có thể quản lý một hoặc hai agent cùng lúc vì mỗi đầu ra đều cần được kiểm tra cá nhân. Bằng cách trang bị cho các agent khả năng tự xác minh công việc của chúng dựa trên các tiêu chí cụ thể, họ đã giải phóng khả năng xử lý song song khổng lồ. Thử nghiệm nội bộ cho thấy việc sử dụng một bộ chấm điểm riêng biệt để kiểm tra việc tạo tệp có cấu trúc đã cải thiện tỷ lệ thành công của tác vụ lên tới mười điểm, với những lợi ích đáng kể nhất xuất hiện ở các vấn đề khó nhất.

Insight cốt lõi là các nhiệm vụ xác minh, từng rất tốn kém đối với con người, giờ đây lại rẻ đối với các agent. Các agent có thể nhanh chóng tạo ra các bài kiểm thử, benchmark và đặc tả kỹ thuật. Sau khi được tạo, các tài liệu này hoạt động như phần mềm tiêu chuẩn, cho phép thực thi thường xuyên mà không tiêu tốn thêm token. Nhóm khép kín vòng lặp bằng cách sử dụng kết quả kiểm thử để cập nhật các quy tắc của agent, chẳng hạn như thêm các ràng buộc rõ ràng vào các tệp cấu hình khi một agent liên tục thất bại trong một bước kiểm tra cụ thể.

Cách thức hoạt động

Nhóm ưu tiên ba loại kiểm thử cụ thể để đảm bảo độ vững chắc. Thứ nhất, họ ưa chuộng các bài kiểm thử end-to-end (E2E) hơn là kiểm thử đơn vị vì các bài kiểm thử E2E mô tả luồng người dùng thực tế và khó bị qua mặt. Trong khi các bài kiểm thử đơn vị có thể vẫn đạt dù tính năng bị lỗi, các bài kiểm thử E2E cung cấp tiêu chí hoàn thành dứt khoát và bằng chứng thất bại cụ thể, chẳng hạn như ảnh chụp màn hình. Các agent sử dụng các công cụ như CDP hoặc trình giả lập để tương tác với hệ thống đang chạy, được hướng dẫn bởi các bản đồ tính năng liệt kê các đường đi và kết quả mong đợi.

Thứ hai, họ sử dụng kiểm thử thuộc tính để bắt các trường hợp biên mà con người và agent thường bỏ sót. Thay vì kiểm thử các đầu vào cụ thể, kiểm thử thuộc tính định nghĩa các bất biến luôn phải đúng, chẳng hạn như tính nhất quán của mã hóa vòng lặp hoặc số dư tài khoản không âm. Các thư viện như fast-check hoặc Hypothesis tạo ra hàng nghìn đầu vào ngẫu nhiên để cố gắng phá vỡ các quy tắc này, cung cấp một bước kiểm tra khách quan đối với mã do agent tạo ra. Thứ ba, đối với các cuộc di chuyển quy mô lớn, họ áp dụng kiểm thử khác biệt. Những bài kiểm thử này so sánh đầu ra của hệ thống cũ và mới bằng cách sử dụng cùng một đầu vào, đánh dấu mọi sai lệch là các lỗi tiềm ẩn.

Chi tiết chính

  • Các vòng lặp xác minh cho phép các nhóm mở rộng từ việc quản lý một hoặc hai agent lên hàng chục hoặc hàng trăm agent chạy song song.
  • Kiểm thử end-to-end được ưa chuộng vì chúng xác thực các luồng người dùng thực tế và cung cấp bằng chứng thất bại cụ thể.
  • Kiểm thử thuộc tính sử dụng việc tạo đầu vào ngẫu nhiên để tìm các trường hợp biên mà các agent dễ bị thiên kiến có thể bỏ qua.
  • Kiểm thử khác biệt so sánh đầu ra của hệ thống cũ và mới để phát hiện hồi quy trong quá trình di chuyển.
  • Các agent cố gắng sửa các bước kiểm tra thất bại trong ba vòng trước khi leo thang vấn đề lên người xem xét là con người.
  • Các quy tắc xác minh được lưu trữ trong các nhánh mà agent không thể sửa đổi, ngăn chúng thay đổi tiêu chí chấm điểm của chính mình.

Tại sao điều này quan trọng

Đối với các nhà lãnh đạo kỹ thuật và lập trình viên xây dựng với AI agent, sự thay đổi này chuyển đổi mô tả công việc chính từ việc đọc mọi diff sang việc định nghĩa thế nào là "hoàn thành". Bằng cách đầu tư vào các lớp xác minh mạnh mẽ, các nhóm có thể ủy quyền nhiều tác vụ phức tạp hơn cho các agent mà không hy sinh chất lượng. Chìa khóa là coi xác minh như một hệ thống cần được bảo trì, tinh chỉnh và bảo vệ khỏi chính các agent mà nó đánh giá.

Cách tiếp cận này cũng giảm tải nhận thức cho người xem xét là con người. Thay vì săn lùng lỗi, người xem xét tập trung vào kiến trúc cấp cao và xử lý các trường hợp biên mà tự động hóa bỏ sót. Phương pháp của nhóm sử dụng "chế độ quan sát" cho các cổng kiểm tra mới cho phép họ tinh chỉnh độ nhạy cảm mà không chặn quá trình phát triển, đảm bảo rằng các cảnh báo dương tính giả không làm gián đoạn quy trình làm việc. Sự cân bằng giữa tự động hóa và giám sát của con người là yếu tố then chốt cho sự phát triển bền vững hỗ trợ bởi AI.

Bạn có thể làm gì

  • Tạo một kỹ năng verify trong repository của bạn để định nghĩa cách khởi động và kiểm thử ứng dụng của bạn theo cách end-to-end.
  • Ưu tiên viết các bài kiểm thử E2E bao phủ các hành trình người dùng quan trọng thay vì chỉ dựa vào kiểm thử đơn vị.
  • Triển khai kiểm thử thuộc tính cho logic cốt lõi để bắt các trường hợp biên bằng cách sử dụng việc tạo đầu vào ngẫu nhiên.
  • Lưu trữ các quy tắc xác minh và hướng dẫn xem xét trong các tệp như REVIEW.md trên các nhánh được bảo vệ.
  • Cấu hình các agent để chạy các bài kiểm thử cục bộ và linter trước khi mở pull request để tiết kiệm tài nguyên CI.
  • Thường xuyên xem xét các thay đổi bị hoàn tác và các bài kiểm thử thất bại để cập nhật các quy tắc xác minh của bạn và ngăn ngừa tái diễn.
  • #ai agents
  • #software testing
  • #claude code
  • #verification
  • #engineering practices

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết