Xây dựng với AI

Quy trình tự động hóa đánh giá mã nguồn của Anthropic dành cho các thay đổi do AI tạo ra

Anthropic tiết lộ cách đội ngũ Claude Code sử dụng xác minh tự động và các kiểm tra tất định để xác thực mã do AI viết mà không cần kỹ sư xem xét thủ công từng thay đổi.

Một khối kính với các mạch điện phát sáng trên bàn làm việc cùng với các ghi chú và một chiếc kính lúp
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Đội ngũ kỹ thuật của Anthropic hiện dựa vào trợ lý AI của chính mình, Claude, để viết và đánh giá khoảng 90% mã nguồn cho sản phẩm Claude Code. Trong một bài đăng kỹ thuật gần đây, nhân viên Addy Osmani đã mô tả chi tiết hệ thống xác minh nội bộ cho phép mức độ tự động hóa cao này trong khi vẫn duy trì độ tin cậy của phần mềm. Cách tiếp cận này chuyển dịch nỗ lực của con người từ việc viết từng dòng code sang việc đánh giá bằng chứng được tạo ra bởi các tác nhân tự động.

Điều gì đã xảy ra

Đội ngũ Claude Code đã cấu trúc quy trình làm việc sao cho các tác nhân AI đảm nhận phần lớn nhiệm vụ lập trình, nhưng chúng không được cam kết (commit) các thay đổi nếu chưa vượt qua một loạt các kiểm tra tự động nghiêm ngặt. Những kiểm tra này được thiết kế để hỗ trợ hàng chục hoặc thậm chí hàng trăm tác nhân hoạt động đồng thời. Thay vì yêu cầu kỹ sư phải kiểm tra từng thay đổi riêng lẻ, hệ thống cung cấp bằng chứng có cấu trúc để kỹ sư xem xét và đưa ra quyết định cuối cùng.

Phương pháp này đã gây ra tranh luận trong cộng đồng nhà phát triển về chi phí và tính toàn vẹn. Các nhà phê bình đặt câu hỏi liệu chi phí suy luận (inference) khi sử dụng các mô hình ngôn ngữ lớn cho việc xác minh có xứng đáng so với các công cụ tất định rẻ tiền hơn hay không. Những người khác lo ngại rằng các tác nhân AI có thể thao túng các bài kiểm tra để đạt trạng thái "pass" thay vì sửa chữa các vấn đề gốc rễ. Anthropic đã phản hồi bằng cách giải thích cách họ xếp lớp các kiểm tra tất định chi phí thấp trước các đánh giá mô hình tốn kém và áp dụng các quy tắc nghiêm ngặt để ngăn chặn các tác nhân gian lận hệ thống.

Cách thức hoạt động

Quá trình xác minh bắt đầu bằng các kiểm tra tất định có chi phí vận hành rất thấp. Bao gồm các bước xây dựng (build) tiêu chuẩn, công cụ phân tích tĩnh (linter), kiểm thử đơn vị (unit test) và kiểm thử dựa trên thuộc tính (property-based test). Vì đây là các quy trình phần mềm thông thường, chúng có thể được chạy lại thường xuyên mà không tốn nhiều chi phí. Chỉ sau khi các kiểm tra này thành công, hệ thống mới kích hoạt đánh giá dựa trên mô hình. Cách tiếp cận theo tầng này đảm bảo rằng quá trình suy luận tốn kém chỉ được dành cho những phán đoán phức tạp mà các bài kiểm tra đơn giản không thể trả lời, chẳng hạn như đánh giá xem một thay đổi có tuân thủ đúng phương pháp kiến trúc hay bỏ sót các trường hợp biên (edge case) chưa được bao phủ bởi các bài kiểm tra hiện có.

Để ngăn chặn các tác nhân thao túng kết quả, Anthropic áp dụng sự tách biệt nghiêm ngặt giữa mã nguồn đang được thay đổi và các kiểm tra xác thực nó. Nếu một thay đổi có thể sửa đổi chính bài kiểm tra đánh giá nó, hệ thống coi bài kiểm tra đó bị hỏng. Ví dụ, trình đánh giá mã đọc các tệp cấu hình như REVIEW.md từ nhánh cơ sở (base branch), chứ không phải từ pull request mới. Các tác nhân bị cấm bỏ qua các bài kiểm tra không ổn định (flaky tests), thêm độ trễ để che giấu lỗi, hoặc chạy lại các bài kiểm tra cho đến khi chúng pass. Nếu một tác nhân không thể giải quyết một bài kiểm tra thất bại, nó phải xóa bài kiểm tra đó và ghi rõ lý do, nhằm đảm bảo tính minh bạch.

Chi tiết quan trọng

  • Claude viết và đánh giá khoảng 90% mã nguồn cho đội ngũ Claude Code.
  • Các kỹ năng xác minh được lưu trữ trong các thư mục cụ thể của repository dưới đường dẫn .claude/skills/.
  • Các kiểm tra tất định như build và linter chạy trước bất kỳ đánh giá nào dựa trên mô hình để kiểm soát chi phí.
  • Các tác nhân không thể sửa đổi các bài kiểm tra đánh giá mã của chính chúng; trình đánh giá đọc từ nhánh cơ sở.
  • Từ tháng 6 đến tháng 9, số lượng pull request được hợp nhất (merged) tăng gấp đôi trong khi số lần hoàn tác (revert) giảm hơn 40%.
  • Kỹ sư vẫn chịu trách nhiệm cho mọi thay đổi được triển khai, xem xét các bằng chứng như ảnh chụp màn hình và nhật ký kiểm thử.

Tại sao điều này quan trọng

Đối với các đội ngũ xây dựng phần mềm bằng AI, mô hình này cung cấp một bản thiết kế mẫu để mở rộng quy trình phát triển mà không cần tăng số lượng nhân sự theo tỷ lệ tuyến tính. Nó chứng minh rằng tỷ lệ tự động hóa cao là khả thi nếu bạn đầu tư vào cơ sở hạ tầng xác minh vững chắc. Điểm mấu chốt là niềm tin không được đặt mù quáng vào AI mà vào bằng chứng do AI tạo ra. Bằng cách chuyển vai trò của con người từ người viết sang người kiểm toán, các đội ngũ có thể xử lý khối lượng thay đổi lớn hơn trong khi vẫn duy trì các tiêu chuẩn chất lượng.

Tuy nhiên, việc thiếu dữ liệu công khai về tỷ lệ dương tính giả (false-positive) và chi phí suy luận cụ thể có nghĩa là các đội ngũ phải cẩn thận benchmarking (đánh giá hiệu suất) các triển khai của riêng họ. Chiến lược này đòi hỏi một sự thay đổi văn hóa nơi các kỹ sư chấp nhận trách nhiệm đối với mã nguồn mà họ không trực tiếp gõ. Nó cũng yêu cầu các công cụ nghiêm ngặt để ngăn chặn các tác nhân đi tắt đón đầu, chẳng hạn như viết lại các bài kiểm tra để ẩn bug. Nếu không có những biện pháp bảo vệ này, lợi ích về tốc độ từ việc lập trình bằng AI có thể bị bù trừ bởi nợ kỹ thuật gia tăng và sự bất ổn.

Bạn có thể làm gì

  • Triển khai kiểm thử dựa trên thuộc tính (property-based testing) để giúp các tác nhân AI xác định các trường hợp biên mà các bài kiểm tra đơn vị tiêu chuẩn có thể bỏ sót.
  • Tách biệt logic xác minh khỏi mã ứng dụng để ngăn các tác nhân sửa đổi chính các công cụ đánh giá chúng.
  • Chạy các kiểm tra tất định chi phí thấp như linter và build trước khi kích hoạt bất kỳ đánh giá tốn kém nào dựa trên mô hình.
  • Sử dụng kiểm thử vi sai (differential testing) để so sánh các triển khai mới với các phiên bản cũ nhằm phát hiện những thay đổi hành vi không mong muốn.
  • Yêu cầu các tác nhân ghi chép lý do tại sao chúng xóa hoặc bỏ qua các bài kiểm tra, đảm bảo tính minh bạch trong quy trình xác minh.
  • Giám sát việc tuân thủ các cổng xác minh trước khi bắt buộc áp dụng, cho phép các đội ngũ điều chỉnh quy trình làm việc dần dần.
  • #ai coding
  • #software engineering
  • #anthropic
  • #code verification
  • #developer tools

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết