Cách tiếp cận của Arca đối với các tác nhân tài chính dài hạn và an toàn

Tại hội nghị AI Engineer New York gần đây, Aman Singh, kỹ sư trưởng về AI tại công ty quản lý tài sản Arca, đã trình bày chi tiết cách đội ngũ của anh xây dựng các tác nhân cho những quy trình tài chính phức tạp kéo dài nhiều ngày. Công ty vừa huy động thành công 48,5 triệu USD trong vòng gọi vốn do General Catalyst dẫn đầu, với sự hỗ trợ từ Index Ventures và Venrock, nhằm mở rộng cơ sở hạ tầng gốc AI này.

Điều gì đã xảy ra

Singh giải thích rằng mặc dù các tác nhân AI đảm nhận phần lớn công việc phân tích nền tảng và chuẩn bị tại Arca, chúng không hoạt động độc lập. Công ty đã triển khai các rào chắn bảo vệ nghiêm ngặt, đảm bảo rằng các cố vấn con người vẫn giữ quyền quyết định cuối cùng, đặc biệt là đối với các hành động rủi ro cao như giao dịch hoặc chuyển tiền. Cấu trúc này đảo ngược mô hình tương tác truyền thống, nơi con người thường ra lệnh cho bot. Thay vào đó, các tác nhân phân tích dữ liệu, đề xuất giải pháp, sau đó yêu cầu các cố vấn con người xem xét và phê duyệt từng bước cụ thể.

Bản chất của việc lập kế hoạch tài chính đòi hỏi loại công việc mà Singh gọi là "dài hạn" (long-horizon). Khác với các tác vụ truy vấn-phản hồi đơn giản, quy trình làm việc của tác nhân tại Arca có thể kéo dài tới mười ngày. Các quy trình này mang tính gián đoạn, liên quan đến nhiều bên tham gia, các điểm ra quyết định và sự bàn giao giữa hệ thống tự động và nhân viên con người. Để quản lý độ phức tạp này, Arca đã phát triển một hệ thống bộ nhớ nội bộ duy trì tính bền vững cho từng khách hàng. Hệ thống này theo dõi những gì đã xảy ra, những gì đang chờ xử lý trong tương lai gần và những gì được lên lịch cho dài hạn, đồng thời gán trách nhiệm cho mỗi hành động tới các cá nhân hoặc quy trình tự động cụ thể.

Cách thức hoạt động

Arca dựa vào các mô hình từ các nhà cung cấp lớn, sử dụng Claude làm động cơ chính, nhưng không phụ thuộc vào các công cụ được quản lý của một nhà cung cấp duy nhất. Đội ngũ kỹ thuật đã xây dựng một khung làm việc (harness) tùy chỉnh tự động định tuyến các tác vụ đến mô hình phù hợp nhất dựa trên các bài kiểm tra chuẩn nội bộ. Việc sở hữu lớp điều phối này mang lại cho Arca sự linh hoạt để chuyển đổi nhà cung cấp nếu hiệu suất hoặc động lực chi phí thay đổi, mà không cần viết lại logic ứng dụng cốt lõi.

Bảo mật và an toàn được xử lý thông qua sự kết hợp giữa các quy tắc xác định và môi trường tính toán cô lập. Bản thân các tác nhân không được sandbox hóa hoàn toàn, nhưng bất kỳ mã nào chúng tạo ra để xử lý dữ liệu đều chạy trong các sandbox an toàn. Để ngăn ngừa các rủi ro bảo mật như tấn công chèn prompt (prompt injection) hoặc truy cập dữ liệu trái phép, Arca dịch mã do tác nhân viết sang một định dạng nghiêm ngặt và dự kiến. Mã gốc bị loại bỏ, và chỉ định dạng đã được làm sạch mới được phép tương tác với backend. Điều này cho phép các tác nhân tổng hợp và xử lý dữ liệu cho các kế hoạch tài chính mà không phơi bày cơ sở dữ liệu cốt lõi với mã thực thi tùy ý.

Hơn nữa, tất cả các hạn chế an toàn đều hoàn toàn xác định, loại bỏ sự mơ hồ khỏi các quyết định quan trọng. Nếu một tác vụ liên quan đến rủi ro cho khách hàng, chẳng hạn như thực hiện một giao dịch, tác nhân về mặt kỹ thuật không thể tự mình thực hiện nó. Nó chỉ có thể chuẩn bị phân tích và trình bày để con người phê duyệt. Một "meta-agent" cũng phân tích phản hồi từ các cố vấn con người và dấu vết hoạt động của tác nhân để đề xuất cải tiến cho khung làm việc, tạo ra một vòng lặp tinh chỉnh vận hành liên tục.

Chi tiết chính

• Các tác vụ của tác nhân tại Arca có thể mất tới mười ngày để hoàn thành do bản chất gián đoạn của việc lập kế hoạch tài chính.
• Công ty đã huy động 48,5 triệu USD trong vòng gọi vốn do General Catalyst dẫn đầu, với sự tham gia của Index Ventures và Venrock.
• Arca sử dụng một khung làm việc (harness) tự xây dựng để định tuyến các tác vụ đến mô hình tốt nhất, chủ yếu dựa vào Claude của Anthropic.
• Một hệ thống bộ nhớ nội bộ cung cấp tính bền vững cho từng khách hàng, theo dõi các hành động tức thì và dài hạn qua nhiều lần bàn giao.
• Các hạn chế an toàn là hoàn toàn xác định, đảm bảo các tác nhân không thể thực hiện giao dịch hoặc chuyển tiền mà không có sự phê duyệt của con người.
• Mã do tác nhân tạo ra được dịch sang một định dạng nghiêm ngặt trước khi tiếp cận backend, loại bỏ mã gốc để ngăn chặn các cuộc tấn công chèn.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng hệ thống tác nhân, kiến trúc của Arca nhấn mạnh tầm quan trọng của tính bền vững trong các quy trình làm việc chạy dài. Hầu hết các khung tác nhân hiện tại giả định các tương tác ngắn ngủi, nhưng các tác vụ doanh nghiệp thực tế thường yêu cầu quản lý trạng thái trong vài ngày hoặc vài tuần. Bằng cách xây dựng một hệ thống bộ nhớ chuyên dụng theo dõi ngữ cảnh, trách nhiệm và dòng thời gian, Arca tránh được tình trạng mất ngữ cảnh vốn gây phiền toái cho nhiều triển khai tác nhân đa bước. Cách tiếp cận này đảm bảo rằng khi một tác nhân tiếp tục công việc sau khi con người xem xét hoặc một khoảng thời gian chờ đợi, nó vẫn giữ nhận thức đầy đủ về trạng thái của khách hàng.

Việc tách biệt phân tích khỏi thực thi là một bài học quan trọng khác. Bằng cách giới hạn các tác nhân ở mức đề xuất giải pháp và áp dụng các rào chắn bảo vệ xác định cho các hành động rủi ro cao, Arca giảm thiểu tính khó đoán vốn có của các mô hình ngôn ngữ lớn. Mẫu thiết kế này cho phép các công ty tận dụng tốc độ và phạm vi của AI để xử lý dữ liệu trong khi vẫn duy trì trách nhiệm giải trình và an toàn cần thiết trong các ngành công nghiệp được quản lý chặt chẽ. Nó chứng minh rằng niềm tin vào các hệ thống AI không đến từ việc làm cho mô hình trở nên hoàn hảo, mà từ việc hạn chế khả năng gây hại của nó.

Bạn có thể làm gì

• Triển khai một lớp bộ nhớ bền vững cho các tác nhân của bạn để theo dõi trạng thái qua các quy trình làm việc kéo dài nhiều ngày và các lần bàn giao.
• Xây dựng một khung làm việc định tuyến tùy chỉnh để kiểm tra chuẩn và chọn mô hình tốt nhất cho các tiểu tác vụ cụ thể thay vì phụ thuộc vào một nhà cung cấp duy nhất.
• Áp dụng các rào chắn bảo vệ xác định cho bất kỳ hành động nào liên quan đến rủi ro tài chính, xóa dữ liệu hoặc các tác động phụ bên ngoài.
• Làm sạch mã do tác nhân tạo ra bằng cách dịch nó sang một định dạng nghiêm ngặt và hạn chế trước khi cho phép nó truy cập dữ liệu backend của bạn.
• Sử dụng phản hồi của con người và dấu vết hoạt động của tác nhân để huấn luyện một meta-agent đề xuất cải tiến cho logic điều phối của bạn.
• Thiết kế các quy trình làm việc nơi các tác nhân yêu cầu con người phê duyệt tại các điểm ra quyết định chính, thay vì mong đợi con người khởi xướng mọi tương tác.