AI agent

Kiến trúc các agent luôn hoạt động với hộp thư sự kiện và bộ nhớ bền vững

Phân tích kỹ thuật về năm thành phần cốt lõi cần thiết để xây dựng các tác nhân AI có trạng thái, chủ động vận hành qua nhiều phiên mà không cần giám sát liên tục.

Hình minh họa một chiếc đồng hồ cát kỹ thuật số trên giá đỡ máy chủ, đại diện cho các lần chạy tác nhân theo thời gian và lưu trữ dữ liệu an toàn.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Khái niệm về các tác nhân trí tuệ nhân tạo (AI) luôn hoạt động đang ngày càng phổ biến khi năng lực của mô hình được cải thiện và chi phí giảm xuống. Các hệ thống này không chạy liên tục mà thay vào đó sẽ thức dậy định kỳ để xử lý sự kiện, thực thi tác vụ và quay trở lại trạng thái ngủ đông. Sự chuyển dịch kiến trúc này cho phép phần mềm hành động chủ động thay vì chỉ phản hồi theo các lời nhắc trực tiếp từ người dùng.

Những tiến bộ gần đây trong các mô hình ngôn ngữ lớn đã làm cho phương pháp tiếp cận này khả thi hơn bằng cách cải thiện khả năng phán đoán và giảm chi phí cho mỗi tác vụ đối với các công việc dài hạn. Ví dụ, các mô hình mới hơn đã chứng minh mức giảm chi phí đáng kể trên các bài kiểm tra lập trình phức tạp so với thế hệ trước. Hiện nay, các nhà phát triển đang khám phá cách tích hợp những hành vi có trạng thái, bền vững này vào sản phẩm của họ, vượt ra ngoài các giao diện trò chuyện đơn giản để hướng tới quy trình làm việc tự động.

Điều gì đã xảy ra

Các tác nhân luôn hoạt động được định nghĩa bởi khả năng duy trì ngữ cảnh qua các phiên rời rạc và thực hiện hành động mà không cần sự giám sát ngay lập tức từ con người. Mặc dù chúng có vẻ như luôn hoạt động liên tục từ góc độ người dùng, nhưng hệ thống nền tảng thực tế vận hành theo chu kỳ. Mỗi chu kỳ, được gọi là một lần chạy (run), bắt đầu khi một sự kiện kích hoạt tác nhân, trải qua quá trình thực thi tác vụ và kết thúc bằng việc tác nhân lưu trữ trạng thái trước khi ngủ đông trở lại.

Kiến trúc hỗ trợ các tác nhân này dựa trên năm thành phần cụ thể: hộp thư sự kiện (event inbox), bộ đếm thời gian (timers), bộ nhớ (memory), quyền hạn (permissions) và hộp thư gửi đi (outbox). Những thành phần này quản lý thời điểm tác nhân thức dậy, thông tin nào nó giữ lại và cách nó tương tác an toàn với các hệ thống bên ngoài. Thiết kế ưu tiên tính bền vững và an toàn, đảm bảo rằng các sự kiện không bị mất trong trường hợp gặp sự cố và các hành động nhạy cảm được kiểm soát đúng cách.

Cấu trúc này tách biệt cơ chế kích hoạt khỏi logic thực thi. Thay vì các dịch vụ bên ngoài gọi trực tiếp đến tác nhân, điều có thể dẫn đến tình huống tranh chấp (race conditions) hoặc mất dữ liệu, các sự kiện được xếp hàng đợi trong một kho lưu trữ bền vững. Một worker nền sau đó xử lý tuần tự hoặc theo lô các sự kiện này, đảm bảo rằng trạng thái của tác nhân nhất quán và không có công việc nào bị trùng lặp hoặc bỏ sót do các lỗi tạm thời.

Cách thức hoạt động

Hộp thư sự kiện đóng vai trò như hệ thần kinh trung ương cho các tín hiệu kích hoạt đầu vào. Nó bao gồm một bảng cơ sở dữ liệu bền vững, một HTTP handler và một worker nền. Khi một nguồn bên ngoài gửi webhook hoặc một tác vụ theo lịch trình được kích hoạt, handler sẽ ghi sự kiện vào cơ sở dữ liệu và xác nhận đã nhận nhanh chóng. Điều này ngăn chặn nguồn gửi bị hết thời gian chờ (timeout) trong khi vẫn cho phép thực hiện xác minh sâu hơn sau đó trong quá trình chạy.

Worker sẽ thăm dò (poll) hộp thư để tìm các sự kiện đang chờ xử lý. Nếu có nhiều sự kiện đến cho cùng một người dùng, worker có thể gộp chúng thành một lần chạy duy nhất để nâng cao hiệu quả. Quan trọng là, tại bất kỳ thời điểm nào, chỉ nên có một worker hoạt động cho mỗi hộp thư để tránh các sửa đổi đồng thời. Nếu một worker gặp lỗi giữa chừng, một instance khác có thể lấy sự kiện chưa được xử lý từ cơ sở dữ liệu, đảm bảo độ tin cậy.

Bộ đếm thời gian cho phép hành vi chủ động bằng cách lên lịch các hành động trong tương lai. Chúng được lưu trữ trong một bảng bền vững riêng biệt và được quản lý bởi một dịch vụ lập lịch (scheduler). Scheduler quét các bộ đếm thời gian đến hạn, cập nhật trạng thái của chúng và đưa các sự kiện tương ứng vào hộp thư. Điều này cho phép tác nhân theo dõi các nhiệm vụ trước đó hoặc thực hiện các trách nhiệm định kỳ như gửi bản tóm tắt hàng ngày mà không cần các tín hiệu kích hoạt bên ngoài liên tục.

Bộ nhớ được xử lý thông qua một hệ thống dựa trên tệp ánh xạ tới lưu trữ bền vững. Tác nhân tải các hướng dẫn của người dùng, ghi chú, tin nhắn cũ và các tệp tiến độ tác vụ vào đầu mỗi lần chạy. Để giữ cho cửa sổ ngữ cảnh dễ quản lý và chi phí thấp, ban đầu chỉ các chỉ mục thiết yếu được tải, còn các tệp chi tiết chỉ được truy xuất khi cần thiết. Sự phân tách này đảm bảo rằng thông tin quan trọng vẫn tồn tại ngay cả khi worker khởi động lại.

Chi tiết chính

  • Các tác nhân luôn hoạt động vận hành trong các lần chạy rời rạc được kích hoạt bởi sự kiện, thay vì chạy liên tục.
  • Hộp thư sự kiện tách biệt nguồn sự kiện khỏi tác nhân, sử dụng cơ sở dữ liệu để đảm bảo tính bền vững và ngăn ngừa mất dữ liệu.
  • Bộ đếm thời gian cho phép các tác nhân lên lịch theo dõi và các nhiệm vụ định kỳ, đưa sự kiện vào hộp thư khi đến hạn.
  • Bộ nhớ được lưu trữ bên ngoài dưới dạng tệp hoặc đối tượng, chứa sở thích người dùng, tiến độ tác vụ và lịch sử hội thoại.
  • Quyền hạn được quản lý thông qua proxy thông tin đăng nhập và các bộ phân loại ở chế độ tự động, với các lệnh gọi công cụ bị hoãn lại cho các hành động rủi ro cao.
  • Hộp thư gửi đi cung cấp kết quả cuối cùng cho người dùng, tránh việc phải truyền trực tiếp (streaming) mọi bước trung gian của quá trình suy luận.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng sản phẩm AI, kiến trúc này giải quyết các vấn đề về độ tin cậy vốn có trong các giao diện trò chuyện không có trạng thái (stateless). Bằng cách coi các sự kiện là hồ sơ bền vững trong cơ sở dữ liệu, các nhà phát triển có thể đảm bảo rằng không có yêu cầu nào của người dùng bị mất do lỗi mạng hoặc khởi động lại máy chủ. Độ tin cậy này là rất cần thiết đối với các công cụ chuyên nghiệp, nơi việc bỏ sót một nhiệm vụ có thể gây ra hậu quả nghiêm trọng.

Việc tách biệt bộ nhớ khỏi cửa sổ ngữ cảnh ngay lập tức cũng giải quyết các lo ngại về chi phí và hiệu suất. Khi các tác nhân tham gia vào các cuộc hội thoại dài hơn và các nhiệm vụ phức tạp hơn, việc giữ toàn bộ lịch sử trong prompt trở nên đắt đỏ và chậm chạp. Việc ngoại hóa bộ nhớ cho phép tác nhân duy trì ngữ cảnh dài hạn mà không làm phình to từng yêu cầu đơn lẻ, giúp hệ thống có khả năng mở rộng cho mức sử dụng nặng.

Hơn nữa, mô hình quyền hạn cung cấp một lưới an toàn cần thiết cho các hành động tự động. Bằng cách hoãn các lệnh gọi công cụ rủi ro cao và sử dụng proxy cho thông tin đăng nhập, các nhà phát triển có thể xây dựng các tác nhân hành động thay mặt người dùng mà không phơi bày dữ liệu nhạy cảm hoặc thực hiện các thao tác nguy hiểm mà không được kiểm soát. Sự cân bằng giữa tính tự chủ và khả năng kiểm soát này là yếu tố then chốt cho việc áp dụng trong doanh nghiệp.

Bạn có thể làm gì

  • Triển khai một hộp thư sự kiện bền vững sử dụng cơ sở dữ liệu quan hệ để xếp hàng đợi các webhook và tác vụ theo lịch trình đầu vào.
  • Thiết kế một worker nền xử lý từng hộp thư một lần để tránh tình huống tranh chấp và công việc trùng lặp.
  • Lưu trữ bộ nhớ của tác nhân trong các tệp bên ngoài hoặc lưu trữ đối tượng, chỉ tải các chỉ mục vào cửa sổ ngữ cảnh ban đầu.
  • Sử dụng proxy thông tin đăng nhập để chèn bí mật (secrets) vào các yêu cầu API, giữ token không nằm trong môi trường trực tiếp của tác nhân.
  • Tạo một dịch vụ scheduler thăm dò bảng bộ đếm thời gian và đưa các sự kiện đến hạn vào hộp thư chính.
  • Xây dựng cơ chế hộp thư gửi đi để cung cấp kết quả tóm tắt cho người dùng thay vì truyền trực tiếp các bước suy luận thô.
  • #ai agents
  • #system architecture
  • #webhooks
  • #backend engineering
  • #llm ops

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết