Xây dựng với AI

Tối ưu hóa thời gian khởi động lạnh của Amazon Bedrock AgentCore V2 bằng snapshot

Amazon Bedrock AgentCore V2 sử dụng snapshot microVM để giảm độ trễ khi khởi tạo phiên làm việc. Các kỹ sư có thể tối ưu hiệu năng bằng cách chuyển công việc khởi tạo sang giai đoạn build.

Một khối kính chứa bảng mạch điện tử đông cứng bên trong, tượng trưng cho snapshot microVM giải phóng các dòng dữ liệu.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Amazon Web Services đã cập nhật runtime Amazon Bedrock AgentCore lên phiên bản V2, giới thiệu kiến trúc dựa trên snapshot nhằm đẩy nhanh tốc độ khởi động phiên cho các AI agent. Được phát hành vào tháng 11 năm 2026, bản cập nhật này chuyển gánh nặng khởi tạo từ mỗi phiên người dùng mới sang một quy trình build duy nhất, giúp giảm đáng kể độ trễ cho các ứng dụng tương tác. Thay đổi này đòi hỏi các nhà phát triển phải tái cấu trúc cách agent xử lý import, kết nối client và tải dữ liệu tĩnh để tận dụng tối đa khả năng bảo toàn bộ nhớ mới.

Chuyện gì đã xảy ra

Runtime Amazon Bedrock AgentCore cung cấp một môi trường serverless, nơi mỗi phiên agent chạy trong một microVM riêng biệt. Trong kiến trúc V1 trước đây, mỗi phiên mới đều yêu cầu kéo image container từ Amazon Elastic Container Registry, khởi động container và chạy mã khởi tạo trước khi xử lý yêu cầu đầu tiên. Quy trình này khiến thời gian khởi động lạnh tăng tỷ lệ thuận với kích thước image, gây ra độ trễ rõ rệt cho người dùng khi chờ phản hồi đầu tiên.

V2 thay đổi luồng hoạt động này bằng cách chỉ thực hiện các công việc nặng một lần duy nhất. Khi một runtime được tạo hoặc cập nhật, nền tảng sẽ khởi động container, chờ ping xác nhận trạng thái khỏe mạnh, sau đó đóng băng trạng thái microVM thành một snapshot. Snapshot này bao gồm trạng thái bộ nhớ và ổ đĩa của ứng dụng đã được khởi tạo. Đối với các phiên tiếp theo, nền tảng chỉ cần khôi phục snapshot này vào một microVM mới, cho phép quá trình tiếp tục chính xác từ điểm nó dừng lại. Cách tiếp cận này thu hồi bộ nhớ không sử dụng và đảm bảo thời gian khởi động phiên nhanh hơn và ổn định hơn, mặc dù nó làm tăng thời gian cần thiết để tạo hoặc cập nhật runtime.

Cơ chế hoạt động

Cơ chế cốt lõi dựa vào việc chụp trạng thái của ứng dụng sau khi khởi tạo nhưng trước khi bắt đầu xử lý lưu lượng truy cập của người dùng. Trong giai đoạn build, runtime xóa cache file của hệ điều hành để giữ cho snapshot nhỏ gọn, sau đó đóng băng microVM. Khi một phiên mới đến, snapshot được khôi phục, đưa tất cả các import, đối tượng và client trở lại bộ nhớ ngay lập tức. Tuy nhiên, việc đọc file không được kế thừa vì cache đã bị xóa; thay vào đó, các file từ image container được tải lười (lazy load) khi truy cập lần đầu.

Hành vi này tạo ra các đặc tính hiệu suất khác nhau cho từng loại công việc. Dữ liệu nằm trong bộ nhớ, chẳng hạn như thư viện đã tải và client đã khởi tạo, có sẵn ở tốc độ bộ nhớ ngay lập tức. Tuy nhiên, các kết nối mạng trở nên lỗi thời (stale) sau khi khôi phục và phải được kết nối lại. Các nhà phát triển cần phân biệt giữa công việc tĩnh, có thể snapshot, và dữ liệu động, không thể snapshot. Để hỗ trợ các thiết lập phức tạp, V2 giới thiệu các build hook cho phép agent chuẩn bị sẵn sàng các công cụ bên ngoài hoặc tải các file lớn vào bộ nhớ trong quá trình tạo snapshot, đảm bảo chúng sẵn sàng để sử dụng ngay khi phiên được khôi phục.

Chi tiết quan trọng

  • Thời điểm snapshot: Snapshot được xây dựng một lần cho mỗi thao tác tạo hoặc cập nhật, mất vài phút, thay vì mỗi khi bắt đầu phiên.
  • Bảo toàn bộ nhớ: Các đối tượng và import nằm trong bộ nhớ tại thời điểm snapshot được khôi phục ngay lập tức, trong khi cache file bị xóa để giảm thiểu kích thước snapshot.
  • Tải file lười (Lazy loading): Các file từ image container được tải khi đọc lần đầu, nghĩa là các file lớn không nằm trong bộ nhớ sẽ gây ra độ trễ khi truy cập lần đầu.
  • Build hooks: Các endpoint HTTP mới cho phép agent thực hiện các tác vụ khởi động thêm, chẳng hạn như tải binary trình duyệt hoặc công cụ CLI, trong quá trình build snapshot.
  • Metrics: Chi phí overhead của nền tảng được theo dõi qua OverheadLatency trong CloudWatch, trong khi tổng thời gian đến byte đầu tiên được theo dõi qua Latency.
  • Xử lý mạng: Các socket mạng lỗi thời phải được đóng trước khi snapshot để tránh lỗi kết nối, mặc dù một số client như boto3 tự động kết nối lại.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng trải nghiệm AI tương tác, chẳng hạn như chatbot hoặc trợ lý giọng nói, chỉ hai giây độ trễ cũng có thể làm giảm sự hài lòng của người dùng. Kiến trúc V2 mở ra con đường đạt được thời gian khởi động dưới một giây, nhưng chỉ nếu ứng dụng được cấu trúc đúng cách. Việc chuyển công việc khởi tạo từ request handler sang giai đoạn build giảm chi phí cho mỗi phiên, nhưng lại tăng mức tiêu thụ bộ nhớ của mỗi phiên. Các nhà phát triển phải cân bằng những đánh đổi này, đảm bảo rằng dữ liệu giữ trong bộ nhớ xứng đáng với việc tăng mức sử dụng tài nguyên.

Hiểu rõ sự khác biệt giữa thời gian khởi tạo (init time) và độ trễ yêu cầu (request latency) là rất quan trọng để tối ưu hóa hiệu quả. Thời gian khởi tạo giờ đây góp phần vào thời lượng triển khai thay vì độ trễ mà người dùng cảm nhận. Bằng cách đo lường OverheadLatency và tách nó khỏi thời gian logic ứng dụng, các nhóm có thể xác định xem độ trễ xuất phát từ việc nền tảng khôi phục snapshot hay từ mã kém hiệu quả đang chạy trong handler. Khả năng hiển thị này cho phép cải thiện có mục tiêu, chẳng hạn như pre-load các mô hình lớn hoặc biên dịch bytecode trong giai đoạn build.

Bạn có thể làm gì

  • Chuyển khởi tạo sang lúc startup: Di chuyển các import, tạo client và tải dữ liệu tĩnh để chúng diễn ra trước app.run() nhằm được ghi lại trong snapshot.
  • Sử dụng build hooks cho công cụ bên ngoài: Triển khai các endpoint HTTP để tải các binary lớn, chẳng hạn như trình duyệt hoặc CLI, vào bộ nhớ trong quá trình build snapshot.
  • Giữ dữ liệu tĩnh trong bộ nhớ: Đọc các file tham chiếu lớn vào các đối tượng trong quá trình init thay vì đọc chúng từ đĩa trong mỗi yêu cầu.
  • Quản lý kết nối mạng: Đóng các kết nối mạng tồn tại lâu dài trước khi snapshot được thực hiện để ngăn chặn lỗi socket lỗi thời khi khôi phục.
  • Biên dịch bytecode một cách tường minh: Đặt các biến môi trường như UV_COMPILE_BYTECODE=1 để đảm bảo các dependency được biên dịch trong quá trình init, tránh độ trễ biên dịch trong các phiên mới.
  • Theo dõi các metrics cụ thể: Theo dõi OverheadLatency để đo thời gian khôi phục của nền tảng và trừ nó khỏi tổng Latency để cô lập hiệu suất ứng dụng.
  • #aws
  • #serverless
  • #ai-agents
  • #performance
  • #bedrock

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết