Cloud & hạ tầng

Bảo mật AI agent trên Kubernetes với OpenShell và Agent Sandbox

OpenShell cung cấp các cơ chế kiểm soát runtime chi tiết cho AI agent trên Kubernetes, bổ trợ cho khả năng mở rộng tập trung vào chi phí của Agent Substrate.

Một khối kính chứa một robot phát sáng bên trong, được bao quanh bởi các ổ khóa và tấm chắn bảo mật.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

AI agent không còn đơn thuần là những trình gọi API; chúng thực thi lệnh shell, cài đặt gói phần mềm và truy cập hệ thống tệp bằng các thông tin xác thực thường có nguồn gốc từ các nguồn internet không đáng tin cậy. Để giải quyết các rủi ro bảo mật khi chạy mã không đáng tin cậy này, NVIDIA đã ra mắt OpenShell, dự án gần đây đã trở thành một dự án CNCF Sandbox. Hướng dẫn này trình bày chi tiết cách các kỹ sư nền tảng có thể triển khai OpenShell trên Kubernetes để áp dụng các biện pháp cô lập nghiêm ngặt và kiểm soát chính sách cho các agent tự hành.

Chuyện gì đã xảy ra

OpenShell giới thiệu một môi trường runtime đặt mỗi AI agent vào một sandbox riêng biệt, được quản lý bởi một supervisor đáng tin cậy nằm ngoài ngữ cảnh thực thi của agent. Dự án cho phép quản trị viên khai báo các điều khiển cụ thể trong YAML cho quyền truy cập hệ thống tệp, đặc quyền quy trình, kết nối mạng và xử lý thông tin xác thực. Ví dụ, Landlock hạn chế các đường dẫn mà agent có thể đọc hoặc ghi, trong khi seccomp và cấu hình người dùng non-root hạn chế các khả năng của quy trình. Lưu lượng mạng bị chặn theo mặc định, yêu cầu các quy tắc tường minh cho các binary, máy chủ và phương thức HTTP cụ thể.

Việc tích hợp với Kubernetes dựa vào dự án Agent Sandbox từ SIG Apps, thay vì mang theo scheduler riêng. Điều này có nghĩa là các agent OpenShell xuất hiện dưới dạng các đối tượng Kubernetes tiêu chuẩn như Pods, Services và NetworkPolicies. Tuy nhiên, OpenShell bổ sung khả năng hiển thị mà Kubernetes gốc thiếu, chẳng hạn như xác định binary cụ thể nào đã đưa ra yêu cầu hoặc liệu một hành động POST có được phép hay không. Khác với các NetworkPolicy tiêu chuẩn hoạt động ở cấp độ IP và cổng, OpenShell có thể thực thi các chính sách ở tầng ứng dụng, ví dụ: cho phép curl đọc các issue trên GitHub nhưng chặn việc tạo mới chúng.

Một kho lưu trữ demo minh họa quy trình làm việc này trên cụm kind hai nút sử dụng Kubernetes 1.35, Cilium 1.20 và Kyverno 1.18.2. Thiết lập này nhấn mạnh rằng các sandbox hiện được tạo thông qua Gateway API, chứ không phải trực tiếp qua API Kubernetes, mặc dù một custom resource definition (CRD) đang được lên kế hoạch. Kiến trúc sử dụng một pod supervisor cho mỗi agent để đảm bảo sự cô lập mạnh mẽ, một mô hình có thể gặp thách thức về khả năng mở rộng trong các môi trường lớn nếu không có các tối ưu hóa trong tương lai.

Cách thức hoạt động

Gateway OpenShell đóng vai trò là bộ điều khiển trung tâm cho tất cả các sandbox, chuyển đổi các yêu cầu thành các đối tượng Kubernetes thông qua bộ điều khiển Agent Sandbox. Khi người dùng tạo một sandbox, gateway xác thực bên gọi và ghi nhận yêu cầu vào giai đoạn provisioning. Sau đó, nó tạo các NetworkPolicy để chặn mọi lưu lượng outbound từ pod workload, chỉ cho phép kết nối inbound từ supervisor trên một cổng cụ thể. Bộ điều khiển Agent Sandbox sau đó tạo pod workload và persistent volume claim, giữ pod lại bằng scheduling gate cho đến khi các bước kiểm tra bảo mật hoàn tất.

Sau khi pod được chấp nhận, driver xác minh rằng nó chạy với tư cách là người dùng non-root, không có thêm capabilities và sử dụng hồ sơ seccomp mặc định. Nếu các bước kiểm tra này thất bại, quá trình tạo sẽ bị hủy bỏ. Khi thành công, hệ thống khởi động một pod supervisor, kết nối với workload thông qua một service. Supervisor nhận một token ngắn hạn và áp dụng các điều khiển về hệ thống tệp, quy trình và DNS trước khi lệnh của agent bắt đầu. Mọi yêu cầu outbound từ agent đều được định tuyến qua supervisor, nơi xác thực đích đến và phương thức HTTP theo chính sách trước khi mở kết nối upstream.

Kiến trúc này cho phép cập nhật chính sách động mà không cần khởi động lại sandbox. Quản trị viên có thể sửa đổi các quy tắc để cho phép hoặc từ chối các hành động cụ thể, chẳng hạn như chuyển từ chặn tất cả các yêu cầu curl sang cho phép quyền truy cập chỉ đọc vào các API cụ thể. Nhật ký cung cấp khả năng hiển thị chi tiết về các yêu cầu được phép và bị từ chối, đảm bảo các nhóm nền tảng có thể kiểm toán hành vi của agent một cách hiệu quả. Quản lý vòng đời bao gồm việc dừng, khởi động và xóa sandbox, kèm theo dọn dẹp tự động các tài nguyên Kubernetes liên quan.

Chi tiết chính

  • OpenShell sử dụng dự án SIG Apps Agent Sandbox để quản lý các agent dưới dạng Pods, Services và PVCs tiêu chuẩn của Kubernetes.
  • Quyền truy cập hệ thống tệp bị hạn chế bằng Landlock, cho phép quyền chỉ đọc đối với các đường dẫn hệ thống và quyền ghi chỉ đối với các thư mục sandbox được chỉ định.
  • Các chính sách mạng được thực thi ở tầng ứng dụng, cho phép kiểm soát dựa trên binary, máy chủ, cổng và phương thức HTTP thay vì chỉ dựa trên địa chỉ IP.
  • Thông tin xác thực không bao giờ được tiết lộ trực tiếp cho agent; một supervisor thay thế các placeholder bằng khóa thật chỉ tại các endpoint được phép.
  • Việc tạo sandbox hiện tại diễn ra thông qua Gateway API, với một operator CRD Kubernetes được lên kế hoạch cho các bản phát hành trong tương lai.
  • Môi trường demo sử dụng các chính sách Kyverno để thực thi vệ sinh image, giới hạn tài nguyên và các hạn chế RBAC mà các điều khiển Kubernetes gốc không thể xử lý độc lập.

Tại sao điều này quan trọng

Đối với các nhà phát triển phần mềm, xu hướng chuyển dịch sang các agent tự hành giới thiệu bề mặt tấn công bảo mật đáng kể. Các biện pháp bảo mật container truyền thống là không đủ vì các agent chủ động thực thi mã và đưa ra quyết định dựa trên đầu vào bên ngoài. OpenShell giải quyết vấn đề này bằng cách cung cấp thực thi chính sách theo từng yêu cầu, đảm bảo rằng một agent không thể thực hiện các hành động trái phép ngay cả khi nó xâm phạm quy trình của chính mình. Mức độ chi tiết này rất quan trọng đối với các doanh nghiệp triển khai các agent tương tác với hệ thống sản xuất và nắm giữ thông tin xác thực nhạy cảm.

Sự khác biệt giữa OpenShell và các dự án khác như Agent Substrate cũng rất quan trọng đối với các quyết định kiến trúc. Trong khi Substrate tập trung vào việc mở rộng chi phí thấp cho các agent nhàn rỗi thông qua snapshotting và các pod worker chia sẻ, OpenShell ưu tiên kiểm soát chính sách chi tiết và khả năng hiển thị trong hệ sinh thái Kubernetes. Các đội ngũ phải lựa chọn dựa trên ràng buộc chính của họ: nếu chi phí và mật độ là ưu tiên hàng đầu, Substrate có thể phù hợp hơn; nếu bảo mật và khả năng kiểm toán là mối quan tâm chính, OpenShell cung cấp một giải pháp mạnh mẽ hơn được tích hợp với các công cụ Kubernetes hiện có.

Bạn có thể làm gì

  • Cài đặt một plugin CNI như Cilium hỗ trợ thực thi NetworkPolicy cho cả ingress và egress trong cụm của bạn.
  • Triển khai bộ điều khiển Agent Sandbox và các CRD, tiếp theo là Helm chart của gateway OpenShell, để thiết lập môi trường runtime.
  • Sử dụng Kyverno hoặc các engine chính sách tương tự để thực thi các điều khiển admission trên image sandbox, giới hạn tài nguyên và cấu hình RBAC.
  • Cấu hình các workspace để nhóm các sandbox, chính sách và nhật ký, đảm bảo tách biệt rõ ràng các mối quan tâm cho các đội ngũ hoặc dự án khác nhau.
  • Giám sát hoạt động của agent thông qua nhật ký supervisor để xác định và điều chỉnh các chính sách cho các yêu cầu bị từ chối theo thời gian thực.
  • Đánh giá các đánh đổi giữa sự cô lập mạnh mẽ của OpenShell và hiệu quả mở rộng của Agent Substrate dựa trên các mẫu khối lượng công việc cụ thể của bạn.
  • #kubernetes
  • #ai-security
  • #openshell
  • #cncf
  • #platform-engineering

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Cloud & hạ tầng

Khắc phục vấn đề lập lịch Kubernetes cho khối lượng công việc huấn luyện AI phân tán

Lập lịch mặc định của Kubernetes không đáp ứng được các tác vụ AI phân tán. Việc đặt vị trí nhận biết cấu trúc liên kết (topology-aware placement) và lập lịch nhóm (gang scheduling) thông qua Kueue và Coscheduling giúp giải quyết các vấn đề về độ trễ và đồng b

Tất cả bài viết