Bốn lớp kỹ thuật ngữ cảnh cho tác nhân AI trong môi trường sản xuất

Các tác nhân AI trong môi trường sản xuất thường thất bại khi thực hiện những tác vụ phức tạp như phân tích dữ liệu vì chúng làm cạn kiệt cửa sổ ngữ cảnh. Một triển khai tham chiếu mới từ Amazon Web Services, có tên là Deep Insight, phác thảo chiến lược bốn lớp để giải quyết nút thắt này. Được công bố vào ngày 4 tháng 11 năm 2026, hướng dẫn chi tiết cách cô lập, kiểm soát, bên ngoài hóa và xác minh ngữ cảnh nhằm duy trì độ chính xác và giảm chi phí.

Chuyện gì đã xảy ra

Các mô hình ngôn ngữ lớn cung cấp cửa sổ ngữ cảnh rộng rãi, chẳng hạn như 200K token khả dụng trong Anthropic Claude Sonnet 4.5 trên Amazon Bedrock. Tuy nhiên, các quy trình làm việc thực tế nhanh chóng tiêu thụ hết dung lượng này. Một yêu cầu điển hình để phân tích dữ liệu bán hàng và tạo báo cáo bao gồm nhiều giai đoạn, bao gồm tải dữ liệu, xác thực thống kê và tạo biểu đồ. Các bước này có thể đốt cháy hơn 150K token chỉ trong 15 phút, dẫn đến lỗi giữa chừng khi đang thực thi, giảm độ chính xác do thông tin cũ và chi phí cao hơn.

Để giải quyết vấn đề này, các kỹ sư AWS đã phát triển Deep Insight, một giải pháp đa tác nhân mã nguồn mở được xây dựng dựa trên Strands Agents SDK và Amazon Bedrock AgentCore. Hệ thống áp dụng một phương pháp tiếp cận có cấu trúc đối với kỹ thuật ngữ cảnh, vượt ra ngoài việc chỉnh sửa prompt đơn giản để tiến tới kỷ luật kiến trúc toàn diện. Việc triển khai cho thấy rằng kết hợp các kỹ thuật này có thể cắt giảm khoảng 95 phần trăm số token được thêm bởi mỗi tập lệnh và thu nhỏ prompt hệ thống xuống khoảng 97 phần trăm.

Hướng dẫn được tổ chức thành bốn lớp riêng biệt: cô lập ngữ cảnh ở cấp độ kiến trúc, kiểm soát nó thông qua prompt, bên ngoài hóa nó sang hệ thống tệp và xác minh nó bằng các biện pháp bảo vệ độc lập. Phương pháp theo lớp này đảm bảo rằng khi một kỹ thuật đạt đến giới hạn, lớp tiếp theo sẽ bù đắp, ngăn ngừa "sự mục rữa của ngữ cảnh" (context rot) vốn gây phiền toái cho các hệ thống đơn tác nhân.

Cách thức hoạt động

Lớp đầu tiên tập trung vào sự cô lập về mặt kiến trúc. Thay vì chạy tất cả các tác vụ trong một tác nhân duy nhất, Deep Insight sử dụng một hệ thống phân cấp các tác nhân chuyên biệt, bao gồm Coordinator (Điều phối viên), Planner (Kế hoạch), Supervisor (Giám sát) và nhiều Tool Agents (Tác nhân Công cụ). Mỗi tác nhân hoạt động trong cửa sổ ngữ cảnh độc lập của riêng mình. Chúng giao tiếp thông qua một từ điển trạng thái chung chỉ chứa các bản tóm tắt nén, hay còn gọi là "manh mối", thay vì toàn bộ lịch sử trò chuyện. Điều này đảm bảo rằng ngay cả những tác nhân hoạt động tích cực nhất, như Coder (Trình lập trình), cũng giữ mức dưới 25K token.

Lớp thứ hai kiểm soát dòng chảy ngữ cảnh đi vào thông qua kỹ thuật prompt nghiêm ngặt. Mỗi tác nhân có ngân sách token đầu ra rõ ràng. Ví dụ, tác nhân Coder bị giới hạn ở 1.500 token vì mã thực tế của nó được lưu vào các tệp, không phải trả về trong cuộc trò chuyện. Prompt cũng thúc đẩy triết lý mã tự chứa, yêu cầu mọi tập lệnh phải bao gồm các import và logic tải dữ liệu riêng. Điều này ngăn chặn nhu cầu giữ lại các đoạn mã trước đó trong bộ nhớ, cho phép loại bỏ an toàn các ngữ cảnh cũ.

Lớp thứ ba và có tác động lớn nhất bên ngoài hóa nội dung nặng sang hệ thống tệp. Deep Insight thay thế các công cụ ghi và thực thi riêng biệt bằng một write_and_execute_tool duy nhất. Công cụ này viết mã Python vào một tệp và chạy nó ngay lập tức, chỉ trả về một bản tóm tắt thành công ngắn gọn cho tác nhân. Bản thân mã không bao giờ đi vào cửa sổ ngữ cảnh. Ngoài ra, logic chung được lưu trữ trong các mô-đun tái sử dụng, và kết quả phân tích chi tiết được lưu vào các tệp văn bản có cấu trúc như all_results.txt. Các tác nhân chỉ đọc những tệp này khi cần thiết, giữ cho ngữ cảnh đang hoạt động luôn gọn nhẹ.

Chi tiết quan trọng

• Deep Insight giảm mức sử dụng ngữ cảnh của tập lệnh xuống khoảng 95 phần trăm bằng cách sử dụng công cụ kết hợp ghi-và-thực-thi.
• Việc nạp kỹ năng theo yêu cầu giúp thu nhỏ kích thước prompt hệ thống xuống khoảng 97 phần trăm.
• Hệ thống sử dụng từ điển shared_state để truyền chỉ các manh mối nén và thông báo hoàn thành giữa các tác nhân.
• Các tác nhân Coder bị giới hạn ở 1.000–1.500 token đầu ra, buộc chúng phải tóm tắt thay vì xuất ra toàn bộ mã.
• Các hàm tiện ích chung được tạo sẵn trong mô-đun coder_analysis_utils.py để tránh tái tạo mã trùng lặp.
• Các tệp ghi chú có cấu trúc như all_results.txt đóng vai trò là bus liên lạc giữa các tác nhân, thay thế cho việc truyền tin nhắn dài dòng.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng hệ thống AI trong môi trường sản xuất, quản lý ngữ cảnh không còn chỉ là tối ưu hóa hiệu suất; nó là một yêu cầu về độ tin cậy. Nếu thiếu các lớp này, các tác nhân sẽ gặp phải sự suy giảm sự chú ý khi cửa sổ ngữ cảnh đầy dần. Các chỉ dẫn quan trọng bị mất, và mô hình bắt đầu ảo giác hoặc bỏ qua các ràng buộc gần đây. Bằng cách cô lập các ngữ cảnh, các nhóm có thể đảm bảo rằng mỗi tiểu tác vụ nhận được sự chú ý đầy đủ của mô hình mà không bị nhiễu bởi lịch sử không liên quan.

Hiệu quả chi phí là một động lực quan trọng khác. Trong các mô hình định giá theo token, việc gửi hàng trăm nghìn token cho các tác vụ thường nhật là không bền vững. Chiến lược bên ngoài hóa dựa trên tệp được chứng minh trong Deep Insight chuyển gánh nặng từ các cuộc gọi API đắt đỏ sang các thao tác lưu trữ rẻ tiền. Điều này cho phép các nhà phát triển xây dựng các tác nhân phức tạp hơn, với tầm nhìn dài hạn mà không làm tăng chi phí quá mức.

Cuối cùng, phương pháp này cải thiện khả năng gỡ lỗi và bảo trì. Khi mã và kết quả được lưu trữ trong các tệp thay vì ẩn trong lịch sử trò chuyện tạm thời, các nhà phát triển có thể trực tiếp kiểm tra các đối tượng. Sự tách biệt các mối quan tâm có nghĩa là lỗi trong một tác nhân không nhất thiết làm hỏng trạng thái của tác nhân khác, khiến hệ thống trở nên kiên cường hơn trước các lỗi một phần.

Bạn có thể làm gì

• Áp dụng kiến trúc đa tác nhân nơi các worker chuyên biệt xử lý các tác vụ riêng biệt với các cửa sổ ngữ cảnh được cô lập.
• Triển khai ngân sách token đầu ra nghiêm ngặt trong prompt hệ thống của bạn để ngăn các tác nhân tạo ra văn bản dài dòng, không cần thiết.
• Thay thế các công cụ viết mã và thực thi riêng biệt bằng một công cụ duy nhất ghi vào đĩa và chỉ trả về các bản tóm tắt thực thi.
• Thúc đẩy việc tạo mã tự chứa bằng cách yêu cầu các tác nhân bao gồm tất cả các import và tải dữ liệu trong mỗi tập lệnh.
• Sử dụng hệ thống tệp như một bus liên lạc bằng cách lưu các kết quả trung gian vào các tệp có cấu trúc mà các tác nhân hạ nguồn có thể đọc.
• Tạo sẵn các mô-đun tiện ích chung để tránh lặp lại mã mẫu (boilerplate code) qua nhiều lượt tương tác của tác nhân.