Cách các tác nhân AI sử dụng tính toán khi ngủ để tổ chức bộ nhớ dài hạn
Anthropic giải thích cách Claude sử dụng cơ chế "mơ" và đánh giá mức độ nổi bật để hợp nhất bộ nhớ, sửa lỗi và xây dựng cấu trúc kiến thức trong thời gian nhàn rỗi.
RAG, đánh giá mô hình, suy luận, tinh chỉnh và đưa tính năng LLM vào production.
Anthropic giải thích cách Claude sử dụng cơ chế "mơ" và đánh giá mức độ nổi bật để hợp nhất bộ nhớ, sửa lỗi và xây dựng cấu trúc kiến thức trong thời gian nhàn rỗi.
AWS minh họa cách mở rộng quy mô bảo mật cho các tác nhân AI bằng cách sử dụng Bedrock AgentCore Gateway, chính sách Cedar và Okta Cross App Access để ủy quyền tập trung.
Một công cụ wrapper mới có tên llama-sleep giúp giảm độ trễ khi chuyển đổi mô hình trên các thiết lập một GPU bằng cách lưu trữ trạng thái CUDA vào RAM của máy chủ thay vì tải lại trọng số.
Dữ liệu từ Ramp cho thấy khối lượng token AI đang tăng nhưng chi tiêu đi ngang, nguyên nhân chính là các đợt giảm giá mạnh tay từ OpenAI và Anthropic cùng với việc kiểm soát chi phí tốt hơn của các doanh nghiệp.
NVIDIA chi tiết cách TensorRT LLM VisualGen tăng tốc quá trình tạo ảnh FLUX 3 Image Klein bằng lượng tử hóa NVFP4, cơ chế chú ý thưa (sparse attention) và mở rộng đa GPU trên phần cứng Blackwell.
Các nhà nghiên cứu của Apple sử dụng mạng nơ-ron nhỏ để xấp xỉ các hàm hỗ trợ, giúp tăng tốc tìm kiếm tích vô hướng tối đa cho sinh tạo tăng cường truy xuất.
Các nhà nghiên cứu của Nubank trình bày chi tiết một quy trình mô phỏng nhằm sàng lọc các tác nhân AI trải nghiệm khách hàng bằng người dùng tổng hợp, giúp cải thiện các chỉ số mà không để lộ lỗi cho khách hàng thực tế.
AWS phát hành Web Answer, một công cụ được quản lý giúp trả về các câu trả lời tổng hợp và có trích dẫn nguồn cho các câu hỏi bằng ngôn ngữ tự nhiên, loại bỏ nhu cầu xây dựng pipeline RAG tùy chỉnh.
Một nghiên cứu thực nghiệm cho thấy các chỉ số đo lường thành công tiêu chuẩn bỏ sót những lỗi hạ tầng nghiêm trọng trong AI agent, trong khi khối lượng lệnh gọi công cụ và độ lệch phạm vi cung cấp khả năng giám sát tốt hơn.
AWS Deep Insight minh họa cách quản lý cửa sổ ngữ cảnh của LLM bằng kiến trúc, prompt, bên ngoài hóa tệp tin và xác minh để ngăn chặn tình trạng tràn token trong các hệ thống đa tác nhân.
Anthropic cùng các đối tác học thuật công bố FlashProve, một hệ thống mã nguồn mở sử dụng zkSNARK để chứng minh phản hồi từ LLM được tạo ra bởi trọng số mô hình cụ thể mà không tiết lộ chúng.
Ricursive Intelligence phát hành Ripple-65B Preview, một mô hình mở trọng số (open-weight) đạt điểm mã hóa tác nhân (agentic coding) ở mức tốt nhất hiện nay với chi phí chỉ bằng một phần mười so với các đối thủ dẫn đầu trước đó.
AWS Bedrock AgentCore Evaluations hiện hỗ trợ các công cụ đánh giá tùy chỉnh dựa trên mã nguồn, sử dụng các mô hình quyết định như Jev và Strands Decider để cung cấp điểm số được hiệu chuẩn với chi phí thấp cho các AI agent.
Amazon Bedrock hiện định tuyến suy luận Kimi K3 độc quyền đến các khu vực Mumbai và Hyderabad, cho phép xử lý tuân thủ quy định đối với dữ liệu y tế và tài chính của Ấn Độ.
Một bài báo mới chứng minh rằng các mô hình ngôn ngữ lớn có thể đọc và sửa đổi trọng số thô của các mạng nhỏ hơn, cho phép lập trình trực tiếp trong không gian trọng số mà không cần viết mã huấn luyện.