Anthropic giảm độ trễ của Claude Code bằng luồng tin nhắn phía máy chủ

Anthropic đã ra mắt luồng tin nhắn, một tính năng mới cho Messages API, được thiết kế để tăng tốc các phiên AI chạy dài hạn bằng cách giảm việc truyền tải dữ liệu dư thừa. Hiện có sẵn dưới dạng beta công khai, bản cập nhật này đã hoạt động với hầu hết người dùng Claude Code và nhắm mục tiêu rút ngắn thời gian phản hồi ban đầu của mô hình.

Chuyện gì đã xảy ra

Vấn đề cốt lõi mà bản cập nhật này giải quyết là sự kém hiệu quả của các tương tác API truyền thống trong quá trình thực hiện các nhiệm vụ kéo dài. Trước đây, mỗi yêu cầu gửi đến Claude đều đòi hỏi phía client phải tải lên toàn bộ lịch sử cuộc trò chuyện, bao gồm tất cả các tin nhắn trước đó, các lệnh gọi công cụ (tool calls) và lời nhắc hệ thống (system prompts). Khi một agent lập trình xử lý các tác vụ phức tạp như đọc tệp và chỉnh sửa, lịch sử này sẽ phình to nhanh chóng. Đến khi phiên làm việc đạt mức 500.000 token, mỗi yêu cầu mới lại liên quan đến việc tải lên lại khối lượng dữ liệu khổng lồ đó, thứ mà API phải xác thực và mã hóa thành token trước khi bắt đầu xử lý.

Luồng tin nhắn thay đổi cơ chế này bằng cách cho phép Anthropic lưu giữ tạm thời lịch sử cuộc trò chuyện trên máy chủ của họ. Yêu cầu ban đầu vẫn gửi toàn bộ ngữ cảnh, nhưng các yêu cầu tiếp theo chỉ cần bao gồm những tin nhắn mới và tham chiếu đến ID phản hồi trước đó. Anthropic sẽ tái tạo lại toàn bộ cuộc trò chuyện ở phía máy chủ trước khi chuyển nó cho mô hình. Sự thay đổi này đã giúp giảm khoảng 35% thời gian trung vị để nhận được token đầu tiên đối với các yêu cầu từ Claude Code chứa từ 500.000 đến 1 triệu token.

Mặc dù tính năng này đáng kể làm giảm độ trễ và lượng dữ liệu truyền tải, nó không giúp giảm chi phí API. Anthropic vẫn tính phí cho tất cả các token được mô hình xử lý, bất kể phía client tải lên bao nhiêu dữ liệu. Công ty lưu ý rằng các nhà phát triển có thể kết hợp luồng tin nhắn với bộ nhớ đệm prompt (prompt caching) để có khả năng giảm chi phí, vì hai tính năng này giải quyết các khía cạnh khác nhau về hiệu suất và hóa đơn.

Cách thức hoạt động

Về mặt kỹ thuật, luồng tin nhắn giới thiệu một tham số mới vào Messages API. Để bắt đầu một luồng, các nhà phát triển bao gồm thread={"type": "create"} trong yêu cầu ban đầu cùng với toàn bộ lịch sử cuộc trò chuyện. Đối với các lượt tiếp theo, họ sử dụng thread={"type": "continue", "previous_message_id": [ID]}, chỉ gửi nội dung mới. API sẽ giữ lại ngữ cảnh trước đó, lời nhắc hệ thống và định nghĩa công cụ trong bộ nhớ máy chủ, loại bỏ nhu cầu tải lên lặp đi lặp lại.

Đối với những người sử dụng Python SDK, một trợ giúp luồng (thread helper) đơn giản hóa quy trình này. Bằng cách khởi tạo một luồng thông qua client.beta.messages.thread(), SDK tự động quản lý logic tạo và tiếp tục luồng, bao gồm cả việc thêm tiêu đề beta bắt buộc anthropic-beta: message-threads-2026-08-12. Lớp trừu tượng này cho phép các nhà phát triển tập trung vào việc gửi tin nhắn qua thread.send() mà không cần tự theo dõi ID phản hồi hay xử lý các tham số API cấp thấp.

Chi tiết chính

• Luồng tin nhắn có sẵn dưới dạng beta công khai cho tất cả các mô hình Claude, bao gồm cả những mô hình trên AWS, Microsoft Foundry và Google Cloud.
• Tính năng này giảm thời gian trung vị để nhận token đầu tiên khoảng 35% đối với các ngữ cảnh lớn từ 500.000 đến 1 triệu token.
• Các luồng sẽ hết hạn sau năm phút không hoạt động, yêu cầu gửi lại toàn bộ lịch sử nếu thời gian tạm dừng vượt quá giới hạn này.
• Mức sử dụng token và hóa đơn vẫn không thay đổi vì Claude vẫn xử lý toàn bộ lịch sử cuộc trò chuyện trong mỗi lượt.
• Nội dung luồng được mã hóa và lưu trữ trong bộ nhớ máy chủ tối đa một giờ sau lần sử dụng cuối cùng, nhưng không được ghi vào bộ nhớ lưu trữ vĩnh viễn.
• Tính năng này hiện chưa tương thích với các chính sách lưu giữ dữ liệu bằng không (zero data retention) và các yêu cầu tuân thủ HIPAA.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng agent AI, đặc biệt là những agent liên quan đến việc sử dụng máy tính hoặc các tác vụ lập trình chạy dài hạn, độ trễ là một nút thắt cổ chai quan trọng. Guillaume Lebedel, CTO của StackOne, đã minh họa tác động tiềm năng bằng cách ước tính rằng một agent sử dụng máy tính chụp ảnh màn hình có thể giảm tổng lượng dữ liệu tải lên từ 191 MB xuống còn 7,5 MB trong một phiên gồm 50 bước. Sự giảm mạnh này về tải mạng đồng nghĩa với thời gian phản hồi vòng lặp (round-trip times) nhanh hơn và các agent phản ứng nhạy bén hơn, ngay cả khi chi phí tính toán phía Anthropic vẫn giữ nguyên.

Tuy nhiên, cửa sổ hết hạn năm phút đặt ra một ràng buộc mà các nhà phát triển phải tính đến trong logic ứng dụng của họ. Mặc dù các agent hoạt động liên tục hiếm khi chạm tới giới hạn này, các công cụ tương tác do con người sử dụng có thể gặp phải sự gián đoạn. Nếu một nhà phát triển rời đi uống cà phê, luồng sẽ hết hạn và yêu cầu tiếp theo phải tải lên lại toàn bộ lịch sử. Mặc dù SDK xử lý tình huống này một cách mượt mà bằng cách thiết lập một luồng mới, độ trễ ban đầu sau khi nghỉ ngơi sẽ cao hơn cho đến khi luồng được thiết lập lại.

Bạn có thể làm gì

• Cập nhật Anthropic Python SDK lên phiên bản mới nhất để truy cập trợ giúp client.beta.messages.thread().
• Tái cấu trúc các vòng lặp agent chạy dài hạn để sử dụng trợ giúp luồng, đảm bảo bạn truyền tiêu đề betas=["message-threads-2026-08-12"] nếu thực hiện các cuộc gọi API trực tiếp.
• Theo dõi thời gian nhàn rỗi của agent và triển khai quản lý trạng thái cục bộ để xử lý việc hết hạn luồng một cách mềm mại khi tiếp tục các phiên làm việc.
• Kết hợp luồng tin nhắn với bộ nhớ đệm prompt cho các nội dung tĩnh như hướng dẫn hệ thống để tối ưu hóa cả độ trễ và chi phí.
• Xem xét các yêu cầu tuân thủ dữ liệu của bạn, vì luồng tin nhắn hiện chưa phù hợp với các môi trường chịu sự điều chỉnh của HIPAA hoặc yêu cầu lưu giữ dữ liệu bằng không.
• Kiểm thử tính năng với các khối lượng công việc có ngữ cảnh lớn để đo lường mức cải thiện thực tế về thời gian nhận token đầu tiên cho trường hợp sử dụng cụ thể của bạn.