Moonshot AI ra mắt Kimi K3.1 Pro Highspeed trên Amazon Bedrock

Moonshot AI vừa phát hành Kimi K3.1 Pro Highspeed trên Amazon Bedrock, mở rộng khả năng tiếp cận mô hình ngôn ngữ lớn (LLM) mã nguồn mở mới nhất của hãng. Biến thể mới này, thuộc dòng K3.1, được thiết kế để mang lại tốc độ tạo token đầu ra cao hơn đáng kể trong khi vẫn duy trì các năng lực hiện có của kiến trúc về suy luận ngữ cảnh dài và xử lý các tác vụ chuyên môn phức tạp.

Bản phát hành nhắm mục tiêu đến các nhà phát triển xây dựng hệ thống tác nhân (agentic systems) và trợ lý lập trình cần chu kỳ lặp lại nhanh hơn mà không làm giảm khả năng của mô hình trong việc xử lý cửa sổ ngữ cảnh lên tới một triệu token hoặc các lĩnh vực chuyên biệt như kịch bản thiết kế hỗ trợ bằng máy tính (CAD).

Diễn biến sự kiện

Kimi K3.1 Pro Highspeed là phiên bản được huấn luyện hậu kỳ (post-trained) từ mô hình cơ sở Kimi K3, sử dụng cùng kiến trúc mã nguồn mở lớp 3T và hỗ trợ cửa sổ ngữ cảnh lên đến một triệu token. Moonshot AI đã áp dụng lượng tài nguyên tính toán lớn hơn đáng kể trong giai đoạn huấn luyện hậu kỳ để giảm thiểu sai sót thực tế và cải thiện hiệu suất trong các công việc tác nhân kéo dài. Công ty báo cáo rằng biến thể cụ thể này tạo ra các token đầu ra với tốc độ nhanh gấp hai đến ba lần so với Kimi K3.1 Pro tiêu chuẩn.

Mô hình có thể truy cập thông qua Amazon Bedrock bằng cách sử dụng hồ sơ suy luận xuyên vùng (cross-Region inference profiles). Các nhà phát triển có thể định tuyến yêu cầu qua global.moonshotai.kimi-k3.1 để có chi phí thấp hơn tại các khu vực thương mại được hỗ trợ, hoặc sử dụng us.moonshotai.kimi-k3.1 và in.moonshotai.kimi-k3.1 để giữ quá trình xử lý dữ liệu trong phạm vi Hoa Kỳ hoặc Ấn Độ tương ứng. Các hồ sơ địa lý này đáp ứng các yêu cầu cụ thể về lưu trú dữ liệu đồng thời cung cấp quyền truy cập vào các năng lực mô hình nền tảng giống nhau.

Việc tích hợp đòi hỏi những thay đổi tối thiểu đối với người dùng hiện tại. Mô hình chia sẻ các endpoint, API và tính năng với các phiên bản Kimi trước đó trên Bedrock. Các nhà phát triển đang sử dụng Kimi K3 có thể chuyển sang biến thể Highspeed chỉ bằng cách cập nhật ID mô hình trong mã của họ. Mô hình hỗ trợ gọi công cụ (tool calling), đầu ra có cấu trúc, nhập liệu hình ảnh, truyền trực tiếp (streaming) và nỗ lực suy luận có thể cấu hình, cho phép nó phù hợp với nhiều kiến trúc ứng dụng khác nhau mà không cần tái cấu trúc đáng kể.

Cách thức hoạt động

Mô hình hoạt động với một bước suy luận tích hợp sẵn trước khi tạo ra câu trả lời cuối cùng, một tính năng được điều khiển bởi tham số reasoning_effort. Các nhà phát triển có thể đặt giá trị này thành low, high hoặc max, trong đó max là mặc định. Việc giảm mức nỗ lực sẽ giảm độ trễ và số lượng token đầu ra cho các truy vấn đơn giản, trong khi các mức cao hơn kích hoạt quá trình xử lý logic sâu hơn cho các vấn đề phức tạp. Cơ chế này cho phép các ứng dụng cân bằng giữa độ chính xác và tốc độ một cách linh hoạt dựa trên nhiệm vụ cụ thể.

Việc tối ưu hóa chi phí đạt được thông qua hai cơ chế chính: gói Flex và bộ nhớ đệm prompt tường minh (explicit prompt caching). Gói Flex cung cấp suy luận với giá bằng một nửa so với gói Standard, mặc dù có thể dẫn đến thời gian phản hồi lâu hơn. Điều này làm cho nó phù hợp với các tác vụ nền, đánh giá mô hình hoặc tóm tắt văn bản, nơi độ trễ tức thì ít quan trọng hơn. Ngoài ra, bộ nhớ đệm prompt tường minh cho phép các nhà phát triển đánh dấu các tiền tố ổn định trong prompt của họ, chẳng hạn như hướng dẫn hệ thống hoặc quy tắc kho mã. Hệ thống lưu trữ đệm các phân đoạn này trong ít nhất 30 phút, tính phí ưu đãi cho việc đọc cache và loại trừ chúng khỏi hạn ngạch token đầu vào, giúp giảm đáng kể chi phí cho các quy trình làm việc tác nhân lặp đi lặp lại.

Chi tiết chính

• Kimi K3.1 Pro Highspeed báo cáo tốc độ đầu ra gấp 2–3 lần so với Kimi K3.1 Pro.
• Mô hình hỗ trợ cửa sổ ngữ cảnh 1 triệu token và sử dụng kiến trúc mã nguồn mở lớp 3T.
• Dữ liệu được xử lý trên Amazon Bedrock vẫn nằm trong ranh giới dữ liệu AWS và không được chia sẻ với Moonshot AI hay sử dụng cho việc huấn luyện.
• Gói dịch vụ Flex cung cấp suy luận với giá bằng 50% so với gói Standard, lý tưởng cho các khối lượng công việc không nhạy cảm về độ trễ.
• Bộ nhớ đệm prompt tường minh yêu cầu ít nhất 256 token nội dung ổn định và giữ dữ liệu đã cache trong tối thiểu 30 phút.
• Tích hợp khả dụng thông qua Chat Completions tương thích OpenAI, Responses APIs và Amazon Bedrock Converse APIs.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng tác nhân tự chủ, tốc độ đầu ra là một nút thắt cổ chai quan trọng. Các quy trình làm việc tác nhân thường liên quan đến các lệnh gọi tuần tự, nơi mô hình đọc tệp, lên kế hoạch thay đổi, chỉnh sửa mã và chạy thử nghiệm. Mỗi bước phải hoàn tất trước khi bước tiếp theo bắt đầu, nghĩa là tốc độ tạo token nhanh hơn trực tiếp rút ngắn toàn bộ vòng lặp chỉnh sửa-thử nghiệm-sửa lỗi. Bằng cách tăng gấp đôi hoặc gấp ba tốc độ đầu ra, Kimi K3.1 Pro Highspeed có thể giảm đáng kể thời gian chờ đợi cho các nhà phát triển tương tác với trợ lý lập trình hoặc công cụ gỡ lỗi tự động.

Việc giới thiệu gói Flex và bộ nhớ đệm tường minh cũng giải quyết những thách thức kinh tế khi triển khai các mô hình ngữ cảnh lớn. Các hệ thống tác nhân thường gửi lại các khối ngữ cảnh tĩnh lớn, chẳng hạn như tài liệu hoặc cấu trúc kho mã, trong mỗi yêu cầu. Nếu không có bộ nhớ đệm, điều này dẫn đến chi phí xử lý dư thừa. Bằng cách cho phép các nhà phát triển đánh dấu tường minh các phần ổn định này, AWS cho phép hóa đơn suy luận dự đoán được và thấp hơn, giúp việc chạy các tác nhân phức tạp, chạy dài hạn trong môi trường sản xuất trở nên khả thi mà không tốn kém quá mức.

Bạn có thể làm gì

• Cập nhật tích hợp Bedrock hiện có của bạn bằng cách thay đổi ID mô hình thành global.moonshotai.kimi-k3.1 hoặc tương đương theo khu vực.
• Thử nghiệm với tham số reasoning_effort, đặt nó thành low cho các tác vụ đơn giản để giảm độ trễ và mức sử dụng token.
• Triển khai gói Flex cho các công việc nền bằng cách đặt service_tier thành flex trong các yêu cầu API của bạn.
• Sử dụng bộ nhớ đệm prompt tường minh cho các prompt hệ thống và tài liệu tham khảo bằng cách thêm các điểm đánh dấu prompt_cache_breakpoint sau ít nhất 256 token nội dung ổn định.
• Giám sát mẫu sử dụng của bạn bằng các chiều CloudWatch ServiceTier và ResolvedServiceTier để tối ưu hóa tỷ lệ kết hợp giữa lưu lượng Standard và Flex.
• Kết nối các tác nhân lập trình mã nguồn mở như OpenCode với Bedrock bằng cách sử dụng bearer token ngắn hạn để hỗ trợ phát triển cục bộ an toàn.