Mô hình quyết định giảm độ trễ và chi phí AI bằng cách giới hạn đầu ra
Các mô hình quyết định mới như Jev cung cấp phản hồi trong vài mili giây với chi phí chỉ bằng một phần nhỏ so với LLM, nhờ việc lựa chọn từ các tùy chọn được định nghĩa trước, giúp giảm ảo giác nhưng hạn chế khả năng suy luận phức tạp.
Được dịch tự động từ bản gốc tiếng Anh.
Vào tháng 9 năm 2026, startup TypeSafe AI đã ra mắt Jev, một thế hệ mô hình trí tuệ nhân tạo mới được thiết kế để đưa ra các quyết định nhanh chóng mà không phải chịu chi phí tính toán cao hay rủi ro ảo giác thường thấy ở các mô hình ngôn ngữ lớn (LLM) truyền thống. Sự kiện này đã kích hoạt ngay lập tức một sự chuyển dịch trong ngành, khi các công ty công nghệ lớn bao gồm Cloudflare, Amazon, OpenAI và Microsoft nhanh chóng phát hành phiên bản riêng của họ cho loại "mô hình quyết định" này nhằm xử lý các tác vụ có khối lượng lớn và yêu cầu độ trễ thấp.
Điều gì đã xảy ra
TypeSafe AI định vị Jev là một "mô hình Hệ thống Một" (System One model), tham chiếu đến lý thuyết của nhà tâm lý học Daniel Kahneman về tư duy nhanh, bản năng so với suy luận chậm rãi, có chủ đích. Công ty tuyên bố rằng Jev có thể đạt được độ trễ phản hồi toàn trình từ 70 đến 500 mili giây, nhanh hơn đáng kể so với vài giây thường cần thiết bởi các LLM tiêu chuẩn. Các thử nghiệm độc lập đã ủng hộ những tuyên bố này, với một nghiên cứu do giáo sư Ramayya Krishnan từ Đại học Carnegie Mellon đồng tác giả cho thấy Jev đạt độ trễ trung vị 150 mili giây trên nhiều bài kiểm tra chuẩn hóa. Ngược lại, mô hình GPT-6 Astra của OpenAI ghi nhận độ trễ trung vị là 1,89 giây trong cùng khoảng thời gian đó.
Những tác động tài chính cũng rõ ràng không kém. TypeSafe AI tính phí $0,042 cho mỗi triệu token đầu vào đối với Jev, trong khi các token đầu ra được cung cấp miễn phí. Để so sánh, GPT-6 Astra có giá $10 cho mỗi triệu token đầu vào và $50 cho mỗi triệu token đầu ra. Ngay cả biến thể GPT-6 Luna rẻ hơn, được tối ưu hóa tốc độ, cũng có giá $0,10 cho mỗi triệu token đầu vào và $0,50 cho mỗi triệu token đầu ra. Sự cắt giảm mạnh mẽ về chi phí và thời gian này đã thu hút sự chú ý đáng kể, dẫn đến việc TypeSafe AI huy động được $870 triệu với mức định giá $7,5 tỷ. Thành công của mô hình này cũng thúc đẩy một làn sóng bắt chước, khi các nhà phát triển độc lập và các công ty lâu năm tung ra hàng chục mô hình tương tự chỉ trong vài tuần sau khi Jev ra mắt.
Cách thức hoạt động
Các mô hình quyết định khác biệt cơ bản so với LLM truyền thống trong quy trình tạo đầu ra. Trong khi một LLM dự đoán token tiếp theo trong chuỗi lặp đi lặp lại cho đến khi hoàn thành câu trả lời, một mô hình quyết định thực hiện chỉ một lượt truyền tiến (forward pass). Nó đọc tất cả các token đầu vào và tạo ra một lựa chọn đầu ra duy nhất từ một tập hợp các tùy chọn được định nghĩa trước, chẳng hạn như A, B hoặc C. Ràng buộc kiến trúc này loại bỏ quá trình tạo token tuần tự vốn gây ra độ trễ cao và mở đường cho các lỗi thực tế, hay còn gọi là "ảo giác", ở các LLM.
Các mô hình này vẫn giữ lại kiến trúc dựa trên transformer và trí tuệ chung của LLM, cho phép chúng khái quát hóa qua nhiều tác vụ mà không cần tinh chỉnh chuyên sâu theo lĩnh vực cụ thể như các mô hình phân loại cũ. Tuy nhiên, chúng bị giới hạn trong các định dạng câu trả lời có cấu trúc. Bằng cách chỉ tính xác suất giữa các khả năng đã được xác định trước, các mô hình quyết định ngăn chặn việc tạo ra văn bản bất ngờ hoặc bịa đặt. Điều này khiến chúng cực kỳ hiệu quả cho các tác vụ như kiểm duyệt nội dung, phát hiện spam và định tuyến, nơi mục tiêu là phân loại dữ liệu chứ không phải tạo ra văn bản sáng tạo.
Chi tiết chính
- Jev đạt độ trễ trung vị 150 mili giây, so với 1,89 giây của GPT-6 Astra trong các bài kiểm tra độc lập.
- Giá token đầu vào cho Jev là $0,042 cho mỗi triệu, với token đầu ra miễn phí, cạnh tranh áp đảo so với các đối thủ.
- Các mô hình quyết định sử dụng một lượt truyền tiến duy nhất để chọn từ các tùy chọn được định nghĩa trước, tránh việc tạo token tuần tự.
- Các nhà cung cấp lớn bao gồm Cloudflare, Amazon và Microsoft đã phát hành các mô hình quyết định riêng của họ sau khi Jev ra mắt.
- Hiệu suất giảm sút trong các lĩnh vực đòi hỏi suy luận phức tạp, chẳng hạn như y khoa, tài chính và luật pháp, so với LLM.
- Các kiến trúc lai kết hợp mô hình quyết định cho các phán đoán nhanh và LLM cho giải thích chi tiết cho thấy nhiều hứa hẹn.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và trưởng nhóm kỹ thuật, các mô hình quyết định cung cấp một giải pháp thực tiễn cho các tác vụ xử lý khối lượng lớn không yêu cầu tạo sinh mở. Các nhiệm vụ như kiểm duyệt bài đăng mạng xã hội, lọc email spam hoặc phát hiện tấn công chèn prompt giờ đây có thể được xử lý với tốc độ cao hơn và chi phí thấp hơn. Michelle Chen, quản lý sản phẩm nhóm tại Cloudflare, gợi ý rằng tới 80% các tác vụ LLM điển hình có thể được chuyển giao cho các mô hình Hệ thống Một nhanh hơn và rẻ hơn này. Sự chuyển dịch này cho phép các đội ngũ triển khai khả năng AI mà không cần duy trì các đội ngũ học máy lớn để huấn luyện bộ phân loại tùy chỉnh.
Tuy nhiên, công nghệ này không phải là sự thay thế phổ quát cho LLM. Các mô hình quyết định gặp khó khăn với những tác vụ đòi hỏi chuyên môn sâu về chủ đề hoặc suy luận logic phức tạp. Các nhà nghiên cứu lưu ý rằng mặc dù các mô hình này loại bỏ ảo giác đầu ra, chúng không loại bỏ các lỗi ra quyết định, đặc biệt là trong các bài toán toán học hoặc câu đố logic. Do đó, phương pháp triển khai hiệu quả nhất có thể liên quan đến các hệ thống lai, nơi các mô hình quyết định xử lý bước sàng lọc ban đầu hoặc phân loại đơn giản, chỉ chuyển các trường hợp phức tạp hoặc có độ tin cậy thấp sang các LLM mạnh mẽ hơn, tuy chậm hơn và đắt đỏ hơn.
Bạn có thể làm gì
- Xác định các tác vụ khối lượng lớn, độ phức tạp thấp trong quy trình của bạn, chẳng hạn như phân loại tài liệu hoặc lọc spam, để xem xét di chuyển sang các mô hình quyết định.
- Đánh giá các mô hình quyết định mã nguồn mở (open-weight) như Clef của Cloudflare hoặc SII-Decision để kiểm tra hiệu suất trên các tập dữ liệu cụ thể của bạn mà không bị ràng buộc bởi nhà cung cấp.
- Triển khai các kiến trúc lai, nơi các mô hình quyết định thực hiện sàng lọc ban đầu, chỉ định tuyến các truy vấn mơ hồ hoặc phức tạp sang các LLM đầy đủ.
- So sánh độ trễ và tiết kiệm chi phí với mức sử dụng LLM hiện tại của bạn để định lượng tiềm năng tăng hiệu quả vận hành.
- Xem xét các tập tùy chọn được định nghĩa trước cho các trường hợp sử dụng của bạn để đảm bảo chúng bao phủ mọi kết quả cần thiết mà không quá hạn chế.
- Theo dõi độ chính xác trong các tác vụ chuyên biệt, nhận thức rằng các mô hình quyết định có thể hoạt động kém hơn trong các lĩnh vực đòi hỏi suy luận chuyên sâu.



