OpenAI ra mắt Decisions API để cạnh tranh với mô hình Jev của TypeSafe

OpenAI đã chính thức phát hành Decisions API cho tất cả khách hàng, đánh dấu bước tiến quan trọng vào thị trường các mô hình quyết định tốc độ cao, chi phí thấp đang tăng trưởng nhanh chóng. Động thái này trực tiếp thách thức TypeSafe, một startup có giá trị 7,6 tỷ USD, đơn vị tiên phong trong lĩnh vực này với mô hình Jev. Việc phát hành diễn ra sau thông báo ban đầu tại ngày hội nhà phát triển của OpenAI vào ngày 29 tháng 9, nhằm cung cấp cho các nhà phát triển một giải pháp thay thế nhanh hơn so với các mô hình ngôn ngữ lớn truyền thống cho những tác vụ phân loại và ra quyết định cụ thể.

Điều gì đã xảy ra

Decisions API được thiết kế để xử lý các quy trình làm việc nơi tốc độ và chi phí là những ràng buộc then chốt. Khác với các LLM tiêu chuẩn tạo văn bản thông qua các quá trình suy luận phức tạp, các mô hình được gọi là System One này hoạt động như những bộ phân loại siêu việt. Chúng đánh giá một tập hợp các lựa chọn và trả về con đường được chọn cùng với mức độ tin cậy. Nikunj Handa, trưởng nhóm sản phẩm phụ trách các API của OpenAI, lưu ý rằng các đội ngũ nội bộ đã nhận ra tiềm năng ngay lập tức sau khi thấy mô hình Jev của TypeSafe, xác định hàng triệu trường hợp sử dụng tiềm năng trong cơ sở hạ tầng của chính họ.

Thay vì huấn luyện một mô hình mới từ đầu, đội ngũ kỹ thuật của OpenAI đã tái cấu trúc ChatGPT Luna để tối ưu hóa tốc độ suy luận và giảm chi phí. Cách tiếp cận này cho phép họ triển khai dịch vụ nhanh chóng trong khi vẫn tận dụng các khả năng hiện có. Phiên bản công khai bao gồm hỗ trợ cho các phương thức giọng nói và hình ảnh, và OpenAI đã phân bổ tài nguyên suy luận theo địa lý để giảm độ trễ cho người dùng trên toàn thế giới. Các thử nghiệm ban đầu với những công ty như Box, Datadog, Ramp và Speak đã cho thấy cải thiện hiệu suất đáng kể, với một số kỹ sư thay thế hoàn toàn các lệnh gọi LLM chậm hơn.

Cơ chế hoạt động

Cơ chế cốt lõi đằng sau Decisions API là việc tối ưu hóa một mô hình nền tảng hiện có cho mục đích phân loại nhanh chóng thay vì tạo sinh văn bản. Bằng cách loại bỏ các chi phí liên quan đến việc tạo văn bản dài, hệ thống có thể xử lý đầu vào và trả về quyết định trong vài mili giây. Handa giải thích rằng lợi ích chính là giảm thời gian phản hồi, rút ngắn độ trễ từ một đến ba giây xuống còn khoảng 100 đến 180 mili giây. Hiện tại, mô hình dựa trên sức mạnh nền tảng của Luna mà không có sự huấn luyện chuyên biệt cho logic ra quyết định, mặc dù các phiên bản tương lai có thể bao gồm tinh chỉnh có mục tiêu.

Kiến trúc này hỗ trợ đầu vào đa phương thức, cho phép mô hình xử lý dữ liệu hình ảnh và giọng nói cùng với văn bản. Đối với các tác vụ phân loại hình ảnh, Handa tuyên bố rằng Luna thể hiện khả năng hiệu chuẩn mạnh mẽ. Hệ thống cũng đang được thử nghiệm để đạt độ trễ thấp hơn nữa, với mục tiêu chạm mốc 60 mili giây. Ở tốc độ đó, API có thể tiềm năng xử lý việc ra quyết định cho từng khung hình trong luồng video, mở ra các ứng dụng tương tác thời gian thực trước đây không khả thi do độ trễ tính toán.

Chi tiết chính

• Decisions API của OpenAI giảm thời gian suy luận từ vài giây xuống còn khoảng 100–180 mili giây.
• Mô hình được xây dựng bằng cách tái cấu trúc ChatGPT Luna thay vì huấn luyện một kiến trúc chuyên biệt mới.
• Những người áp dụng sớm như Speak báo cáo đã giảm thời gian thực hiện hành động từ 1,4 giây xuống còn 0,13 giây.
• API hỗ trợ các phương thức giọng nói và hình ảnh, với việc phân bổ tài nguyên theo địa lý để giảm thiểu độ trễ.
• Mô hình Jev của TypeSafe vẫn là mô hình quyết định được truy vấn nhiều nhất trên OpenRouter bất chấp sự cạnh tranh mới.
• Các benchmark công khai cho thấy mô hình của OpenAI xếp thứ tám trên AIM System One Index và thứ mười bốn trên Artificial Analysis Decision Index.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, sự xuất hiện của các mô hình quyết định đại diện cho một sự chuyển đổi trong cách AI được tích hợp vào các hệ thống sản xuất. Các LLM truyền thống thường là quá mức cần thiết cho những tác vụ đòi hỏi các lựa chọn đơn giản, chẳng hạn như định tuyến vé hỗ trợ khách hàng hoặc phân loại ý định người dùng. Bằng cách cung cấp một API chuyên dụng cho những tác vụ này, OpenAI cho phép các nhà phát triển giảm chi phí và cải thiện trải nghiệm người dùng thông qua thời gian phản hồi nhanh hơn. Hiệu quả này cho phép nhúng AI vào các tương tác tần suất cao, khối lượng lớn mà không gặp phải chi phí hoặc độ trễ quá cao.

Sự cạnh tranh trong lĩnh vực này đang ngày càng gay gắt, với nhiều đối thủ tung ra các mô hình chuyên biệt. Liquid gần đây đã ra mắt D1 Ultra, và Base Lab phát hành Elephant-1, cả hai đều hoạt động tốt trên các chỉ số công khai. TypeSafe tiếp tục đổi mới với các tính năng như câu lệnh smart-if và hỗ trợ hình ảnh. Tuy nhiên, giá trị thực tế của các mô hình này thường phụ thuộc vào yêu cầu khối lượng công việc cụ thể chứ không chỉ dựa vào điểm benchmark. Như Diogo Almeida, CEO của TypeSafe, gợi ý, mô hình tốt nhất là mô hình phù hợp với trường hợp sử dụng cụ thể của bạn, nhấn mạnh nhu cầu thử nghiệm và đánh giá trực tiếp.

Bạn có thể làm gì

• Kiểm tra các quy trình làm việc LLM hiện tại của bạn để xác định những tác vụ liên quan đến phân loại đơn giản hoặc lựa chọn.
• Thử nghiệm Decisions API so với các lệnh gọi LLM hiện có để đo lường cải thiện về độ trễ và chi phí.
• Đánh giá các khả năng đa phương thức nếu ứng dụng của bạn xử lý hình ảnh hoặc dữ liệu giọng nói cùng với văn bản.
• So sánh các chỉ số hiệu suất với các đối thủ như Jev của TypeSafe, D1 Ultra của Liquid và Elephant-1 của Base Lab.
• Cân nhắc các ứng dụng thời gian thực, chẳng hạn như phân tích khung hình video, có thể trở nên khả thi với độ trễ dưới 100 mili giây.
• Theo dõi kết quả benchmark nhưng hãy ưu tiên thử nghiệm nội bộ để xác định mô hình nào phù hợp nhất với nhu cầu vận hành cụ thể của bạn.