Mô hình quyết định chiếm 25% lưu lượng truy cập của Vercel khi Microsoft gia nhập thị trường
Các mô hình AI mới, vốn xuất ra lựa chọn thay vì văn bản, đang thống trị các khối lượng công việc trong môi trường sản xuất. Microsoft và các startup đang chạy đua để tối ưu hóa những động cơ ra quyết định nhanh chóng và chi phí thấp này.
Được dịch tự động từ bản gốc tiếng Anh.
Vào tháng 10, hơn một phần tư số yêu cầu trên bộ định tuyến mô hình AI của Vercel đã được chuyển hướng đến các mô hình quyết định thay vì các mô hình ngôn ngữ lớn (LLM) truyền thống. Sự tăng vọt này phản ánh tỷ lệ áp dụng mạnh mẽ đối với một danh mục công nghệ chỉ mới được phát minh cách đây một tháng. Các ông lớn như Microsoft và những startup chuyên biệt hiện đang gấp rút định nghĩa lớp hạ tầng trí tuệ nhân tạo mới này.
Diễn biến sự kiện
Mô hình quyết định là một phân lớp riêng biệt của AI, không tạo ra các token đầu ra giống như LLM tiêu chuẩn. Thay vào đó, chúng được tinh chỉnh để sử dụng trí tuệ chung nhằm nhanh chóng lựa chọn giữa các phương án có sẵn, đồng thời báo cáo mức độ tin cậy cho lựa chọn đó. Kiến trúc này được tối ưu hóa cho các môi trường sản xuất, nơi tốc độ và hiệu quả chi phí quan trọng hơn nhu cầu suy luận dài dòng hoặc tạo sinh văn bản sáng tạo. Sự dịch chuyển nhanh chóng trong các mẫu sử dụng làm nổi bật nhu cầu ngày càng tăng về các thành phần AI nhẹ, xác định rõ ràng trong các stack phần mềm.
TypeSafe đã nổi lên như một nhà lãnh đạo tiên phong trong lĩnh vực này, đạt mức định giá 7,5 tỷ USD sau khi ra mắt dòng mô hình Jev. Các số liệu từ OpenRouter cho thấy các mô hình của TypeSafe đã xử lý hơn 1,5 tỷ truy vấn chỉ trong một tuần, cho thấy thị phần thống trị trên các kênh hiển thị. Tuy nhiên, rào cản gia nhập dường như khá thấp. Hàng chục mô hình cạnh tranh đã được ra mắt kể từ khi Jev xuất hiện, bao gồm cả một mô hình do một kỹ sư Amazon xây dựng chỉ trong một cuối tuần. Hiện nay, mọi hyperscaler lớn đều cung cấp biến thể riêng của họ.
Vào thứ Ba, CEO Microsoft Satya Nadella đã công bố việc phát hành rộng rãi ngay lập tức mô hình Microsoft-Decision-1.1 trên Azure. Đồng thời, Sqwish, một startup có trụ sở tại Vương quốc Anh, thông báo vòng tài trợ pre-seed trị giá 3 triệu USD. Mô hình của Sqwish, mang tên kettei fat, được phát triển bởi các cựu sinh viên Cambridge Ushnish Sengupta và Federica Freddi. Họ đã tái sử dụng các kiến trúc LLM nhỏ hiện có để cạnh tranh trong danh mục mới này, đặt cược rằng khả năng tùy biến và các công cụ huấn luyện hậu kỳ sẽ giúp họ khác biệt so với các giải pháp đại trà.
Cách thức hoạt động
Thách thức kỹ thuật cốt lõi trong việc xây dựng các mô hình quyết định hiệu quả không chỉ nằm ở trí tuệ thô, mà còn ở sự hiệu chuẩn (calibration). CEO TypeSafe Diogo Almeida lưu ý rằng phần khó nhất khi tạo ra Jev là hiệu chuẩn chính xác khả năng phán đoán của mô hình bằng dữ liệu tổng hợp được điều chỉnh thống kê. Mô hình phải đánh giá chính xác mức độ tự tin của mình để tránh mắc sai lầm nghiêm trọng trong các quy trình tự động hóa. Nếu thiếu sự hiệu chuẩn này, một mô hình nhanh chỉ đơn thuần là nguồn gốc gây ra ảo giác (hallucination) nhanh chóng.
Sqwish tiếp cận vấn đề này bằng cách cung cấp các công cụ huấn luyện hậu kỳ tích hợp sẵn, cho phép khách hàng cải thiện khả năng phán đoán của mô hình bằng chính dữ liệu sản xuất của họ. Điều này tạo ra một vòng lặp phản hồi, nơi mô hình thích nghi với các bối cảnh kinh doanh cụ thể theo thời gian. Thay vì chỉ dựa vào các benchmark tĩnh, phương pháp này nhấn mạnh vào việc tinh chỉnh liên tục. Các nhà phát triển có thể dễ dàng thay thế mô hình, nhưng giá trị cốt lõi chuyển dịch sang việc cải thiện hiệu suất dài hạn thông qua tích hợp dữ liệu độc quyền.
Microsoft-Decision-1.1 được thiết kế bằng cách cân bằng giữa chi phí, độ trễ, trí tuệ và sự hiệu chuẩn. Achint Srivastava, Phó Chủ tịch Kỹ thuật dẫn dắt dự án, nhấn mạnh rằng các mô hình được tối ưu hóa chặt chẽ cho benchmark thường thất bại trong việc sử dụng thực tế của doanh nghiệp. Quá trình kiểm thử của Microsoft tập trung vào các benchmark giữ lại (held-out benchmarks) phản ánh các trường hợp sử dụng thực tế, đảm bảo mô hình hoạt động đáng tin cậy đồng thời trên cả bốn chiều quan trọng.
Chi tiết chính
- Vào tháng 10, hơn 25% yêu cầu tới bộ định tuyến mô hình AI của Vercel đã được gửi đến các mô hình quyết định.
- Các mô hình Jev của TypeSafe đã xử lý hơn 1,5 tỷ truy vấn trong một tuần thông qua OpenRouter.
- Microsoft đã phát hành Microsoft-Decision-1.1 cho sử dụng rộng rãi trên Azure ngay lập tức.
- Sqwish huy động được 3 triệu USD tài trợ pre-seed cho mô hình quyết định kettei fat.
- Mô hình quyết định xuất ra các lựa chọn có sẵn và điểm tin cậy, không phải token văn bản.
- Việc hiệu chuẩn bằng dữ liệu tổng hợp và dữ liệu sản xuất được xem là rào cản kỹ thuật chính.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, sự trỗi dậy của các mô hình quyết định báo hiệu một sự thay đổi trong cách AI được tích hợp vào sản phẩm. Trước đây, các nhà phát triển có thể đã sử dụng các mô hình frontier đắt tiền cho các tác vụ định tuyến hoặc phân loại đơn giản, trả tiền cho các khả năng suy luận mà họ không cần. Mô hình quyết định cung cấp một cách để giảm đáng kể độ trễ và chi phí cho các tác vụ khối lượng cao, độ phức tạp thấp này. Điều này cho phép các đội ngũ dành các mô hình mạnh mẽ, chậm hơn cho các tác vụ tạo sinh phức tạp, trong khi xử lý logic thường nhật bằng các agent chuyên biệt, hiệu quả.
Cuộc cạnh tranh giữa các hyperscaler và startup cũng làm nổi bật tầm quan trọng của quyền sở hữu dữ liệu và khả năng tùy biến. Trong khi Microsoft và Amazon cung cấp các mô hình quyết định chung mạnh mẽ, các startup như Sqwish lập luận rằng các giải pháp chung sẽ trở thành hàng hóa. Khả năng tinh chỉnh mô hình trên dữ liệu sản xuất riêng tư tạo ra một hào phòng thủ cho các công ty xây dựng tính năng AI độc quyền. Như Federica Freddi đã lưu ý, trí tuệ "System One" này đại diện cho một cơ hội trị giá hàng tỷ đô la, khác biệt với các định giá nghìn tỷ đô la của các phòng thí nghiệm AI đa mục đích.
Bạn có thể làm gì
- Kiểm toán việc sử dụng AI hiện tại của bạn để xác định các tác vụ khối lượng cao, độ phức tạp thấp phù hợp với mô hình quyết định.
- Thử nghiệm Microsoft-Decision-1.1 hoặc các mô hình Jev của TypeSafe so với bộ định tuyến LLM hiện tại của bạn để tìm kiếm khoản tiết kiệm chi phí.
- Đánh giá xem ứng dụng của bạn có yêu cầu hiệu chuẩn tùy chỉnh thông qua các công cụ huấn luyện hậu kỳ do các startup như Sqwish cung cấp hay không.
- Theo dõi điểm tin cậy từ các mô hình quyết định để thiết lập ngưỡng phù hợp cho các can thiệp có con người tham gia (human-in-the-loop).
- Chuẩn bị các tập dữ liệu tổng hợp phản ánh logic kinh doanh cụ thể của bạn để cải thiện việc hiệu chuẩn mô hình.
- Cân nhắc kiến trúc hệ thống nơi các mô hình quyết định "System One" xử lý định tuyến trước khi chuyển các trường hợp phức tạp sang các mô hình tạo sinh "System Two".



