Microsoftの参入で、Vercelトラフィックの25%を決定モデルが占める
テキストではなく選択肢を出力する新しいAIモデルが、本番ワークロードを支配しています。Microsoftとスタートアップは、高速かつ低コストなこの決定エンジンの最適化を競っています。
英語の原文から自動翻訳されました。
10月、VercelのAIモデルルーターへのリクエストのうち4件に1件以上が、従来の大規模言語モデル(LLM)ではなく「決定モデル」に向けられていました。これは、わずか1か月前に発明されたばかりの技術カテゴリーとしては、驚くべき採用率です。Microsoftなどの主要プレイヤーや専門的なスタートアップは、この新たな人工知能インフラ層の定義を急いでいます。
何が起きたのか
決定モデルは、標準的なLLMのように出力トークンを生成しない、独自のAIクラスです。代わりに、一般的な知能を活用して事前設定されたオプションの中から迅速に選択し、その選択に対する信頼度レベルを報告するように調整されています。このアーキテクチャは、冗長な推論や創造的なテキスト生成よりも、速度とコスト効率性が重視される本番環境向けに最適化されています。利用パターンの急速な変化は、ソフトウェアスタックにおける軽量で決定論的なAIコンポーネントへの需要が高まっていることを浮き彫りにしています。
TypeSafeはこの分野の初期リーダーとして台頭しており、Jevファミリーのモデルをリリースした後、企業価値75億ドルに達しました。OpenRouterのメトリクスによると、TypeSafeのモデルは1週間で15億件以上のクエリを処理しており、可視チャネルでの市場シェアが圧倒的であることを示しています。しかし、参入障壁は低いようです。Jevのデビュー以来、Amazonのエンジニアが週末だけで構築したモデルを含む数十の競合モデルがリリースされており、すべての主要ハイパースケーラーが独自の変種を提供しています。
火曜日、MicrosoftのCEOであるSatya Nadella氏は、Azure上でのMicrosoft-Decision-1.1の即時広範なリリースを発表しました。同時に、英国のスタートアップSqwishは300万ドルのプレシードラウンドを発表しました。Sqwishのモデル「kettei fat」は、ケンブリッジ大学の卒業生であるUshnish Sengupta氏とFederica Freddi氏によって開発されました。彼らは既存の小規模LLMアーキテクチャを転用し、カスタマイズとポストトレーニングツールがコモディティ化した製品との差別化要因になると賭けて、この新カテゴリーで競争しています。
仕組み
効果的な決定モデルを構築する際の核心的な技術課題は、単なる生の知能だけでなく、「キャリブレーション(校正)」にあります。TypeSafeのCEOであるDiogo Almeida氏は、Jevの作成で最も難しかったのは、統計的に調整された合成データを使用してモデルの判断力を細かくキャリブレーションすることだと指摘しています。モデルは、自動化ワークフローにおいて高リスクのエラーを避けるために、自身の信頼度を正確に評価する必要があります。このキャリブレーションなしでは、高速なモデルは単にハルシネーション(幻覚)を高速に発生させるだけの存在になってしまいます。
Sqwishは、顧客が自社の本番データを使用してモデルの判断力を向上させることができる組み込みのポストトレーニングツールを提供することで、この問題に対処しています。これにより、モデルが特定のビジネスコンテキストに適応していくフィードバックループが生まれます。静的なベンチマークだけに頼るのではなく、この方法は継続的なチューニングを重視します。開発者はモデルを簡単に切り替えることができますが、価値提案は、独自のデータ統合を通じた長期的なパフォーマンス向上へとシフトしています。
Microsoft-Decision-1.1は、コスト、レイテンシ、知能、キャリブレーションのバランスを取ることで設計されました。プロジェクトを主導したエンジニアリングVPのAchint Srivastava氏は、ベンチマークのみ用に最適化されたモデルは、実際のエンタープライズ利用では失敗することが多いと強調しました。Microsoftのテストは、実際のユースケースを反映したホールドアウトベンチマークに焦点を当て、モデルが4つの重要な次元すべてにおいて同時に信頼性高く動作することを保証しました。
主な詳細
- 10月、Vercel AIモデルルーターのリクエストの25%以上が決定モデルに向けられました。
- TypeSafeのJevモデルは、OpenRouter経由で1週間に15億件以上のクエリを処理しました。
- Microsoftは、Azure上でMicrosoft-Decision-1.1をすぐに広範に利用可能にしました。
- Sqwishは、決定モデル「kettei fat」のために300万ドルのプレシード資金調達を行いました。
- 決定モデルは、テキストトークンではなく、事前設定された選択肢と信頼度スコアを出力します。
- 合成データと本番データを用いたキャリブレーションが、主要な技術的ハードルとして挙げられています。
なぜ重要なのか
ソフトウェアエンジニアや技術系創業者にとって、決定モデルの台頭は、AIが製品に統合される方法の変化を示唆しています。以前は、開発者が単純なルーティングや分類タスクのために高価なフロンティアモデルを使用し、必要としていない推論能力に対して支払っていたかもしれません。決定モデルは、これらの高ボリューム・低複雑度のタスクにおいて、レイテンシとコストを大幅に削減する方法を提供します。これにより、チームは強力だが遅いモデルを複雑な生成タスク用に確保し、ルーチンなロジックは専門的で効率的なエージェントで処理できるようになります。
ハイパースケーラーとスタートアップ間の競争は、データの所有権とカスタマイズの重要性も浮き彫りにしています。MicrosoftやAmazonが堅牢な汎用決定モデルを提供する一方、Sqwishのようなスタートアップは、汎用的なソリューションがコモディティ化すると主張しています。プライベートな本番データでモデルをファインチューニングできる能力は、独自のAI機能を構築する企業にとって防御的な堀(モート)となります。Federica Freddi氏が指摘したように、この「システム1」型の知能は、汎用AIラボの兆ドル規模の評価とは異なる、数十億ドル規模の機会を表しています。
今できること
- 現在のAI使用状況を監査し、決定モデルに適した高ボリューム・低複雑度のタスクを特定してください。
- コスト削減のために、Microsoft-Decision-1.1やTypeSafeのJevモデルを現在のLLMルーターと比較してテストしてください。
- Sqwishのようなスタートアップが提供するポストトレーニングツールによるカスタムキャリブレーションがアプリケーションに必要なかどうかを評価してください。
- 決定モデルからの信頼度スコアを監視し、人間による介入(human-in-the-loop)のための適切な閾値を設定してください。
- モデルのキャリブレーションを改善するために、特定のビジネスロジックを反映した合成データセットを準備してください。
- 「システム1」型の決定モデルがルーティングを処理し、複雑なケースを「システム2」型の生成モデルに渡すようなシステムのアーキテクチャを検討してください。



