OpenAI、TypeSafeのJevモデルに対抗するDecisions APIを公開

OpenAIはすべての顧客向けにDecisions APIを正式にリリースし、高速・低コストの意思決定モデルという急速に成長している市場への重要な参入を示しました。この動きは、Jevモデルでこのカテゴリーを先駆けた評価額76億ドルのスタートアップであるTypeSafeに直接対抗するものです。今回のリリースは9月29日のOpenAI開発者デーでの最初の発表に続き、特定の分類や選択を行うタスクにおいて、従来の大規模言語モデル（LLM）よりも高速な代替手段を開発者に提供することを目的としています。

何が起きたか

Decisions APIは、速度とコストが重要な制約となるワークフローに対応するように設計されています。複雑な推論プロセスを通じてテキストを生成する標準的なLLMとは異なり、いわゆる「システム1」モデルはスーパー分類器として機能します。これらは選択肢の評価セットを受け取り、信頼度評価とともに選ばれたパスを返します。OpenAIのAPI製品責任者であるNikunj Handa氏は、社内チームがTypeSafeのJevモデルを見た直後にその可能性を認識し、自社インフラ内で数百万もの潜在的なユースケースを特定したと述べています。

ゼロから新しいモデルを訓練するのではなく、OpenAIのエンジニアリングチームは推論速度の最適化とコスト削減のためにChatGPT Lunaを再構成しました。このアプローチにより、既存の機能を活用しながらサービスを迅速に展開することができました。公開版には音声および視覚モダリティのサポートが含まれており、OpenAIは世界中のユーザーの遅延を低減するために推論リソースを地理的に分散させています。Box、Datadog、Ramp、Speakなどの企業との初期トライアルでは、著しいパフォーマンス向上が実証され、一部のエンジニアはより低速なLLM呼び出しを完全に置き換えました。

仕組み

Decisions APIの背後にあるコアメカニズムは、生成出力ではなく迅速な分類のために既存の基盤モデルを最適化することです。長文テキスト生成に関連するオーバーヘッドを取り除くことで、システムは入力処理と意思決定の返却をミリ秒単位で行うことができます。Handa氏は、主な利点は応答時間の短縮であり、1〜3秒かかる遅延を100〜180ミリ秒の範囲にまで縮小できることだと説明しました。現在、このモデルは意思決定特化のロジックに対する専門的な訓練を行わずにLunaの基本的な能力に依存していますが、将来のイテレーションではターゲットを絞ったファインチューニングが含まれる可能性があります。

このアーキテクチャはマルチモーダル入力をサポートしており、モデルはテキストに加えて画像や音声データを処理できます。画像分類タスクについて、Handa氏はLunaが強力な校正（キャリブレーション）能力を示すと述べました。さらに低い遅延もテスト中で、60ミリ秒到達を目標としています。その速度であれば、APIはビデオストリームの各フレームに対する意思決定を処理でき、計算遅延により従来は非現実的だったリアルタイムインタラクティブアプリケーションの可能性が開けます。

主要な詳細

• OpenAIのDecisions APIは、推論時間を数秒から約100〜180ミリ秒に短縮します。
• このモデルは、新しい専門アーキテクチャを訓練するのではなく、ChatGPT Lunaを再構成して構築されました。
• Speakなどの早期採用者は、アクション時間を1.4秒から0.13秒に短縮したと報告しています。
• APIは音声および視覚モダリティをサポートし、遅延最小化のための地理的リソース分散を行っています。
• 新しい競合が存在するにもかかわらず、TypeSafeのJevモデルはOpenRouter上で最もクエリされている意思決定モデルのままです。
• 公開ベンチマークでは、OpenAIのモデルはAIM System One Indexで8位、Artificial Analysis Decision Indexで14位にランクインしています。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、意思決定モデルの出現は、AIが本番システムに統合される方法における変化を表しています。従来のLLMは、カスタマーサポートチケットのルーティングやユーザー意図の分類など、単純な選択を必要とするタスクに対しては過剰な性能を持つことがよくあります。これらのタスク専用のAPIを提供することで、OpenAIは開発者がコストを削減し、より速い応答時間を通じてユーザー体験を向上させることを可能にします。この効率性により、AIは禁止的な費用や遅延なしに、より頻繁かつ大量のインタラクションに組み込むことができます。

この分野での競争は激化しており、複数のプレイヤーが専門的なモデルをリリースしています。Liquidは最近D1 Ultraを立ち上げ、Base LabはElephant-1をリリースしましたが、どちらも公開インデックスで良好なパフォーマンスを示しています。TypeSafeはsmart-ifステートメントや画像サポートなどの機能で革新を続けています。しかし、これらのモデルの実用的価値は、単なるベンチマークスコアではなく、具体的なワークロード要件に依存することが多いです。TypeSafeのCEOであるDiogo Almeida氏が示唆するように、最高のモデルとはあなたの特定のユースケースで機能するものであり、直接的な試用と評価の必要性が強調されています。

あなたができること

• 現在のLLMワークフローを監査し、単純な分類や選択を含むタスクを特定してください。
• Decisions APIを既存のLLM呼び出しと比較してテストし、遅延とコストの改善を測定してください。
• アプリケーションがテキストに加えて画像や音声データを処理する場合、マルチモーダル機能を評価してください。
• TypeSafeのJev、LiquidのD1 Ultra、Base LabのElephant-1などの競合他社とのパフォーマンス指標を比較してください。
• サブ100ミリ秒の遅延により実現可能になる可能性がある、ビデオフレーム分析などのリアルタイムアプリケーションを検討してください。
• ベンチマーク結果を監視しつつ、特定の運用ニーズに最も適したモデルを判断するために内部テストを優先してください。