OpenAI startet Decisions API, um mit TypeSafes Jev-Modell zu konkurrieren

OpenAI hat seine Decisions API offiziell für alle Kunden veröffentlicht. Dies markiert einen bedeutenden Einstieg in den schnell wachsenden Markt für Hochgeschwindigkeits-Entscheidungsmodelle mit niedrigen Kosten. Dieser Schritt stellt eine direkte Herausforderung für das Startup TypeSafe dar, das mit einem Bewertungswert von 7,6 Milliarden Dollar die Kategorie mit seinem Jev-Modell begründet hat. Die Veröffentlichung folgt einer ersten Ankündigung am OpenAI Developer Day am 29. September und zielt darauf ab, Entwicklern eine schnellere Alternative zu herkömmlichen großen Sprachmodellen (LLMs) für spezifische Klassifizierungs- und Entscheidungsaufgaben zu bieten.

Was passiert ist

Die Decisions API ist für Workflows konzipiert, in denen Geschwindigkeit und Kosten kritische Einschränkungen sind. Im Gegensatz zu Standard-LLMs, die Text durch komplexe Reasoning-Prozesse generieren, fungieren diese sogenannten System-One-Modelle als Super-Klassifikatoren. Sie bewerten eine Reihe von Optionen und geben einen gewählten Pfad zusammen mit einer Konfidenzbewertung zurück. Nikunj Handa, Produktleiter für die APIs von OpenAI, merkte an, dass interne Teams das Potenzial sofort erkannten, nachdem sie das Jev-Modell von TypeSafe gesehen hatten, und Millionen potenzieller Anwendungsfälle innerhalb ihrer eigenen Infrastruktur identifizierten.

Anstatt ein neues Modell von Grund auf zu trainieren, hat das Engineering-Team von OpenAI ChatGPT Luna neu konfiguriert, um die Inferenzgeschwindigkeit zu optimieren und die Kosten zu senken. Dieser Ansatz ermöglichte es ihnen, den Dienst schnell bereitzustellen und dabei bestehende Fähigkeiten zu nutzen. Die öffentliche Version unterstützt Voice- und Visual-Modalitäten, und OpenAI hat seine Inferenzressourcen geografisch verteilt, um die Latenz für Nutzer weltweit zu reduzieren. Frühe Tests mit Unternehmen wie Box, Datadog, Ramp und Speak zeigten erhebliche Leistungsverbesserungen; einige Ingenieure ersetzten langsamere LLM-Aufrufe vollständig.

Wie es funktioniert

Der Kernmechanismus hinter der Decisions API ist die Optimierung eines bestehenden Basismodells für schnelle Klassifizierung statt für generative Ausgabe. Durch das Entfernen des Overheads, der mit der Generierung von Langtexten verbunden ist, kann das System Eingaben verarbeiten und Entscheidungen in Millisekunden zurückgeben. Handa erklärte, dass der Hauptvorteil in der Verkürzung der Antwortzeit liegt, wobei Verzögerungen von einer bis drei Sekunden auf Bereiche zwischen 100 und 180 Millisekunden reduziert werden. Derzeit verlässt sich das Modell auf die zugrunde liegende Leistungsfähigkeit von Luna ohne spezialisiertes Training für entscheidungsspezifische Logik, obwohl zukünftige Iterationen gezieltes Fine-Tuning enthalten könnten.

Diese Architektur unterstützt multimodale Eingaben, sodass das Modell Bilder und Sprachdaten neben Text verarbeiten kann. Für Bildklassifizierungsaufgaben gab Handa an, dass Luna starke Kalibrierungsfähigkeiten demonstriert. Das System wird auch auf noch niedrigere Latenzen getestet, mit dem Ziel, 60 Millisekunden zu erreichen. Bei dieser Geschwindigkeit könnte die API möglicherweise Entscheidungsprozesse für jeden Frame eines Videostreams handhaben, was Echtzeit-interaktive Anwendungen eröffnet, die aufgrund von Rechenverzögerungen zuvor unpraktikabel waren.

Wichtige Details

• Die Decisions API von OpenAI reduziert die Inferenzzeit von Sekunden auf etwa 100–180 Millisekunden.
• Das Modell wurde durch Neukonfiguration von ChatGPT Luna erstellt, anstatt eine neue spezialisierte Architektur zu trainieren.
• Frühe Anwender wie Speak berichteten über eine Reduzierung der Aktionszeiten von 1,4 Sekunden auf 0,13 Sekunden.
• Die API unterstützt Voice- und Visual-Modalitäten, mit geografischer Ressourcenverteilung zur Minimierung der Latenz.
• Das Jev-Modell von TypeSafe bleibt trotz neuer Konkurrenz das meistabgefragte Entscheidungsmodell auf OpenRouter.
• Öffentliche Benchmarks zeigen, dass das Modell von OpenAI auf dem AIM System One Index den achten Platz und auf dem Artificial Analysis Decision Index den vierzehnten Platz belegt.

Warum es wichtig ist

Für Software-Ingenieure und technische Gründer stellt das Aufkommen von Entscheidungsmodellen einen Wandel dar, wie KI in Produktionssysteme integriert wird. Herkömmliche LLMs sind oft überdimensioniert für Aufgaben, die einfache Entscheidungen erfordern, wie das Routing von Kundenservice-Tickets oder die Klassifizierung der Nutzerabsicht. Indem OpenAI eine dedizierte API für diese Aufgaben anbietet, können Entwickler Kosten senken und die Benutzererfahrung durch schnellere Antwortzeiten verbessern. Diese Effizienz ermöglicht es, KI in häufigere, hochvolumige Interaktionen einzubetten, ohne prohibitiv hohe Kosten oder Latenzen.

Der Wettbewerb in diesem Bereich verschärft sich, da mehrere Akteure spezialisierte Modelle veröffentlichen. Liquid hat kürzlich D1 Ultra gestartet, und Base Lab hat Elephant-1 veröffentlicht, beide schneiden in öffentlichen Indizes gut ab. TypeSafe innoviert weiterhin mit Funktionen wie smart-if-Anweisungen und Bildunterstützung. Der praktische Wert dieser Modelle hängt jedoch oft von spezifischen Workload-Anforderungen ab, nicht nur von Benchmark-Scores. Wie Diogo Almeida, CEO von TypeSafe, andeutet, ist das beste Modell dasjenige, das für Ihren spezifischen Anwendungsfall funktioniert, und betont die Notwendigkeit direkter Tests und Bewertungen.

Was Sie tun können

• Überprüfen Sie Ihre aktuellen LLM-Workflows, um Aufgaben zu identifizieren, die einfache Klassifizierung oder Auswahlentscheidungen beinhalten.
• Testen Sie die Decisions API gegen Ihre bestehenden LLM-Aufrufe, um Verbesserungen bei Latenz und Kosten zu messen.
• Bewerten Sie multimodale Fähigkeiten, wenn Ihre Anwendung Bilder oder Sprachdaten neben Text verarbeitet.
• Vergleichen Sie die Leistungsmetriken mit Konkurrenten wie TypeSafes Jev, Liquids D1 Ultra und Base Labs Elephant-1.
• Erwägen Sie Echtzeitanwendungen, wie Video-Frame-Analyse, die mit Sub-100-Millisekunden-Latenz machbar werden könnten.
• Beobachten Sie Benchmark-Ergebnisse, priorisieren Sie aber interne Tests, um festzustellen, welches Modell am besten zu Ihren spezifischen betrieblichen Anforderungen passt.