Mit KI entwickeln

Entscheidungsmodelle senken KI-Latenz und Kosten durch eingeschränkte Ausgaben

Neue Entscheidungsmodelle wie Jev liefern Millisekunden-Antworten zu einem Bruchteil der LLM-Kosten, indem sie aus vordefinierten Optionen wählen. Dies reduziert Halluzinationen, schränkt jedoch das komplexe logische Denken ein.

Ein Glaswürfel, der ein Entscheidungsmodell darstellt, neben Dokumenten und einer Stoppuhr.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Im September 2026 startete das Startup TypeSafe AI mit Jev eine neue Klasse von KI-Modellen, die schnelle Entscheidungen treffen sollen, ohne die hohen Rechenkosten oder das Risiko von Halluzinationen, die mit traditionellen großen Sprachmodellen (LLMs) verbunden sind. Diese Veröffentlichung löste sofort einen Branchenumbruch aus: Große Technologieunternehmen wie Cloudflare, Amazon, OpenAI und Microsoft brachten schnell eigene Versionen dieser „Entscheidungsmodelle“ auf den Markt, um Aufgaben mit hohem Datenvolumen und geringer Latenz zu bewältigen.

Was passiert ist

TypeSafe AI positionierte Jev als ein „System-One-Modell“, in Anlehnung an die Theorie des Psychologen Daniel Kahneman über schnelles, instinktives Denken im Gegensatz zu langsamem, überlegtem Schlussfolgern. Das Unternehmen behauptete, dass Jev End-to-End-Antwortlatenzen zwischen 70 und 500 Millisekunden erreichen kann – deutlich schneller als die mehreren Sekunden, die Standard-LLMs typischerweise benötigen. Unabhängige Tests bestätigten diese Angaben; eine Studie unter Mitwirkung des Professors Ramayya Krishnan von der Carnegie Mellon University ergab, dass Jev über verschiedene Benchmarks hinweg eine mediane Latenz von 150 Millisekunden erreichte. Im Vergleich dazu verzeichnete das Modell GPT-6 Astra von OpenAI im selben Zeitraum eine mediane Latenz von 1,89 Sekunden.

Die finanziellen Auswirkungen sind ebenso gravierend. TypeSafe AI berechnet für Jev 0,042 US-Dollar pro Million Eingabe-Tokens, während Ausgabe-Tokens kostenlos bereitgestellt werden. Zum Vergleich: GPT-6 Astra kostet 10 US-Dollar pro Million Eingabe-Tokens und 50 US-Dollar pro Million Ausgabe-Tokens. Selbst die günstigere, geschwindigkeitsoptimierte Variante GPT-6 Luna kostet 0,10 US-Dollar pro Million Eingabe-Tokens und 0,50 US-Dollar pro Million Ausgabe-Tokens. Diese drastische Reduktion von Kosten und Zeit hat erhebliche Aufmerksamkeit erregt und führte dazu, dass TypeSafe AI 870 Millionen US-Dollar bei einer Bewertung von 7,5 Milliarden US-Dollar einsammelte. Der Erfolg des Modells hat auch eine Welle der Nachahmung ausgelöst, wobei unabhängige Entwickler und etablierte Unternehmen innerhalb weniger Wochen nach dem Debüt von Jev Dutzende ähnlicher Modelle veröffentlichten.

Wie es funktioniert

Entscheidungsmodelle unterscheiden sich grundlegend von traditionellen LLMs im Prozess der Ausgabeerzeugung. Während ein LLM wiederholt das nächste Token in einer Sequenz vorhersagt, bis eine vollständige Antwort gebildet ist, führt ein Entscheidungsmodell nur einen einzigen Forward-Pass durch. Es liest alle Eingabe-Tokens und erzeugt eine einzelne Auswahl aus einem vordefinierten Satz von Optionen, wie etwa A, B oder C. Diese architektonische Einschränkung eliminiert die sequentielle Token-Generierung, die hohe Latenzen verursacht und die Tür für faktische Fehler oder „Halluzinationen“ in LLMs öffnet.

Diese Modelle behalten die Transformer-basierte Architektur und die allgemeine Intelligenz von LLMs bei, was ihnen ermöglicht, Aufgaben zu generalisieren, ohne das domänenspezifische Fine-Tuning, das ältere Klassifikationsmodelle erfordern. Sie sind jedoch auf strukturierte Antwortformate beschränkt. Indem Wahrscheinlichkeiten nur unter vorherbestimmten Möglichkeiten berechnet werden, verhindern Entscheidungsmodelle die Generierung unerwarteter oder erfundener Texte. Dies macht sie sehr effektiv für Aufgaben wie Inhaltsmoderation, Spam-Erkennung und Routing, bei denen es darum geht, Daten zu kategorisieren, statt kreativen Text zu generieren.

Wichtige Details

  • Jev erreicht eine mediane Latenz von 150 Millisekunden, verglichen mit 1,89 Sekunden für GPT-6 Astra in unabhängigen Tests.
  • Die Preisgestaltung für Eingabe-Tokens bei Jev liegt bei 0,042 US-Dollar pro Million, mit kostenlosen Ausgabe-Tokens, was die Konkurrenz weit unterbietet.
  • Entscheidungsmodelle nutzen einen einzelnen Forward-Pass zur Auswahl aus vordefinierten Optionen und vermeiden so die sequentielle Token-Generierung.
  • Große Anbieter wie Cloudflare, Amazon und Microsoft haben nach dem Start von Jev ihre eigenen Entscheidungsmodelle veröffentlicht.
  • In Bereichen, die komplexes logisches Denken erfordern, wie Medizin, Finanzen und Recht, sinkt die Leistung im Vergleich zu LLMs.
  • Hybride Architekturen, die Entscheidungsmodelle für schnelle Urteile und LLMs für detaillierte Erklärungen kombinieren, zeigen vielversprechende Ergebnisse.

Warum das wichtig ist

Für Software-Ingenieure und technische Leiter bieten Entscheidungsmodelle eine praktische Lösung für Verarbeitungsaufgaben mit hohem Volumen, die keine offene Generierung erfordern. Aufgaben wie die Moderation von Social-Media-Beiträgen, das Filtern von Spam-E-Mails oder die Erkennung von Prompt-Injection-Angriffen können nun mit höherer Geschwindigkeit und geringeren Kosten bewältigt werden. Michelle Chen, Group Product Manager bei Cloudflare, deutet an, dass bis zu 80 Prozent der typischen LLM-Aufgaben auf diese schnelleren, günstigeren System-One-Modelle ausgelagert werden könnten. Dieser Wandel ermöglicht es Teams, KI-Funktionen bereitzustellen, ohne große Machine-Learning-Teams für das Training benutzerdefinierter Klassifikatoren unterhalten zu müssen.

Allerdings ist die Technologie kein universeller Ersatz für LLMs. Entscheidungsmodelle tun sich schwer mit Aufgaben, die tiefgreifendes Fachwissen oder komplexes logisches Schlussfolgern erfordern. Forscher weisen darauf hin, dass diese Modelle zwar Ausgabehalluzinationen eliminieren, aber nicht unbedingt Entscheidungsfehler, insbesondere bei Mathe- oder Logikrätseln. Folglich könnte die effektivste Implementierung hybride Systeme beinhalten, bei denen Entscheidungsmodelle das anfängliche Triage oder einfache Klassifikationen übernehmen und nur komplexe oder Fälle mit geringer Konfidenz an leistungsfähigere, wenn auch langsamere und teurere LLMs weitergeben.

Was Sie tun können

  • Identifizieren Sie Aufgaben mit hohem Volumen und geringer Komplexität in Ihrer Pipeline, wie Dokumentklassifikation oder Spam-Filterung, für eine mögliche Migration zu Entscheidungsmodellen.
  • Bewerten Sie Open-Weight-Entscheidungsmodelle wie Cloudflares Clef oder SII-Decision, um die Leistung auf Ihren spezifischen Datensätzen ohne Vendor-Lock-in zu testen.
  • Implementieren Sie hybride Architekturen, bei denen Entscheidungsmodelle das anfängliche Triage durchführen und nur mehrdeutige oder komplexe Abfragen an volle LLMs weiterleiten.
  • Benchmarking Sie Latenz und Kosteneinsparungen gegen Ihre aktuelle LLM-Nutzung, um die potenziellen operativen Effizienzgewinne zu quantifizieren.
  • Überprüfen Sie die vordefinierten Options-Sets für Ihre Anwendungsfälle, um sicherzustellen, dass sie alle notwendigen Ergebnisse abdecken, ohne zu restriktiv zu sein.
  • Überwachen Sie die Genauigkeit bei domänenspezifischen Aufgaben und erkennen Sie an, dass Entscheidungsmodelle in Bereichen mit spezialisiertem logischem Denken möglicherweise schlechter abschneiden.
  • #ai models
  • #llm optimization
  • #decision models
  • #latency
  • #cost reduction

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel