Subquadratic Snap zielt auf Entscheidungen bei langen Kontexten mit einem 384k-Token-Fenster

Das in San Francisco ansässige Startup Subquadratic hat SubQ Snap vorgestellt, ein neues Entscheidungsmodell, das bis zu 384.000 Token in einer einzigen Anfrage verarbeiten kann. Die Veröffentlichung markiert eine erhebliche Erweiterung der Kontextkapazität im Vergleich zu jüngsten Wettbewerbern und zielt darauf ab, komplexe Schlussfolgerungsaufgaben über große Codebasen und Dokumentensammlungen hinweg ohne Chunking (Aufteilung) zu bewältigen.

Was passiert ist

Der Launch folgt auf einen Anstieg des Interesses an Entscheidungsmodellen, einer spezialisierten Klasse von KI-Systemen, die aus vordefinierten Antworten auswählen, anstatt offenen Text zu generieren. Das Jev-Modell von TypeSafe, das Mitte September mit einer Grenze von 32.000 Token veröffentlicht wurde, löste diesen Trend aus und veranlasste große Technologieunternehmen wie OpenAI, Microsoft und Amazon, in diesen Bereich einzusteigen. Subquadratic positioniert Snap als direkte Weiterentwicklung dieses Konzepts und behauptet, es könne den zwölffachen Kontext von Jev verarbeiten.

Der CEO von Subquadratic, Alex Whedon, erklärt, dass Jev zwar Inspiration für Snap war, das neue Modell jedoch entwickelt wurde, um umfangreiche Arbeit von teuren Frontier-Large-Language-Models (LLMs) zu übernehmen. Anstatt massive General-Purpose-Modelle für jeden Schritt im Workflow eines KI-Agenten zu verwenden, erledigt Snap die administrative Schwerstarbeit. Dazu gehören die Auswahl von Tools, die Identifizierung relevanter Dateien oder die Auswertung von Testergebnissen. Das Unternehmen argumentiert, dass aktuelle Entscheidungsmodelle Schwierigkeiten haben, wenn notwendige Informationen ihre kleinen Kontextfenster überschreiten, was Entwickler dazu zwingt, potenziell kritische Daten zu verwerfen.

Snap ist derzeit in öffentlicher Vorschau verfügbar. Das Unternehmen bepreist den Dienst mit 0,05 USD pro Million Eingabe-Tokens, wobei Ausgaben kostenlos sind. Whedon erklärt, dass die Rechenkosten stark auf die Verarbeitung des Kontexts statt auf die Textgenerierung entfallen, da das Modell nur Eingaben liest und Wahrscheinlichkeitswerte für zulässige Antworten zurückgibt. Eine vollständige Anfrage mit 384.000 Token kostet ungefähr zwei Cent.

Wie es funktioniert

Snap basiert auf Subquadratic Sparse Attention (SSA), einer Architektur, die das Unternehmen im Mai eingeführt hat. Traditionelle Transformer-Modelle berechnen Aufmerksamkeit quadratisch, was bedeutet, dass die Rechenlast mit zunehmender Eingabelänge dramatisch ansteigt. SSA ändert diese Beziehung so, dass die Anforderungen an die Aufmerksamkeit linear mit der Kontextlänge wachsen. Dies ermöglicht dem Modell, Hunderttausende von Tokens effizient zu verarbeiten, ohne den exponentiellen Kostenanstieg, der bei Standardarchitekturen zu beobachten ist.

Das Modell ist darauf ausgelegt, fragile Vorverarbeitungsschritte wie aggressive Zusammenfassung oder feingranulares Chunking zu eliminieren. Wenn ein KI-Agent einen Fehler beheben muss, kann er ganze Module, Logs und Dokumentation gleichzeitig an Snap übergeben. Das Modell analysiert den gesamten Kontext, um eine Entscheidung zu treffen, beispielsweise welche Datei bearbeitet oder welches Tool als Nächstes aufgerufen werden soll. Während Retrieval-Systeme für Korpora, die größer als 384.000 Token sind, weiterhin erforderlich sind, merkt Whedon an, dass das größere Fenster gröberes Retrieval ermöglicht, indem ganze Dokumente statt sorgfältig gekürzter Ausschnitte herangezogen werden.

Wichtige Details

• Snap unterstützt ein Kontextfenster von bis zu 384.000 Token für Text und Bilder, obwohl das Unternehmen intern Tests mit einer Million Token durchgeführt hat.
• Das Modell verarbeitet 100.000 Token und gibt eine Entscheidung in etwa einer Sekunde zurück.
• Im Decision-LCR-Benchmark, der das Schlussfolgern über mehrere Dokumente hinweg testet, erzielte Snap 74,0 Punkte im Vergleich zu 48,0 Punkten für Jev.
• Subquadratic berichtet, dass Snap Jev bei 13 von 16 unternehmensorientierten Benchmarks übertroffen hat, mit einer durchschnittlichen Punktzahl von 67,6 gegenüber 61,6.
• Die öffentliche Vorschau-Grenze von 384.000 Token ist auf die derzeitige Rechenkapazität zurückzuführen; die öffentliche Unterstützung von einer Million Token würde 2,6-mal mehr Rechenleistung erfordern.
• Snap ist noch nicht auf der neuesten Rangliste des Decision Index aufgeführt, da sich die aktuelle Version auf Open-Weight-Modelle konzentriert und private Tests einschließt.

Warum es wichtig ist

Für Ingenieure, die KI-Agenten entwickeln, besteht der Hauptvorteil in reduzierter Komplexität und geringeren Kosten. Derzeit umfasst das Management von Kontexten komplizierte Pipelines aus Retrieval-Augmented Generation (RAG), Zusammenfassung und Chunking. Diese Schritte führen oft zu Fehlern, weil subtile, aber wichtige Details weggelassen werden. Indem Agenten große Mengen Rohdaten direkt an ein spezialisiertes Entscheidungsmodell übergeben können, können Entwickler ihre Architekturen vereinfachen. Dies reduziert das Risiko, kritischen Kontext während der Vorverarbeitung zu verlieren.

Kosteneffizienz ist ein weiterer wichtiger Faktor. Frontier-LLMs sind teuer im Betrieb für jede kleine Entscheidung in der Ausführungsschleife eines Agenten. Die Auslagerung dieser häufigen, niedrigstufigen Entscheidungen an ein günstigeres, schnelleres Modell wie Snap kann die Betriebskosten erheblich senken. Wenn Snap hohe Genauigkeit bei der Verarbeitung großer Kontexte beibehalten kann, ermöglicht dies Agenten, autonomer über größere Datensätze zu arbeiten, ohne Token-Limits oder Budgetgrenzen zu erreichen.

Allerdings beruhen die Behauptungen weitgehend auf internen Benchmarks. Während Subquadratic Code für seine angepassten Long-Context-Evaluierungen veröffentlicht hat, steht eine unabhängige Überprüfung noch aus. Entwickler sollten die Leistungsverbesserungen als vielversprechend, aber in Drittanbieter-Umgebungen unbewiesen betrachten, bis weitere externe Daten verfügbar sind.

Was Sie tun können

• Bewerten Sie, ob Ihre aktuellen Agent-Workflows häufige Kontextkürzungen oder komplexe Chunking-Logik beinhalten, die durch ein größeres Fenster vereinfacht werden könnten.
• Testen Sie die öffentliche Vorschau von Snap bei spezifischen Aufgaben wie Codebase-Navigation oder Multi-Dokument-Klassifikation, um Latenz und Genauigkeit im Vergleich zu Ihrem aktuellen Stack zu überprüfen.
• Berechnen Sie den Kostenvorteil zwischen der Verwendung von Frontier-LLMs für Entscheidungsschritte und der Zahlung von 0,05 USD pro Million Eingabe-Tokens für Snap.
• Überprüfen Sie den veröffentlichten Evaluierungscode, um zu verstehen, wie Subquadratic die Langzeitkontextbindung misst, und entscheiden Sie, ob diese Metriken mit Ihren Anwendungsfällen übereinstimmen.
• Beobachten Sie kommende Updates zur Rangliste des Decision Index, um zu sehen, ob Snap in zukünftigen unabhängigen Rankings auftaucht.
• Erwägen Sie hybride Ansätze, bei denen Snap die breite Kontextanalyse übernimmt, während kleinere, schnellere Modelle unmittelbare lokale Entscheidungen treffen.