Subquadratic Snap cible les décisions en contexte long avec une fenêtre de 384k jetons

La startup Subquadratic, basée à San Francisco, a lancé SubQ Snap, un nouveau modèle de décision conçu pour traiter jusqu'à 384 000 jetons lors d'une seule requête. Cette sortie marque une expansion significative de la capacité de contexte par rapport aux concurrents récents, visant à gérer des tâches de raisonnement complexes sur de grandes bases de code et des jeux de documents sans découpage.

Ce qui s'est passé

Ce lancement suit une vague d'intérêt pour les modèles de décision, une classe spécialisée de systèmes d'IA qui sélectionnent parmi des réponses prédéfinies plutôt que de générer du texte ouvert. Le modèle Jev de TypeSafe, sorti à la mi-septembre avec une limite de 32 000 jetons, a déclenché cette tendance, incitant de grandes entreprises technologiques telles qu'OpenAI, Microsoft et Amazon à entrer dans ce domaine. Subquadratic positionne Snap comme une évolution directe de ce concept, affirmant qu'il peut traiter douze fois plus de contexte que Jev.

Alex Whedon, PDG de Subquadratic, déclare que si Jev a inspiré Snap, le nouveau modèle est conçu pour soulager substantiellement les coûteux grands modèles de langage (LLM) de pointe. Au lieu d'utiliser d'immenses modèles généralistes pour chaque étape du flux de travail d'un agent IA, Snap prend en charge le gros œuvre administratif. Cela inclut la sélection d'outils, l'identification de fichiers pertinents ou l'évaluation de résultats de tests. L'entreprise soutient que les modèles de décision actuels peinent lorsque les informations nécessaires dépassent leurs petites fenêtres de contexte, obligeant les développeurs à écarter des données potentiellement critiques.

Snap est actuellement disponible en préversion publique. L'entreprise facture le service 0,05 $ par million de jetons d'entrée, sans frais pour les sorties. Whedon explique que comme le modèle ne lit que les entrées et renvoie des scores de probabilité pour les réponses autorisées, le coût computationnel est fortement biaisé vers le traitement du contexte plutôt que la génération de texte. Une requête complète de 384 000 jetons coûte environ deux cents.

Comment cela fonctionne

Snap repose sur Subquadratic Sparse Attention (SSA), une architecture introduite par l'entreprise en mai. Les modèles transformer traditionnels calculent l'attention de manière quadratique, ce qui signifie que la charge computationnelle augmente considérablement à mesure que la longueur de l'entrée croît. SSA modifie cette relation afin que les besoins en attention augmentent linéairement avec la longueur du contexte. Cela permet au modèle de traiter des centaines de milliers de jetons efficacement sans le pic de coût exponentiel observé dans les architectures standard.

Le modèle est conçu pour éliminer les étapes fragiles de prétraitement comme la synthèse agressive ou le découpage fin. Lorsqu'un agent IA doit corriger un bug, il peut soumettre simultanément à Snap des modules entiers, des journaux et de la documentation. Le modèle analyse le contexte complet pour prendre une décision, telle que le fichier à éditer ou l'outil à appeler ensuite. Bien que des systèmes de récupération soient toujours nécessaires pour les corpus dépassant 384 000 jetons, Whedon note que la fenêtre plus large permet une récupération moins précise, intégrant des documents entiers plutôt que des extraits soigneusement tronqués.

Détails clés

• Snap prend en charge une fenêtre de contexte allant jusqu'à 384 000 jetons pour le texte et les images, bien que l'entreprise ait testé en interne jusqu'à un million de jetons.
• Le modèle traite 100 000 jetons et renvoie une décision en environ une seconde.
• Sur le benchmark Decision LCR, qui teste le raisonnement à travers plusieurs documents, Snap a obtenu un score de 74,0 contre 48,0 pour Jev.
• Subquadratic rapporte que Snap a surpassé Jev sur 13 des 16 benchmarks orientés entreprise, avec un score moyen de 67,6 contre 61,6.
• La limite de la préversion publique de 384 000 jetons est due à la capacité de calcul actuelle ; supporter un million de jetons publiquement nécessiterait 2,6 fois plus de puissance de calcul.
• Snap n'est pas encore listé sur le dernier classement Decision Index car la version actuelle se concentre sur les modèles à poids ouverts et inclut des tests privés.

Pourquoi c'est important

Pour les ingénieurs développant des agents IA, le principal avantage est la réduction de la complexité et des coûts. Actuellement, la gestion du contexte implique des pipelines intriqués de génération augmentée par récupération (RAG), de synthèse et de découpage. Ces étapes introduisent souvent des erreurs en omettant des détails subtils mais importants. En permettant aux agents de transmettre de grandes quantités de données brutes directement à un modèle de décision spécialisé, les développeurs peuvent simplifier leurs architectures. Cela réduit le risque de perdre un contexte critique lors du prétraitement.

L'efficacité économique est un autre facteur majeur. Les LLM de pointe sont coûteux à exécuter pour chaque petite décision dans la boucle d'exécution d'un agent. Décharger ces choix fréquents et bas niveau vers un modèle moins cher et plus rapide comme Snap peut réduire significativement les dépenses opérationnelles. Si Snap peut maintenir une haute précision tout en traitant de grands contextes, il permet aux agents d'opérer plus autonomement sur des jeux de données plus vastes sans atteindre les limites de jetons ou de budget.

Cependant, ces affirmations reposent largement sur des benchmarks internes. Bien que Subquadratic ait publié le code pour ses évaluations adaptées au contexte long, une vérification indépendante reste à faire. Les développeurs doivent considérer les avantages de performance comme prometteurs mais non prouvés dans des environnements tiers tant que davantage de données externes ne seront pas disponibles.

Ce que vous pouvez faire

• Évaluez si vos flux de travail d'agents actuels impliquent des troncatures fréquentes de contexte ou une logique de découpage complexe qui pourrait être simplifiée par une fenêtre plus grande.
• Testez la préversion publique de Snap sur des tâches spécifiques comme la navigation dans une base de code ou la classification multi-documents pour comparer la latence et la précision par rapport à votre stack actuel.
• Calculez la différence de coût entre l'utilisation de LLM de pointe pour les étapes de décision versus le paiement de 0,05 $ par million de jetons d'entrée pour Snap.