Remplacement des juges génératifs par des modèles de décision pour la défense contre l'injection de prompts

StackOne a mis à jour son garde-fou Defender contre l'injection de prompts en remplaçant un grand modèle de langage génératif par un modèle de décision spécialisé. Ce changement, détaillé dans un article d'ingénierie publié le 15 octobre 2026, fait passer le dernier niveau de leur système de défense d'un juge générateur de texte à un classificateur probabiliste fonctionnant entièrement sur une infrastructure locale.

Ce qui s'est passé

Defender protège les agents appelant des outils en inspectant chaque résultat renvoyé par des outils externes. Le système utilise une approche à trois niveaux pour équilibrer vitesse et précision. Le niveau 1 effectue une correspondance de motifs rapide en environ une milliseconde. Le niveau 2 utilise un classificateur de 22 Mo exécuté sur CPU, qui note les chaînes de caractères en quelques dizaines de millisecondes. Auparavant, le niveau 3 reposait sur un petit LLM génératif pour examiner les cas ambigus escaladés par le niveau 2. Bien qu'efficace pour détecter les attaques, ce juge génératif était coûteux et lent, nécessitant des ressources GPU et plusieurs centaines de millisecondes par appel. Il ne pouvait traiter qu'une partie des résultats en raison de ces contraintes.

L'équipe d'ingénierie cherchait une alternative moins chère et plus rapide pour le niveau 3, capable potentiellement d'évaluer chaque résultat d'outil aux côtés du niveau 2, plutôt que seulement ceux incertains. Ils ont remplacé le juge génératif par un modèle de décision « System One ». Ce type de modèle, popularisé récemment par TypeSafe et Jev, prend des décisions sans générer de texte. La nouvelle implémentation utilise un modèle de décision construit sur une architecture ModernBERT, qui tient sur un seul petit GPU et peut être hébergé localement. Ce changement permet au système de maintenir la confidentialité des données tout en réduisant la latence et les coûts.

Comment cela fonctionne

Les modèles System One tirent leur nom du concept de pensée rapide et intuitive de Daniel Kahneman. Contrairement aux modèles génératifs qui produisent du texte ouvert, ces modèles acceptent un état, tel que du texte ou du JSON, ainsi qu'un ensemble de questions typées. La sortie est strictement limitée à des options prédéfinies : choix multiples, scores numériques ou probabilités binaires connues sous le nom de « nouls ». Parce que l'espace de sortie est fermé, le modèle ne peut pas être trompé pour divaguer, refuser ou produire du texte malformé via une injection de prompt. Il ne peut attribuer que des probabilités aux options fournies par les développeurs.

Cette architecture offre deux avantages principaux pour les systèmes de sécurité. Premièrement, l'espace de sortie fermé empêche le modèle d'être détourné vers des comportements inattendus. Deuxièmement, la sortie est une probabilité brute plutôt qu'un mot généré. Les juges génératifs utilisent implicitement un seuil de 0,5 lorsqu'ils choisissent entre des mots comme « block » (bloquer) ou « allow » (autoriser), mais ce seuil varie de manière imprévisible lors du réentraînement. Un modèle de décision fournit des probabilités explicites, permettant aux ingénieurs de définir des seuils personnalisés basés sur les taux de faux positifs souhaités pour chaque déploiement. StackOne a testé des API hébergées comme Jev mais les a rejetées en raison de préoccupations relatives à la confidentialité des données, car les résultats des outils contiennent souvent des dossiers sensibles sur les employés. Au lieu de cela, ils ont affiné un modèle à poids ouverts sur leurs propres données.

Détails clés

• La correspondance de motifs du niveau 1 se termine en environ une milliseconde.
• Le niveau 2 utilise un classificateur de 22 Mo qui note les chaînes de caractères sur CPU en quelques dizaines de millisecondes.
• Le nouveau modèle du niveau 3 est basé sur une architecture ModernBERT et tient sur un seul petit GPU.
• La performance zéro-shot du modèle de décision non entraîné était de 54,5 % de précision sur des données de test réservées.
• Le modèle répond à des questions spécifiques concernant les instructions, les demandes d'exfiltration de données et les affirmations d'identité.
• Le test de l'API hébergée avec Jev coûtait 0,000025 $ par appel, mais généralisait mal aux charges utiles des outils.

Pourquoi c'est important

Pour les ingénieurs construisant des systèmes agentiques, le coût et la latence des contrôles de sécurité constituent des goulets d'étranglement importants. Les juges génératifs, bien que flexibles, introduisent une latence variable et des coûts de calcul élevés car ils nécessitent des GPU et analysent de grands blocs de texte. En passant à un modèle de décision, StackOne démontre que les tâches de classification critiques n'ont pas besoin de génération ouverte. Cette approche permet un contrôle plus strict du comportement du modèle et des caractéristiques de performance plus prévisibles. Elle permet également la possibilité de scanner chaque résultat d'outil, plutôt qu'un sous-ensemble échantillonné ou escaladé, améliorant ainsi la posture de sécurité globale sans augmentation proportionnelle des coûts.

La confidentialité des données reste une contrainte critique pour les applications d'IA en entreprise. De nombreuses organisations ne peuvent pas envoyer de données internes, telles que des notes CRM ou des e-mails, à des API tierces pour classification. Le passage à des modèles de décision locaux à poids ouverts répond à cette exigence en maintenant tout le traitement au sein de l'infrastructure existante. Ce modèle suggère un changement plus large dans les outils de sécurité IA : s'éloigner de la dépendance aux modèles de pointe pour chaque tâche et aller vers des modèles spécialisés, plus petits, affinés pour des limites de décision spécifiques. Cela réduit la dépendance aux fournisseurs externes et diminue le risque opérationnel.

Ce que vous pouvez faire

• Auditez vos défenses actuelles contre l'injection de prompts pour identifier où les modèles génératifs sont utilisés pour des tâches simples de classification.
• Évaluez les modèles System One ou les modèles de décision pour tout jugement de sécurité binaire ou multi-classe dans votre pipeline.
• Définissez des questions spécifiques et typées pour vos contrôles de sécurité au lieu de poser des questions ouvertes comme « est-ce sûr ? »
• Testez des modèles de décision à poids ouverts sur du matériel local pour garantir qu'ils répondent à vos exigences de latence et de confidentialité.
• Définissez des seuils de probabilité explicites pour bloquer les actions en fonction de votre taux de faux positifs acceptable.
• Affinez les modèles sur vos propres données historiques pour améliorer la précision au-delà des capacités zéro-shot.