Développer avec l’IA

Les modèles Granite 4.1 adoptent LLMON pour bloquer les injections de prompts

Hugging Face publie les modèles d'aperçu Granite 4.1 3B et 8B, entraînés sur LLMON, un langage de balisage qui sépare les instructions des données afin de prévenir les injections indirectes de prompts.

Un cube en verre avec des couches étiquetées organisées à côté de bandes de papier emmêlées
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Hugging Face a publié deux modèles expérimentaux d'aperçu, granite-4.1-3b-LLMON-preview et granite-4.1-8b-LLMON-preview, conçus pour gérer le contexte structuré de manière plus robuste que les grands modèles de langage traditionnels. Ces modèles, dérivés de la base Granite 4.1, sont entraînés à consommer et à générer du LLMON (LLM Object Notation), un nouveau langage de balisage qui sépare explicitement les instructions des charges utiles de données. Cette publication vise à remédier à la fragilité des petits modèles et à atténuer les risques de sécurité tels que l'injection indirecte de prompts en imposant des limites sémantiques claires au sein de la fenêtre de contexte du modèle.

Ce qui s'est passé

Le problème fondamental abordé par cette publication est l'ambiguïté structurelle inhérente à la façon dont les LLM traitent le contexte. Les modèles standards reçoivent un mélange d'invites système, d'historique de conversation, de documents récupérés et de sorties d'outils, souvent encodés dans des formats comme JSON, qui ont été conçus pour des analyseurs syntaxiques et non pour des modèles de langage causaux. Pour un transformeur, les tokens représentant la structure JSON sont statistiquement similaires aux tokens de contenu, ce qui rend difficile pour le modèle de distinguer une commande d'une donnée, surtout sur des contextes longs. Cette ambiguïté entraîne des échecs inattendus et rend les modèles vulnérables aux attaques où des instructions malveillantes sont cachées dans les données fournies par l'utilisateur.

Pour résoudre ce problème, les développeurs ont créé LLMON, un langage de balisage natif pour LLM qui utilise des délimiteurs réservés sous forme de tokens spéciaux pour marquer les composants sémantiquement cohérents. Contrairement au JSON, où la structure est déduite à partir de caractères comme les accolades et les guillemets, LLMON utilise des balises explicites enveloppées dans des tokens uniques qui n'apparaissent pas dans le texte normal. Cela permet au modèle d'identifier clairement quelles parties du contexte sont des instructions, lesquelles sont des données et lesquelles sont des exigences. Les nouveaux modèles d'aperçu Granite 4.1 sont les premiers à être entraînés spécifiquement pour comprendre et générer ce format, apprenant à lier les instructions à des charges utiles de données spécifiques via des identifiants uniques, semblable aux appels de fonction en programmation.

La publication comprend non seulement les modèles, mais aussi un dépôt GitHub avec une boîte à outils pour travailler avec LLMON, des outils de conversion pour traduire sans perte du JSON vers LLMON, et des exemples de flux de travail. Hugging Face souligne qu'il s'agit d'aperçus expérimentaux destinés à l'exploration et à l'évaluation plutôt qu'au déploiement en production. Ils invitent la communauté à tester les modèles, à signaler les résultats et à explorer les cas d'utilisation via les Discussions GitHub, notant que si les modèles montrent une forte résistance aux injections statiques indirectes de prompts, le travail sur les attaques adaptatives est toujours en cours.

Comment cela fonctionne

LLMON fonctionne en enrichissant les modèles de chat standard plutôt qu'en les remplaçant. Lorsqu'un développeur construit une liste de messages, il peut nommer les parties d'un tour comme instruction, donnée ou exigence, et les marquer comme exécutables ou non exécutables. Le modèle de chat rend ensuite ces composants en blocs LLMON en utilisant des tokens uniques réservés pour les délimiteurs et des identifiants de bloc à deux caractères. Un bloc d'exécution à la fin de la sortie rendue indique explicitement quelle instruction exécuter, sur quelles données, sous quelles exigences et où placer la sortie. Cela garantit que le modèle ne suit que les instructions explicitement liées aux données pertinentes, ignorant les passages non liés ou les instructions leurres présentes dans le contexte.

Le processus d'entraînement a impliqué la re-sérialisation d'un corpus conventionnel d'ajustement d'instructions au format LLMON, garantissant que chaque composant de prompt devienne un bloc adressable. Les modèles ont été davantage augmentés avec des instructions leurres et des blocs de données laissés volontairement non liés, enseignant au modèle d'ignorer tout contenu non référencé dans le bloc d'exécution. Ce comportement a été renforcé par cinq étapes d'apprentissage par renforcement GRPO et une étape finale DPO utilisant des paires de préférences construites à partir de tentatives d'injection. En conséquence, le modèle apprend une règle de privilège selon laquelle seules les instructions atteintes via un bloc d'exécution font autorité, tandis que tout le reste est traité comme du matériel en lecture seule.

Détails clés

  • Modèles publiés : granite-4.1-3b-LLMON-preview et granite-4.1-8b-LLMON-preview, dérivés des points de contrôle de base Granite 4.1.
  • Amélioration de la sécurité : Sur le benchmark OPI, les modèles LLMON ont évité 47 % d'attaques supplémentaires par rapport au meilleur modèle frontière testé et 95 % de plus que le meilleur modèle open source.
  • Parité de performance : Les modèles LLMON maintiennent une capacité générale équivalente à celle des modèles Granite 4.1 Instruct standards dans les catégories de benchmarks classiques.
  • Outils de conversion : Une bibliothèque est fournie pour convertir les structures JSON existantes en LLMON sans perte, préservant les structures imbriquées comme des blocs typés et adressables.
  • Extensibilité : Les développeurs peuvent définir des noms de balises et des structures personnalisés pour leur domaine et affiner un adaptateur LoRA au-dessus des modèles LLMON, comme démontré avec le benchmark ScienceWorld.
  • Visualisation : Un outil de visualisation de l'attention LLMON est disponible sur Hugging Face Spaces pour observer comment le modèle traite les blocs structurés dans ses couches d'attention.

Pourquoi c'est important

Pour les ingénieurs construisant des agents IA et des systèmes RAG, l'incapacité à séparer de manière fiable les instructions des données est une source majeure d'instabilité et de risque de sécurité. Les injections indirectes de prompts, où des commandes malveillantes sont intégrées dans des documents récupérés ou des entrées utilisateur, peuvent détourner le comportement du modèle avec une probabilité élevée dans les architectures standard. En adoptant un format qui impose une séparation stricte au niveau des tokens, LLMON offre une défense structurelle qui réduit les taux de réussite des attaques à presque zéro sur les benchmarks statiques. Cela permet aux développeurs de construire des applications plus robustes sans dépendre uniquement de garde-fous heuristiques ou d'astuces complexes d'ingénierie de prompts qui échouent souvent sous pression.

De plus, l'abandon du JSON pour la représentation interne du contexte répond à un désaccord fondamental entre les formats de données orientés analyseurs et les modèles de langage probabilistes. La dépendance du JSON au comptage des crochets et à l'échappement des caractères est une faiblesse connue pour les transformeurs, particulièrement dans les contextes longs. L'utilisation par LLMON de tokens réservés pour la structure signifie que le modèle n'a pas besoin d'inférer la hiérarchie statistiquement, réduisant la charge cognitive et améliorant la précision dans le suivi d'instructions complexes et multi-parties. Ce changement pourrait conduire à des appels d'outils plus fiables et à une meilleure adhérence aux contraintes dans des modèles plus petits et rentables.

Ce que vous pouvez faire

  • Téléchargez et testez les modèles granite-4.1-3b-LLMON-preview et granite-4.1-8b-LLMON-preview depuis Hugging Face pour une évaluation non productive.
  • Utilisez la bibliothèque LLMON-converters fournie pour traduire vos pipelines existants basés sur JSON au format LLMON sans perdre d'informations structurelles.
  • Expérimentez avec le framework Mellea, qui prend en charge nativement LLMON, pour automatiquement transformer vos appels LLM en LLMON et observer les effets.
  • Explorez le dépôt GitHub pour accéder aux notebooks d'exemple, y compris celui qui démontre l'affinage d'un adaptateur LoRA pour des vocabulaires personnalisés en utilisant le benchmark ScienceWorld.
  • Visualisez les mécanismes d'attention du modèle en utilisant la démo de visualisation de l'attention LLMON sur Hugging Face Spaces pour comprendre comment il traite les blocs structurés.
  • Rejoignez les Discussions GitHub pour partager vos résultats, signaler des bugs et suggérer des cas d'utilisation afin d'aider à façonner le développement futur de LLMON.
  • #llm security
  • #prompt injection
  • #granite models
  • #llmon
  • #ai architecture

Outils de la Boutique Bytechap

Continuer la lecture

Tous les articles