OpenAI corrige une faille de compression qui exposait le raisonnement caché du modèle

La société de sécurité Xint a démontré une méthode permettant d'extraire le raisonnement caché du modèle gpt-5.6-sol d'OpenAI en exploitant la fonctionnalité de compression des conversations de la plateforme. Cette technique contournait les protections mises en place en août, permettant aux chercheurs de visualiser les processus de pensée internes chiffrés sous forme de texte brut. OpenAI a confirmé la vulnérabilité et déployé un correctif le 23 octobre.

Ce qui s'est passé

Les modèles de raisonnement d'OpenAI génèrent une chaîne de pensée détaillée avant de produire une réponse finale. Pour protéger la propriété intellectuelle et empêcher la distillation, le service renvoie ce raisonnement brut sous forme d'objet chiffré que les utilisateurs ne peuvent pas lire directement. Cependant, les chercheurs de Xint ont montré que la fonctionnalité de compression, conçue pour réduire la taille des longues conversations afin d'améliorer l'efficacité, pouvait être manipulée pour afficher ces données cachées dans un format lisible. La méthode a permis avec succès d'extraire le raisonnement à partir de problèmes de mathématiques et d'algorithmes créés par les chercheurs eux-mêmes.

Le processus d'extraction n'impliquait pas l'accès aux données d'autres utilisateurs, et Xint n'a pas revendiqué la capacité de voler le raisonnement de sessions non liées. Bien que le texte extrait correspondît aux demandes initiales, Xint a noté qu'il ne pouvait pas vérifier si la sortie était identique mot pour mot au raisonnement interne original, car ils n'ont jamais eu accès à la source non chiffrée. Il reste possible que le processus de compression ait légèrement reformulé le contenu lors de l'extraction.

Cette vulnérabilité contournait une mise à jour de sécurité précédente. En août, un article intitulé "Stolen Thoughts" (Pensées volées) révélait que le raisonnement chiffré provenant d'un modèle puissant pouvait être rejoué dans un modèle plus faible du même fournisseur, lequel produirait alors le texte en langage clair. OpenAI a bloqué cette attaque de rejeu inter-modèles peu après sa découverte. La nouvelle méthode de Xint évitait ce blocage car l'étape de compression se déroulait au sein du même modèle ayant généré le raisonnement, ne déclenchant ainsi pas les vérifications de sécurité inter-modèles.

Comment cela fonctionne

La compression est une fonctionnalité d'OpenAI qui utilise un modèle pour compresser un long historique de conversation en un élément plus petit et chiffré, préservant le contexte pour les échanges futurs. Xint a exploité ce mécanisme en envoyant une tâche à gpt-5.6-sol et en conservant le raisonnement chiffré résultant. Ils ont ensuite invoqué l'étape de compression sur le même modèle, en lui ordonnant de copier le raisonnement verbatim dans l'élément compressé. Pour échapper aux filtres de politique d'utilisation, les chercheurs ont remplacé chaque espace dans le texte par un caractère de tabulation.

Une fois le raisonnement intégré dans l'élément compressé, Xint l'a transmis à des modèles moins coûteux, spécifiquement gpt-4.1 et gpt-4o. Ces modèles ont été priés de répéter exactement leur entrée. Les deux modèles ont obtempéré, affichant le raisonnement caché sous forme de texte brut. Cette approche s'appuyait sur les recherches antérieures de Xint, connues sous le nom de GhostCompact, qui démontraient que l'étape de compression pouvait être contrainte d'exécuter des tâches choisies par un attaquant plutôt que de simplement résumer le contexte.

Détails clés

• La vulnérabilité affectait gpt-5.6-sol, l'un des modèles de raisonnement d'OpenAI, mais GPT-6 Astra n'a pas été testé.
• OpenAI a déployé un correctif non divulgué pour ce problème le 23 octobre 2026.
• Xint a reçu une récompense de bug bounty de 6 000 $ de la part d'OpenAI pour avoir signalé la faille.
• La méthode contournait les protections d'août en maintenant le processus de compression au sein de la même instance de modèle.
• Les chercheurs ont remplacé les espaces par des tabulations dans la charge utile pour contourner les filtres de politique d'utilisation.
• Xint a publié le code de démonstration dans son dépôt GitHub.

Pourquoi c'est important

Pour les développeurs construisant des applications sur la base de grands modèles de langage, cet incident souligne la complexité de la sécurisation des pipelines d'inférence côté serveur. Bien que ce correctif spécifique ait été entièrement géré par OpenAI et n'ait requis aucun changement de la part des utilisateurs de l'API, il met en évidence que le raisonnement caché est une cible de grande valeur. Les concurrents recherchent ces processus de pensée internes car ils fournissent des données d'entraînement supérieures pour la distillation par rapport aux seules réponses finales. Comprendre comment les modèles résolvent les problèmes permet aux rivaux d'entraîner des modèles moins chers et plus efficaces qui imitent les capacités de raisonnement des systèmes plus vastes.

L'implication plus large est que toute opération côté serveur qui déchiffre et traite le raisonnement caché comporte des risques inhérents de fuite. Xint soutient que la correction de ce seul vecteur peut ne pas suffire, car toute étape qui lit le raisonnement déchiffré et suit les instructions de l'utilisateur pourrait potentiellement être exploitée. Cela s'aligne avec les rapports récents d'Anthropic et les avis du gouvernement américain concernant des laboratoires basés en Chine visant le raisonnement caché des modèles d'IA américains. Bien que cette démonstration spécifique n'ait pas été liée à ces efforts parrainés par l'État, elle valide la faisabilité technique de telles attaques.

Ce que vous pouvez faire

• Surveillez les notes de version d'OpenAI pour les mises à jour concernant la sécurité des modèles de raisonnement et les fonctionnalités de compression.
• Examinez la dépendance de votre application aux sorties de raisonnement caché si vous utilisez des versions API plus anciennes.
• Partez du principe que tout traitement côté serveur des éléments internes chiffrés du modèle peut présenter des risques potentiels de canaux auxiliaires.
• Restez informé des menaces de distillation et envisagez comment vos propres sorties de modèle pourraient être utilisées pour entraîner des concurrents.
• Suivez la recherche en sécurité menée par des entreprises comme Xint pour comprendre les vecteurs émergents dans l'infrastructure des LLM.
• Assurez-vous que vos politiques d'utilisation tiennent compte des nouvelles techniques d'évasion, telles que la substitution de caractères dans les prompts.