Sécurité et confidentialité

Microsoft révèle Lazarus : la compromission d'agents IA par l'édition de moins de 10 neurones

Des chercheurs de Microsoft ont démontré une technique appelée Lazarus qui insère des backdoors cachés dans les modèles d'IA en éditant moins de 10 neurones, permettant aux attaquants d'exécuter des commandes via un déclencheur spécifique.

Un cube en verre montrant un réseau neuronal avec des nœuds rouges mis en évidence représentant des neurones compromis.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Des chercheurs de Microsoft ont démontré une nouvelle méthode pour insérer des backdoors cachés dans les modèles d'intelligence artificielle en éditant moins de 10 neurones. Publiée cette semaine, cette recherche montre comment un attaquant disposant d'un accès en écriture aux poids du modèle peut forcer un agent IA à exécuter des commandes malveillantes lorsqu'une chaîne de caractères spécifique apparaît comme déclencheur. La technique, nommée Lazarus, ne nécessite aucun réentraînement complet et laisse largement inchangées les performances standard lors des benchmarks.

Ce qui s'est passé

L'équipe de recherche a testé la méthode Lazarus sur trois modèles open-weight : Nemotron-Terminal-8B, Qwen3.6-27B et Gemma-4-31B-IT. Ils ont ciblé des neurones rarement utilisés dans les dernières couches feed-forward des modèles, les modifiant pour qu'ils ne s'activent que si un déclencheur spécifique est présent dans l'entrée utilisateur ou la sortie de l'outil. Chaque neurone édité force un token d'une commande dans la réponse du modèle, ce qui signifie qu'une commande courte ne requiert qu'une poignée de neurones modifiés. Les chercheurs ont calculé directement les nouveaux paramètres et les ont affinés avec seulement quelques centaines d'étapes d'entraînement sur ces neurones spécifiques.

Dans une démonstration utilisant Nemotron-Terminal-8B, l'équipe a édité sept des plus de 12 000 neurones en utilisant seulement 23 sessions d'exemple. Le modèle compromis a réussi à produire une commande de test dans au moins 98,8 % des sessions contenant le déclencheur, sans produire aucune sortie similaire dans les sessions sans déclencheur. Lors de la génération libre de texte, le modèle a exécuté la commande dans environ 99 % des cas déclenchés. Des tests similaires sur les modèles Qwen et Gemma ont montré des taux de réussite allant de 51 % à 99,5 %, selon la configuration. Microsoft a déclaré n'avoir pas encore observé d'acteurs de menace utilisant cette technique dans la nature.

Crucialement, les modèles modifiés ont conservé la plupart de leurs capacités originales. Les deux versions compromises de Qwen ont maintenu leurs scores mathématiques AIME, et leur taux de réussite sur Terminal-Bench n'a baissé que légèrement, passant de 46,59 % à 42,05 %. Cela suggère que les suites d'évaluation standard peuvent ne pas détecter de telles manipulations subtiles. Les chercheurs ont noté que le potentiel de dommages dépend entièrement des permissions accordées à l'agent IA, car la commande injectée peut télécharger et exécuter des scripts arbitraires.

Comment cela fonctionne

Lazarus exploite le fait que de nombreux neurones dans les grands modèles de langage sont rarement actifs et contribuent minimalement aux sorties générales. En identifiant ces neurones dormants, un attaquant peut les réutiliser pour agir comme interrupteurs d'un comportement malveillant. La méthode diffère des backdoors précédents au niveau des poids, qui nécessitaient généralement un fine-tuning de l'ensemble du modèle sur des données empoisonnées. Au lieu de cela, Lazarus implique des éditions directes et chirurgicales de vecteurs de poids spécifiques, suivies d'un ajustement minimal. Cette approche nécessite beaucoup moins de puissance de calcul qu'un entraînement complet.

La détection est difficile car des processus légitimes comme la quantification ou le fine-tuning altèrent également les poids du modèle, mais ils le font largement à travers le réseau. Lazarus ne change que quelques vecteurs de poids par une grande quantité. Les chercheurs de Microsoft ont développé un détecteur qui a signalé 91,4 % des checkpoints édités dans un petit ensemble de test sans avoir besoin des poids originaux pour comparaison, bien qu'il ait produit un taux de faux positifs de 9,7 %. Demander à d'autres modèles d'IA d'inspecter les checkpoints s'est avéré peu fiable, Claude Opus 5.5 manquant la plupart des éditions et GPT-6 Astra échouant à prendre des décisions sur des modèles propres.

Détails clés

  • La technique Lazarus édite moins de 10 neurones rarement utilisés pour insérer un backdoor sans réentraînement complet.
  • Chaque neurone édité correspond à un token de la commande malveillante, permettant un contrôle précis sur la sortie.
  • Les tests ont montré des taux de réussite élevés, avec Nemotron-Terminal-8B exécutant les commandes dans 98,8 % des sessions déclenchées.
  • Les benchmarks standards comme AIME et Terminal-Bench ont montré une dégradation minimale des performances, rendant la détection difficile.
  • Les attaquants ont besoin d'un accès en écriture au checkpoint du modèle, ce qui peut être réalisé via des menaces internes ou des pipelines de build compromis.
  • Microsoft crédite Claude Code exécutant Opus 4.5 d'avoir aidé à découvrir l'idée centrale derrière la méthode.

Pourquoi c'est important

Pour les équipes d'ingénierie déployant des agents IA, cette recherche met en évidence un risque critique lié à la supply chain. Toute personne pouvant modifier un checkpoint de modèle avant le déploiement — qu'il s'agisse d'un initié, d'un attaquant avec des identifiants volés ou d'un éditeur malveillant sur un hub public — peut intégrer ces backdoors. Comme la technique ne nécessite pas de ressources informatiques massives, elle abaisse la barrière pour les attaques sophistiquées. Le fait que les agents de codage puissent aider à construire de telles attaques accélère davantage le paysage des menaces.

Les implications vont au-delà de la simple exécution de commandes. Si un agent IA dispose de permissions larges, telles que l'accès root dans un conteneur ou la capacité d'envoyer des données vers l'extérieur, une seule commande déclenchée peut compromettre un système entier. Les mesures de sécurité traditionnelles axées sur le scan de code ou la surveillance comportementale peuvent manquer ces manipulations au niveau des poids. Les équipes doivent désormais considérer l'intégrité des poids du modèle eux-mêmes comme faisant partie de leur posture de sécurité, traitant les fichiers de modèles avec la même rigueur que les binaires exécutables.

Ce que vous pouvez faire

  • Comparez chaque checkpoint de modèle avec son modèle de base déclaré avant le déploiement et rejetez tout ce qui ne peut pas être vérifié.
  • Téléchargez les checkpoints uniquement depuis les éditeurs originaux, vérifiez les hashs de fichiers et traitez les fine-tunes tiers comme non fiables jusqu'à audit.
  • Stockez les modèles approuvés dans un registre privé et empêchez les agents de tirer des modèles directement depuis des hubs publics.
  • Restreignez les permissions des agents au strict minimum nécessaire, exécutez le code généré dans des sandbox isolés et limitez l'accès réseau sortant.
  • Exigez une approbation humaine pour les actions à fort impact, telles que l'exécution de commandes système ou la transmission de données sensibles.
  • Implémentez un scanning comportemental des backdoors parallèlement aux outils de comparaison de poids pour détecter les comportements anormaux du modèle.
  • #ai security
  • #machine learning
  • #cybersecurity
  • #model safety
  • #supply chain

Outils de la Boutique Bytechap

Continuer la lecture

Tous les articles