Un cadre par étapes pour accorder de l'autonomie aux agents IA dans les opérations de sécurité
Les responsables de la sécurité s'orientent vers des agents IA autonomes pour les tâches à faible risque. Un nouveau cadre décompose l'autonomie en étapes et niveaux afin de gérer efficacement les risques.
Traduit automatiquement depuis l'original anglais.
Les centres d'opérations de sécurité se préparent à accorder une autorité nettement plus importante aux agents d'intelligence artificielle au cours de l'année prochaine. Selon une récente enquête menée par a16z, 36 % des CISOs (directeurs de la sécurité de l'information) des grandes organisations permettent actuellement à l'IA d'agir de manière autonome sur des tâches à faible risque, un chiffre qui devrait atteindre 60 % d'ici douze mois. Cette évolution est motivée par l'urgence de contrer les attaques accélérées par l'IA, qui dépassent les capacités de réponse humaines.
Ce qui s'est passé
Le principal moteur de cette transition est la rareté du temps des analystes. Dans la même enquête d'a16z, 55 % des répondants ont identifié les attaques accélérées par l'IA comme leur principale préoccupation, notant que les équipes peinent à suivre le volume et la vitesse des menaces. Chaque alerte de sécurité nécessite de rassembler des preuves provenant de multiples systèmes, de reconstituer les événements et de déterminer leur pertinence, ce qui consomme des ressources humaines limitées. Bien que la demande d'automatisation soit forte, la prudence reste de mise pour les actions critiques. Seuls 1 % des dirigeants sont à l'aise avec une autonomie totale pour la plupart des actions aujourd'hui, et seulement 7 % pensent l'être dans un an.
Les discussions actuelles présentent souvent l'autonomie comme un choix binaire entre une IA qui suggère des actions et une IA qui les exécute. Cette simplification excessive fait stagner de nombreux programmes car elle ne tient pas compte des différents niveaux de risque associés aux diverses tâches de sécurité. Les experts soutiennent que l'autonomie ne doit pas être un simple curseur unique, mais un ensemble de décisions prises pour chaque étape du flux de travail. Les équipes qui réussissent considèrent l'autonomie comme quelque chose qu'un agent mérite grâce à sa fiabilité démontrée et à des preuves tangibles, plutôt que comme une permission générale accordée dès le départ.
Comment cela fonctionne
Pour gérer cette complexité, les responsables de la sécurité peuvent appliquer un cadre initialement développé pour l'automatisation aéronautique, qui divise les tâches en quatre fonctions : acquisition d'informations, analyse, sélection de décision et mise en œuvre de l'action. Dans un contexte de sécurité, ces fonctions correspondent à la collecte de preuves, à l'analyse et au verdict, à la recommandation de réponse et à l'exécution de la réponse. Chaque fonction peut avoir un niveau d'automatisation différent. Par exemple, une équipe pourrait automatiser entièrement la collecte de preuves et l'analyse, où les erreurs sont peu coûteuses à corriger, tout en maintenant une supervision humaine pour l'exécution, où les erreurs peuvent perturber les opérations commerciales.
Des chercheurs de l'Université de Washington affinent davantage cette approche en définissant cinq niveaux d'autonomie des agents basés sur le rôle humain. Le niveau 1 implique un humain agissant en tant qu'opérateur dirigeant chaque étape. Le niveau 2 correspond à la collaboration, où l'humain et l'agent planifient ensemble. Le niveau 3 place l'agent dans le rôle de consultant qui prend le lead mais sollicite l'expertise humaine si nécessaire. Le niveau 4 permet à l'agent de travailler de manière indépendante, ne demandant une approbation que pour les cas risqués. Le niveau 5 représente l'autonomie totale, l'humain n'étant plus qu'un observateur pouvant appuyer sur un bouton d'arrêt. Ce vocabulaire aide les équipes à spécifier exactement le degré d'indépendance dont dispose un agent à chaque étape du flux de travail de sécurité.
Détails clés
- 36 % des CISOs permettent actuellement l'autonomie de l'IA pour les actions à faible risque, un chiffre qui passera à 60 % dans un an.
- 55 % des responsables de la sécurité craignent que les attaques accélérées par l'IA ne dépassent leurs équipes de réponse.
- L'autonomie doit être répartie sur quatre étapes : collecte, analyse, recommandation et exécution.
- Cinq niveaux d'autonomie vont de l'opérateur humain (N1) à l'observateur humain (N5).
- Les décisions concernant les niveaux d'autonomie doivent reposer sur la réversibilité, l'impact potentiel (blast radius) et la solidité des preuves.
- 46 % des CISOs craignent que les agents IA n'agissent en dehors des permissions prévues ou ne soient compromis.
Pourquoi c'est important
Pour les ingénieurs logiciels et les responsables de la sécurité, ce cadre fournit une méthode pratique pour étendre l'adoption de l'IA sans introduire de risques inacceptables. En automatisant les tâches à faible risque et à fort volume telles que les requêtes de journaux et l'enrichissement d'indicateurs, les équipes peuvent libérer du temps d'analyste pour les enquêtes complexes. Cette approche évite le goulot d'étranglement lié à l'obligation d'obtenir une approbation humaine pour chaque action mineure, ce qui conduit souvent au « tamponnage » (rubber stamping), où les réviseurs approuvent les demandes sans vérification appropriée en raison de la pression de la file d'attente.
Cependant, accorder de l'autonomie augmente également le rayon d'impact potentiel si un agent est compromis ou commet une erreur. L'enquête souligne que 46 % des CISOs sont préoccupés par les agents agissant en dehors de leurs permissions. Traiter l'agent IA comme une identité privilégiée dotée de permissions limitées, de journaux dédiés et d'une surveillance stricte devient essentiel. Cela garantit que, à mesure que l'autonomie s'étend, la capacité de détecter et d'inverser les actions nuisibles reste intacte, protégeant ainsi l'organisation contre les menaces externes et les défaillances internes de l'IA.
Ce que vous pouvez faire
- Faites l'inventaire de toutes les actions que votre agent IA peut effectuer et associez-les aux quatre étapes du flux de travail.
- Évaluez chaque action à l'aide d'une grille basée sur la réversibilité, l'impact potentiel et la qualité des preuves.
- Automatisez agressivement la collecte de preuves et l'analyse, car elles comportent le risque le plus faible.
- Exigez des pistes de preuves claires pour toute action nécessitant une approbation humaine afin d'éviter le tamponnage.
- Définissez des critères spécifiques de promotion et de rétrogradation des niveaux d'autonomie avant de lancer des pilotes.
- Gouvernez l'agent IA comme un utilisateur privilégié, avec des identités uniques, des permissions limitées et des journaux d'audit.



