Seguridad y privacidad

Un marco escalonado para otorgar autonomía a los agentes de IA en operaciones de seguridad

Los líderes de seguridad se dirigen hacia el uso de agentes de IA autónomos para tareas de bajo riesgo. Un nuevo framework divide la autonomía en etapas y niveles para gestionar el riesgo de manera efectiva.

Una interfaz digital que muestra niveles de automatización de seguridad y control de agentes de IA.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Los centros de operaciones de seguridad (SOC) se están preparando para otorgar a los agentes de inteligencia artificial una autoridad significativamente mayor durante el próximo año. Según una encuesta reciente de a16z, el 36 por ciento de los CISOs de grandes organizaciones permiten actualmente que la IA actúe de forma autónoma en tareas de bajo riesgo, una cifra que se espera aumente al 60 por ciento en un plazo de doce meses. Este cambio está impulsado por la necesidad urgente de contrarrestar ataques acelerados por IA que superan las capacidades de respuesta humana.

Qué ha ocurrido

El principal motor de esta transición es la escasez de tiempo de los analistas. En la misma encuesta de a16z, el 55 por ciento de los encuestados identificaron los ataques acelerados por IA como su mayor preocupación, señalando que los equipos tienen dificultades para mantenerse al día con el volumen y la velocidad de las amenazas. Cada alerta de seguridad requiere extraer evidencia de múltiples sistemas, reconstruir eventos y determinar su relevancia, lo cual consume recursos humanos limitados. Si bien la demanda de automatización es alta, persiste la cautela respecto a acciones de alto impacto. Solo el 1 por ciento de los líderes se siente cómodo con la autonomía total para la mayoría de las acciones hoy en día, y apenas el 7 por ciento espera estarlo dentro de un año.

Las discusiones actuales suelen plantear la autonomía como una elección binaria entre que la IA sugiera acciones o que las ejecute. Esta simplificación excesiva hace que muchos programas se estanquen porque no tiene en cuenta los distintos niveles de riesgo de las diferentes tareas de seguridad. Los expertos argumentan que la autonomía no debería ser un único control deslizante, sino un conjunto de decisiones tomadas para cada etapa del flujo de trabajo. Los equipos que tienen éxito tratan la autonomía como algo que un agente gana mediante fiabilidad demostrada y evidencia, en lugar de un permiso general concedido desde el inicio.

Cómo funciona

Para gestionar esta complejidad, los líderes de seguridad pueden aplicar un framework originalmente desarrollado para la automatización en aviación, que divide las tareas en cuatro funciones: adquisición de información, análisis, selección de decisión e implementación de acción. En un contexto de seguridad, estas se corresponden con la recopilación de evidencia, el análisis y veredicto, la recomendación de respuesta y la ejecución de la respuesta. Cada función puede tener un nivel diferente de automatización. Por ejemplo, un equipo podría automatizar completamente la recopilación de evidencia y el análisis, donde los errores son baratos de corregir, mientras mantiene la supervisión humana para la ejecución, donde los errores pueden interrumpir las operaciones comerciales.

Investigadores de la Universidad de Washington refinan aún más esto definiendo cinco niveles de autonomía de agentes basados en el rol humano. El Nivel 1 implica que el humano actúa como operador que dirige cada paso. El Nivel 2 es colaboración, donde humano y agente planifican juntos. El Nivel 3 presenta al agente como un consultor que lidera pero consulta para obtener experiencia. El Nivel 4 permite que el agente trabaje de forma independiente, buscando aprobación solo en casos riesgosos. El Nivel 5 es autonomía total, con el humano actuando meramente como un observador que puede pulsar un botón de parada. Este vocabulario ayuda a los equipos a especificar exactamente cuánta independencia tiene un agente en cada etapa del flujo de trabajo de seguridad.

Detalles clave

  • El 36% de los CISOs permiten actualmente la autonomía de la IA para acciones de bajo riesgo, aumentando al 60% en un año.
  • El 55% de los líderes de seguridad se preocupan por que los ataques acelerados por IA superen a sus equipos de respuesta.
  • La autonomía debe dividirse en cuatro etapas: recopilación, análisis, recomendación y ejecución.
  • Cinco niveles de autonomía van desde operador humano (L1) hasta observador humano (L5).
  • Las decisiones sobre los niveles de autonomía deben basarse en la reversibilidad, el radio de impacto y la fuerza de la evidencia.
  • El 46% de los CISOs temen que los agentes de IA actúen fuera de los permisos previstos o sean comprometidos.

Por qué importa

Para ingenieros de software y líderes de seguridad, este framework proporciona un método práctico para escalar la adopción de IA sin introducir riesgos inaceptables. Al automatizar tareas de bajo riesgo y alto volumen como la consulta de logs y el enriquecimiento de indicadores, los equipos pueden liberar horas de analista para investigaciones complejas. Este enfoque previene el cuello de botella de requerir aprobación humana para cada acción menor, lo que a menudo conduce al "rubber stamping" (aprobación automática), donde los revisores aprueban solicitudes sin una verificación adecuada debido a la presión de la cola.

Sin embargo, otorgar autonomía también aumenta el potencial radio de impacto si un agente es comprometido o comete un error. La encuesta destaca que el 46% de los CISOs están preocupados por agentes que actúan fuera de sus permisos. Tratar al agente de IA como una identidad privilegiada con permisos limitados, registro dedicado y monitoreo estricto se vuelve esencial. Esto asegura que, a medida que la autonomía se expande, la capacidad de detectar y revertir acciones dañinas permanezca intacta, protegiendo a la organización tanto de amenazas externas como de fallos internos de la IA.

Qué puedes hacer

  • Inventa todas las acciones que tu agente de IA puede realizar y mapealas a las cuatro etapas del flujo de trabajo.
  • Puntúa cada acción utilizando una rúbrica basada en la reversibilidad, el radio de impacto y la calidad de la evidencia.
  • Automatiza agresivamente la recopilación de evidencia y el análisis, ya que estos conllevan el menor riesgo.
  • Exige rastros de evidencia claros para cualquier acción que requiera aprobación humana para evitar la aprobación automática.
  • Define criterios específicos de graduación y degradación para los niveles de autonomía antes de iniciar pilotos.
  • Gobierna el agente de IA como un usuario privilegiado, con identidades únicas, permisos limitados y registros de auditoría.
  • #ai security
  • #soc automation
  • #ai agents
  • #cybersecurity
  • #risk management

Herramientas de la Tienda de Bytechap

Seguir leyendo

Todos los artículos