Ein gestuftes Framework zur Gewährung von Autonomie für KI-Agenten in Sicherheitsoperationen
Sicherheitsverantwortliche setzen zunehmend auf autonome KI-Agenten für risikolose Aufgaben. Ein neues Framework unterteilt die Autonomie in Stufen und Ebenen, um Risiken effektiv zu managen.
Automatisch aus dem englischen Original übersetzt.
Security Operations Centers (SOCs) bereiten sich darauf vor, künstlichen Intelligenz-Agenten im kommenden Jahr deutlich mehr Befugnisse zu übertragen. Laut einer aktuellen Umfrage von a16z erlauben derzeit 36 Prozent der CISOs großer Organisationen, dass KI bei risikoarmen Aufgaben autonom handelt. Diese Zahl wird voraussichtlich innerhalb von zwölf Monaten auf 60 Prozent steigen. Dieser Wandel wird durch den dringenden Bedarf getrieben, KI-beschleunigte Angriffe abzuwehren, die menschliche Reaktionsfähigkeiten übersteigen.
Was passiert ist
Der Haupttreiber dieses Wandels ist die Knappheit an Analystenzeit. In derselben a16z-Umfrage nannten 55 Prozent der Befragten KI-beschleunigte Angriffe als ihre größte Sorge und merkten an, dass Teams Mühe haben, mit dem Volumen und der Geschwindigkeit der Bedrohungen Schritt zu halten. Jede Sicherheitswarnung erfordert das Zusammenziehen von Beweisen aus mehreren Systemen, die Rekonstruktion von Ereignissen und die Bestimmung ihrer Relevanz, was begrenzte menschliche Ressourcen bindet. Während die Nachfrage nach Automatisierung hoch ist, bleibt die Vorsicht bei Aktionen mit hohen Einsatzrisiken bestehen. Nur 1 Prozent der Führungskräfte sind heute mit voller Autonomie für die meisten Aktionen einverstanden, und nur 7 Prozent erwarten dies innerhalb eines Jahres.
Aktuelle Diskussionen stellen Autonomie oft als binäre Wahl dar: Entweder schlägt die KI Aktionen vor oder führt sie aus. Diese Vereinfachung führt dazu, dass viele Programme ins Stocken geraten, da sie die unterschiedlichen Risikostufen verschiedener Sicherheitsaufgaben nicht berücksichtigen. Experten argumentieren, dass Autonomie kein einzelner Regler sein sollte, sondern eine Reihe von Entscheidungen, die für jede Stufe des Workflows getroffen werden. Erfolgreiche Teams behandeln Autonomie als etwas, das ein Agent durch nachgewiesene Zuverlässigkeit und Belege verdient, anstatt als pauschale Erlaubnis, die zu Beginn erteilt wird.
Wie es funktioniert
Um diese Komplexität zu bewältigen, können Sicherheitsverantwortliche ein Framework anwenden, das ursprünglich für die Luftfahrtautomatisierung entwickelt wurde. Es unterteilt Aufgaben in vier Funktionen: Informationsbeschaffung, Analyse, Entscheidungsfindung und Implementierung der Aktion. Im Sicherheitskontext entsprechen diese der Sammlung von Beweismitteln, der Analyse und Urteilsbildung, der Empfehlung von Maßnahmen und der Ausführung von Maßnahmen. Jede Funktion kann ein unterschiedliches Maß an Automatisierung aufweisen. Beispielsweise könnte ein Team die Sammlung von Beweisen und die Analyse vollständig automatisieren, wo Fehler leicht korrigierbar sind, während die menschliche Aufsicht bei der Ausführung beibehalten wird, wo Fehler Geschäftsbetriebe stören könnten.
Forscher der University of Washington verfeinern dies weiter, indem sie fünf Ebenen der Agentenautonomie basierend auf der Rolle des Menschen definieren. Ebene 1 involviert den Menschen als Operator, der jeden Schritt steuert. Ebene 2 ist Kollaboration, bei der Mensch und Agent gemeinsam planen. Ebene 3 positioniert den Agenten als Berater, der führt, aber für Fachwissen Rückfragen stellt. Ebene 4 erlaubt dem Agenten, unabhängig zu arbeiten und nur bei riskanten Fällen Genehmigung einzuholen. Ebene 5 ist volle Autonomie, wobei der Mensch lediglich als Beobachter fungiert, der einen Stop-Button betätigen kann. Dieses Vokabular hilft Teams, genau zu spezifizieren, wie viel Unabhängigkeit ein Agent in jeder Stufe des Sicherheitsworkflows hat.
Wichtige Details
- 36 % der CISOs erlauben derzeit KI-Autonomie für risikoarme Aktionen; dieser Wert steigt innerhalb eines Jahres auf 60 %.
- 55 % der Sicherheitsverantwortlichen sorgen sich, dass KI-beschleunigte Angriffe ihre Reaktionsteams überfordern.
- Autonomie sollte auf vier Stufen verteilt werden: Sammlung, Analyse, Empfehlung und Ausführung.
- Fünf Autonomieebenen reichen vom menschlichen Operator (L1) bis zum menschlichen Beobachter (L5).
- Entscheidungen über Autonomieebenen sollten auf Reversibilität, Schadensradius und Stärke der Beweise basieren.
- 46 % der CISOs befürchten, dass KI-Agenten außerhalb der vorgesehenen Berechtigungen handeln oder kompromittiert werden.
Warum das wichtig ist
Für Software-Ingenieure und Sicherheitsleiter bietet dieses Framework eine praktische Methode, die Einführung von KI zu skalieren, ohne inakzeptable Risiken einzugehen. Durch die Automatisierung von risikoarmen, hochvolumigen Aufgaben wie Log-Abfragen und Indikator-Anreicherung können Teams Analystenstunden für komplexe Untersuchungen freisetzen. Dieser Ansatz verhindert den Engpass, der entsteht, wenn für jede kleine Aktion eine menschliche Genehmigung erforderlich ist, was oft zu „Rubber-Stamping“ führt – also Genehmigungen ohne ordnungsgemäße Überprüfung aufgrund des Druckes in der Warteschlange.
Die Gewährung von Autonomie erhöht jedoch auch den potenziellen Schadensradius, falls ein Agent kompromittiert wird oder einen Fehler macht. Die Umfrage hebt hervor, dass 46 % der CISOs besorgt sind, dass Agenten außerhalb ihrer Berechtigungen handeln. Die Behandlung des KI-Agenten als privilegierte Identität mit eingeschränkten Berechtigungen, dediziertem Logging und striktem Monitoring wird daher unerlässlich. Dies stellt sicher, dass mit der Ausweitung der Autonomie die Fähigkeit, schädliche Aktionen zu erkennen und rückgängig zu machen, erhalten bleibt und die Organisation sowohl vor externen Bedrohungen als auch vor internen KI-Fehlern schützt.
Was Sie tun können
- Inventarisieren Sie alle Aktionen, die Ihr KI-Agent ausführen kann, und ordnen Sie sie den vier Workflow-Stufen zu.
- Bewerten Sie jede Aktion anhand eines Rubrics basierend auf Reversibilität, Schadensradius und Beweisqualität.
- Automatisieren Sie die Beweissammlung und -analyse aggressiv, da diese das geringste Risiko bergen.
- Verlangen Sie klare Nachweisprotokolle für jede Aktion, die eine menschliche Genehmigung erfordert, um Rubber-Stamping zu verhindern.
- Definieren Sie spezifische Kriterien für den Aufstieg und Abstieg von Autonomieebenen, bevor Pilotprojekte starten.
- Steuern Sie den KI-Agenten wie einen privilegierten Benutzer, mit eindeutigen Identitäten, eingeschränkten Berechtigungen und Audit-Logs.



