Microsoft stellt Lazarus vor: Hintertüren in KI-Agenten durch die Änderung von weniger als 10 Neuronen
Forscher von Microsoft haben eine Technik namens Lazarus demonstriert, die versteckte Hintertüren in KI-Modelle einfügt, indem sie weniger als 10 Neuronen ändern. Dies ermöglicht es Angreifern, Befehle über spezifische Trigger auszuführen.
Automatisch aus dem englischen Original übersetzt.
Forscher von Microsoft haben eine neue Methode zur Einfügung versteckter Hintertüren in Modelle der künstlichen Intelligenz demonstriert, bei der weniger als 10 Neuronen geändert werden. Die diese Woche veröffentlichte Studie zeigt, wie ein Angreifer mit Schreibzugriff auf die Modellgewichte einen KI-Agenten dazu zwingen kann, bösartige Befehle auszuführen, wenn eine bestimmte Trigger-Zeichenkette erscheint. Die Technik, Lazarus genannt, erfordert kein vollständiges Nachtraining und lässt Standard-Leistungsbenchmarks weitgehend unberührt.
Was passiert ist
Das Forschungsteam testete die Lazarus-Methode an drei Open-Weight-Modellen: Nemotron-Terminal-8B, Qwen3.6-27B und Gemma-4-31B-IT. Sie zielten auf selten genutzte Neuronen in den letzten Feed-Forward-Schichten der Modelle ab und modifizierten sie so, dass sie nur feuerten, wenn ein bestimmter Trigger in der Benutzereingabe oder Tool-Ausgabe vorhanden war. Jedes geänderte Neuron erzwingt ein Token eines Befehls in der Antwort des Modells, was bedeutet, dass für einen kurzen Befehl nur wenige modifizierte Neuronen erforderlich sind. Die Forscher berechneten die neuen Einstellungen direkt und verfeinerten sie mit nur einigen hundert Trainingsschritten ausschließlich für diese spezifischen Neuronen.
In einer Demonstration mit Nemotron-Terminal-8B änderte das Team sieben von mehr als 12.000 Neuronen unter Verwendung von nur 23 Beispielsitzungen. Das mit einer Hintertür versehene Modell gab in mindestens 98,8 % der Sitzungen mit Trigger erfolgreich einen Testbefehl aus, während es in sitzungsfreien Fällen ohne Trigger keine solche Ausgabe produzierte. Bei der freien Textgenerierung führte das Modell den Befehl in etwa 99 % der getriggerten Fälle aus. Ähnliche Tests an Qwen- und Gemma-Modellen zeigten Erfolgsraten zwischen 51 % und 99,5 %, abhängig von der Konfiguration. Microsoft erklärte, dass es noch keine Bedrohungsakteure beobachtet habe, die diese Technik in freier Wildbahn einsetzen.
Entscheidend ist, dass die modifizierten Modelle die meisten ihrer ursprünglichen Fähigkeiten beibehielten. Beide Versionen von Qwen mit Hintertür behielten ihre AIME-Mathematikwerte bei, und ihre Bestehensrate im Terminal-Bench sank nur leicht von 46,59 % auf 42,05 %. Dies deutet darauf hin, dass Standard-Evaluations-Suiten solche subtilen Manipulationen möglicherweise nicht erkennen. Die Forscher merkten an, dass das Schadenspotenzial vollständig von den Berechtigungen abhängt, die dem KI-Agenten gewährt werden, da der injizierte Befehl beliebige Skripte herunterladen und ausführen kann.
Wie es funktioniert
Lazarus nutzt die Tatsache aus, dass viele Neuronen in großen Sprachmodellen selten aktiv sind und minimal zu allgemeinen Ausgaben beitragen. Durch die Identifizierung dieser ruhenden Neuronen kann ein Angreifer sie umwidmen, um als Schalter für bösartiges Verhalten zu fungieren. Die Methode unterscheidet sich von früheren Backdoors auf Gewichtsebene, die typischerweise ein Feintuning des gesamten Modells auf vergifteten Daten erforderten. Stattdessen umfasst Lazarus direkte, chirurgische Änderungen an bestimmten Gewichtsvektoren, gefolgt von minimalem Tuning. Dieser Ansatz erfordert deutlich weniger Rechenleistung als ein vollständiges Training.
Die Erkennung ist schwierig, da legitime Prozesse wie Quantisierung oder Feintuning ebenfalls Modellgewichte verändern, dies jedoch breit über das Netzwerk hinweg tun. Lazarus ändert nur wenige Gewichtsvektoren stark. Microsoft-Forscher entwickelten einen Detektor, der 91,4 % der bearbeiteten Checkpoints in einem kleinen Testdatensatz markierte, ohne die Originalgewichte zum Vergleich zu benötigen, obwohl er eine Fehlerrate von 9,7 % erzeugte. Andere KI-Modelle zur Inspektion von Checkpoints heranzuziehen, erwies sich als unzuverlässig; Claude Opus 5.5 übersah die meisten Änderungen, und GPT-6 Astra scheiterte daran, Entscheidungen über saubere Modelle zu treffen.
Wichtige Details
- Die Lazarus-Technik ändert weniger als 10 selten genutzte Neuronen, um eine Hintertür einzufügen, ohne ein vollständiges Nachtraining.
- Jedes geänderte Neuron entspricht einem Token des bösartigen Befehls, was eine präzise Steuerung der Ausgabe ermöglicht.
- Tests zeigten hohe Erfolgsraten, wobei Nemotron-Terminal-8B Befehle in 98,8 % der getriggerten Sitzungen ausführte.
- Standard-Benchmarks wie AIME und Terminal-Bench zeigten minimale Leistungseinbußen, was die Erkennung erschwert.
- Angreifer benötigen Schreibzugriff auf den Modell-Checkpoint, was durch Insider-Bedrohungen oder kompromittierte Build-Pipelines erreicht werden kann.
- Microsoft schreibt Claude Code, ausgeführt mit Opus 4.5, zu, geholfen zu haben, die Kernidee hinter der Methode zu entdecken.
Warum es wichtig ist
Für Engineering-Teams, die KI-Agenten bereitstellen, hebt diese Forschung ein kritisches Risiko in der Lieferkette hervor. Jeder, der einen Modell-Checkpoint vor der Bereitstellung ändern kann – sei es ein Insider, ein Angreifer mit gestohlenen Zugangsdaten oder ein böswilliger Herausgeber auf einer öffentlichen Hub – kann diese Hintertüren einbetten. Da die Technik keine massiven Rechenressourcen erfordert, senkt sie die Hürde für ausgeklügelte Angriffe. Die Tatsache, dass Coding-Agenten beim Aufbau solcher Angriffe helfen können, beschleunigt die Bedrohungslandschaft weiter.
Die Implikationen gehen über einfache Befehlsausführung hinaus. Wenn ein KI-Agent weitreichende Berechtigungen hat, wie Root-Zugriff in einem Container oder die Fähigkeit, Daten extern zu senden, kann ein einzelner getrigerter Befehl ein gesamtes System kompromittieren. Traditionelle Sicherheitsmaßnahmen, die sich auf Code-Scanning oder Verhaltensüberwachung konzentrieren, könnten diese Manipulationen auf Gewichtsebene übersehen. Teams müssen nun die Integrität der Modellgewichte selbst als Teil ihrer Sicherheitsstrategie betrachten und Modelldateien mit derselben Sorgfalt behandeln wie ausführbare Binärdateien.
Was Sie tun können
- Vergleichen Sie jeden Modell-Checkpoint mit seinem deklarierten Basismodell vor der Bereitstellung und lehnen Sie alle ab, die nicht verifiziert werden können.
- Laden Sie Checkpoints nur von Originalherausgebern herunter, überprüfen Sie Datei-Hashes und behandeln Sie Drittanbieter-Feintunes als nicht vertrauenswürdig, bis sie auditiert wurden.
- Speichern Sie genehmigte Modelle in einer privaten Registry und verhindern Sie, dass Agenten Modelle direkt von öffentlichen Hubs beziehen.
- Beschränken Sie die Berechtigungen des Agenten auf das notwendige Minimum, führen Sie generierten Code in isolierten Sandboxes aus und begrenzen Sie den ausgehenden Netzwerkzugriff.
- Verlangen Sie menschliche Genehmigung für Aktionen mit hoher Auswirkung, wie die Ausführung von Systembefehlen oder die Übertragung sensibler Daten.
- Implementieren Sie Verhaltens-Backdoor-Scans neben Werkzeugen zum Gewichtsvergleich, um anomales Modellverhalten zu erkennen.



