Gradient Descent hebelt Open-Weight-Klassifikatoren für Prompt-Injection aus

Sicherheitsforscher verlassen sich häufig auf kleine Klassifikator-Modelle, um bösartige Prompts zu filtern, bevor sie große Sprachmodelle erreichen. In einer aktuellen technischen Analyse zeigt Tom Ganz, dass diese gängige Verteidigung fragil ist, wenn die Gewichte des Klassifikators öffentlich verfügbar sind. Durch die Anwendung von Gradient-Descent-Techniken können Angreifer kurze, unsinnige Suffixe an bösartige Prompts anhängen, die Detektoren dazu zwingen, diese als harmlos einzustufen.

Was passiert ist

Der Standardrat zur Verhinderung von Prompt-Injection besteht darin, einen leichtgewichtigen Klassifikator vor dem Hauptmodell zu platzieren. Dieser Filter liest eingehenden Text und entscheidet, ob er einen Injection-Versuch enthält, und verwirft gefährliche Eingaben, bevor sie teure Rechenressourcen verbrauchen. Ganz entwickelte Smolaya-guard, ein Modell mit 323 Millionen Parametern basierend auf der Laya-Architektur, das Prompts in einem einzigen Forward-Pass bewertet. Auf zurückgehaltenen Testdaten erreichte dieser Klassifikator eine AUC von 0,9998 und erfasste 99,7 % der Injections bei einer False-Positive-Rate von nur 1 %, was ihn wie eine robuste Sicherheitsgrenze erscheinen ließ.

Trotz dieser starken Metriken demonstrierte Ganz, dass jeder Detektor mit offenen Gewichten unter Verwendung von Greedy Coordinate Gradient (GCG)-Angriffen umgangen werden kann. Die Methode besteht darin, ein kurzes Suffix aus Tokens am Ende eines bösartigen Prompts anzuhängen. Der Angreifer optimiert diese Tokens so, dass das Konfidenzscore des Detektors minimiert wird und unter den Schwellenwert für Sicherheit fällt. Da die Modellgewichte öffentlich sind, kann der Angreifer genau berechnen, wie jede potenzielle Token-Änderung die Ausgabe-Marge beeinflusst, sodass er ein Suffix erstellen kann, das den Klassifikator täuscht, während die ursprüngliche bösartige Absicht für das Zielmodell intakt bleibt.

Wie es funktioniert

Ein Prompt-Injection-Detektor gibt typischerweise eine Marge-Score aus, berechnet als Differenz zwischen den "injection"- und "benign"-Logits. Wenn diese Marge einen spezifischen Schwellenwert überschreitet, wird der Prompt markiert. Für Smolaya-guard ist der Schwellenwert auf -3,18 festgelegt, um eine niedrige False-Positive-Rate aufrechtzuerhalten, während tatsächliche Injections normalerweise Werte zwischen +7 und +9 erzielen. Das Ziel des Angriffs ist es, ein Suffix zu finden, das diese Marge unter den Schwellenwert senkt.

Da Tokens diskrete Einheiten sind, kann standardmäßiger Gradient Descent nicht direkt angewendet werden. GCG löst dieses Problem, indem Token-Einbettungen vorübergehend als kontinuierliche Variablen behandelt werden. Der Algorithmus berechnet den Gradienten der Marge bezüglich jeder Token-Position und identifiziert, welche Wörter im Vokabular den Score am stärksten senken würden, wenn sie eingesetzt werden. Anschließend testet er eine Charge dieser Kandidaten-Austausche gegen das reale Modell und behält die Änderung, die die niedrigste Marge erzeugt. Dieser Prozess wiederholt sich über mehrere Schritte, bis der Prompt falsch klassifiziert wird.

Wichtige Details

• Ganz testete den Angriff gegen drei Modelle mit offenen Gewichten: Smolaya-guard, protectai/deberta-v3-base-prompt-injection-v2 und nvidia/Nemotron-3.5-Content-Safety.
• Der Angriff umging erfolgreich alle drei Detektoren und drückte sichere Injection-Scores auf harmlose Niveaus.
• Bei Smolaya-guard wurden 12 von 12 getesteten Injections falsch klassifiziert, nachdem ein 30-Token-Suffix angehängt wurde, das über 10 Schritte optimiert wurde.
• Für das ProtectAI-Modell wurde ein universelles Suffix erstellt, das die durchschnittliche Marge einer Charge von Injections von +15,3 auf -13 senkte.
• Das größere Modell Nemotron-3.5-Content-Safety erforderte 136 Optimierungsschritte, um sein Urteil von unsicher auf sicher zu kippen.
• Die angehängten Suffixe sind oft Kauderwelsch oder enthalten irrelevante Wörter wie "benign" und dienen nur dazu, die interne Mathematik des Modells zu manipulieren.

Warum es wichtig ist

Diese Analyse offenbart eine fundamentale Schwäche bei der Abhängigkeit von Klassifikatoren mit offenen Gewichten als Sicherheitsgrenzen. Wenn Modellgewichte öffentlich sind, haben Gegner vollen Zugriff auf die Gradienteninformationen, die erforderlich sind, um adversariale Beispiele zu erstellen. Dies bedeutet, dass das Ausliefern eines Klassifikators mit offenen Gewichten Angreifern effektiv die Werkzeuge liefert, um ihn zu brechen. Die Größe oder Komplexität des Modells verhindert dies nicht; sogar ein generativer Richter mit 4,3 Milliarden Parametern wie Nemotron wurde durch denselben gradientenbasierten Ansatz getäuscht, allerdings mit mehr Rechenaufwand.

Für Ingenieure, die KI-Anwendungen entwickeln, impliziert dies, dass Prompt-Filtering allein unzureichend ist, wenn der Filter anfällig für Gradient-Angriffe ist. Die Annahme, dass ein hoher AUC-Score auf statischen Testsets in reale Sicherheit übersetzt wird, ist fehlerhaft, wenn der Gegner sich an die spezifische Entscheidungsgrenze des Modells anpassen kann. Sicherheitsstrategien müssen berücksichtigen, dass jede deterministische, differenzierbare Barriere mit exponierten Parametern optimiert werden kann.

Was Sie tun können

• Verlassen Sie sich in Produktionsumgebungen nicht ausschließlich auf Klassifikatoren mit offenen Gewichten für kritische Sicherheitsentscheidungen.
• Erwägen Sie die Nutzung von Closed-Source-API-basierten Moderationstools, bei denen Gradienteninformationen für Angreifer nicht zugänglich sind.
• Implementieren Sie Defense-in-Depth-Strategien, wie Output-Validierung und Sandboxing, anstatt Input-Filtern ausschließlich zu vertrauen.
• Überwachen Sie ungewöhnliche Token-Muster oder Suffixe mit hoher Entropie in Benutzereingaben, die auf adversariale Versuche hinweisen könnten.
• Aktualisieren und rotieren Sie Erkennungsmodelle regelmäßig, um die Kosten für die Erstellung universeller adversarialer Suffixe zu erhöhen.
• Testen Sie Ihre eigenen Klassifikatoren während der Entwicklung gegen GCG-Angriffe, um ihre spezifischen Schwachstellen zu verstehen.