OpenAI behebt Schwachstelle bei Komprimierung, die verborgene Modell-Reasoning-Prozesse offengelegt hat

Das Sicherheitsunternehmen Xint demonstrierte eine Methode, um verstecktes Reasoning aus dem Modell gpt-5.6-sol von OpenAI zu extrahieren, indem es die Funktion zur Gesprächskomprimierung der Plattform ausnutzte. Die Technik umging Schutzmaßnahmen, die im August implementiert wurden, und ermöglichte es den Forschern, verschlüsselte interne Denkprozesse als Klartext einzusehen. OpenAI bestätigte die Sicherheitslücke und stellte am 23. Oktober einen Fix bereit.

Was passiert ist

OpenAIs Reasoning-Modelle generieren vor der Ausgabe einer endgültigen Antwort eine detaillierte Gedankenkette (Chain of Thought). Zum Schutz des geistigen Eigentums und zur Verhinderung von Distillation liefert der Dienst dieses Roh-Reasoning als ein verschlüsseltes Objekt zurück, das Nutzer nicht direkt lesen können. Forscher von Xint zeigten jedoch, dass die Komprimierungsfunktion, die entwickelt wurde, um lange Konversationen zur Effizienzsteigerung zu verkürzen, so manipuliert werden konnte, dass sie diese versteckten Daten in einem lesbaren Format ausgibt. Die Methode extrahierte erfolgreich Reasoning aus Mathe- und Algorithmus-Rätseln, die von den Forschern selbst erstellt wurden.

Der Extraktionsprozess umfasste keinen Zugriff auf Daten anderer Nutzer, und Xint behauptete nicht, in der Lage zu sein, Reasoning aus unrelated Sessions zu stehlen. Zwar entsprachen die extrahierten Texte den Eingabeanfragen, doch Xint merkte an, dass sie nicht verifizieren konnten, ob die Ausgabe wortwörtlich mit dem ursprünglichen internen Reasoning identisch war, da sie nie Zugang zur unverschlüsselten Quelle hatten. Es bleibt die Möglichkeit bestehen, dass der Komprimierungsprozess den Inhalt während der Extraktion leicht umformuliert haben könnte.

Diese Sicherheitslücke umging ein vorheriges Sicherheitsupdate. Im August offenbarte ein Paper mit dem Titel "Stolen Thoughts", dass verschlüsseltes Reasoning eines leistungsstarken Modells in ein schwächeres Modell desselben Anbieters eingespielt werden konnte, welches den Text dann in Klartext ausgab. OpenAI blockierte diesen Cross-Model-Replay-Angriff kurz nach seiner Entdeckung. Xints neue Methode umging diese Blockade, da der Komprimierungsschritt innerhalb desselben Modells stattfindet, das das Reasoning erzeugt hat, und somit die Cross-Model-Sicherheitsprüfungen nicht auslöst.

Wie es funktioniert

Komprimierung ist eine Funktion von OpenAI, die ein Modell nutzt, um einen langen Gesprächsverlauf in ein kleineres, verschlüsseltes Element zu komprimieren, das den Kontext für zukünftige Interaktionen bewahrt. Xint nutzte diesen Mechanismus aus, indem sie eine Aufgabe an gpt-5.6-sol sendeten und das resultierende verschlüsselte Reasoning behielten. Anschließend riefen sie den Komprimierungsschritt auf demselben Modell auf und wiesen es an, das Reasoning wortwörtlich in das komprimierte Element zu kopieren. Um Filter für Nutzungsrichtlinien zu umgehen, ersetzten die Forscher jedes Leerzeichen im Text durch ein Tabulatorzeichen.

Nachdem das Reasoning im komprimierten Element eingebettet war, übergab Xint es an günstigere Modelle, speziell gpt-4.1 und gpt-4o. Diese Modelle wurden aufgefordert, ihre Eingabe exakt zu wiederholen. Beide Modelle kamen dieser Aufforderung nach und gaben das versteckte Reasoning als Klartext aus. Dieser Ansatz baute auf Xints früherer Forschung namens GhostCompact auf, die gezeigt hatte, dass der Komprimierungsschritt dazu gezwungen werden kann, Aufgaben auszuführen, die vom Angreifer gewählt wurden, anstatt nur den Kontext zusammenzufassen.

Wichtige Details

• Die Sicherheitslücke betraf gpt-5.6-sol, eines von OpenAIs Reasoning-Modellen; GPT-6 Astra wurde nicht getestet.
• OpenAI stellte am 23. Oktober 2026 einen nicht öffentlich dokumentierten Fix für das Problem bereit.
• Xint erhielt von OpenAI eine Bug-Bounty-Prämie in Höhe von 6.000 US-Dollar für die Meldung der Schwachstelle.
• Die Methode umging die Schutzmaßnahmen vom August, indem der Komprimierungsprozess innerhalb derselben Modellinstanz gehalten wurde.
• Die Forscher ersetzten Leerzeichen durch Tabs im Payload, um Filter für Nutzungsrichtlinien zu umgehen.
• Xint hat den Demonstrationscode in seinem GitHub-Repository veröffentlicht.

Warum das wichtig ist

Für Entwickler, die Anwendungen auf Basis großer Sprachmodelle erstellen, unterstreicht dieser Vorfall die Komplexität der Absicherung serverseitiger Inferenz-Pipelines. Während dieser spezifische Fix vollständig von OpenAI gehandhabt wurde und keine Änderungen seitens der API-Nutzer erforderte, macht er deutlich, dass verstecktes Reasoning ein wertvolles Ziel ist. Wettbewerber sind an diesen internen Denkprozessen interessiert, da sie im Vergleich zu reinen Endantworten überlegene Trainingsdaten für die Distillation liefern. Das Verständnis dafür, wie Modelle Probleme lösen, ermöglicht es Rivalen, günstigere und effizientere Modelle zu trainieren, die die Reasoning-Fähigkeiten größerer Systeme nachahmen.

Die breitere Implikation besteht darin, dass jeder serverseitige Vorgang, der verstecktes Reasoning entschlüsselt und verarbeitet, inhärente Leckage-Risiken birgt. Xint argumentiert, dass das Patchen dieses einzelnen Vektors möglicherweise nicht ausreicht, da jeder Schritt, der entschlüsseltes Reasoning liest und Benutzeranweisungen befolgt, potenziell ausgenutzt werden könnte. Dies deckt sich mit jüngsten Berichten von Anthropic und Warnungen der US-Regierung bezüglich chinesischer Labore, die das versteckte Reasoning amerikanischer KI-Modelle ins Visier nehmen. Obwohl diese spezifische Demonstration nicht mit staatlich unterstützten Aktivitäten in Verbindung gebracht wurde, validiert sie die technische Machbarkeit solcher Angriffe.

Was Sie tun können

• Beobachten Sie OpenAIs Release Notes auf Updates bezüglich der Sicherheit von Reasoning-Modellen und Komprimierungsfunktionen.
• Überprüfen Sie die Abhängigkeit Ihrer Anwendung von Ausgaben des versteckten Reasonings, wenn Sie ältere API-Versionen verwenden.
• Gehen Sie davon aus, dass jede serverseitige Verarbeitung interner, verschlüsselter Modellkomponenten potenzielle Side-Channel-Risiken bergen kann.
• Bleiben Sie informiert über Bedrohungen durch Distillation und bedenken Sie, wie Ihre eigenen Modell-Ausgaben zum Training von Wettbewerbern genutzt werden könnten.
• Folgen Sie der Sicherheitsforschung von Unternehmen wie Xint, um neu auftretende Angriffsvektoren in der LLM-Infrastruktur zu verstehen.
• Stellen Sie sicher, dass Ihre Nutzungsrichtlinien neuartige Umgehungstechniken berücksichtigen, wie etwa Zeichen-Substitution in Prompts.