OpenAI、隠れたモデル推論を露呈させる圧縮機能の欠陥を修正

セキュリティ企業Xintは、プラットフォームの会話圧縮機能を悪用することで、OpenAIのgpt-5.6-solモデルから隠された推論を抽出する手法を実証しました。この技術により8月に導入された保護措置がバイパスされ、研究者たちは暗号化された内部思考プロセスを平文で閲覧することが可能になりました。OpenAIはこの脆弱性を確認し、10月23日に修正を適用しました。

何が起きたのか

OpenAIの推論モデルは、最終的な回答を生成する前に詳細な思考連鎖（Chain of Thought）を作成します。知的財産の保護や蒸留（distillation）を防ぐため、サービス側ではこの生の推論データをユーザーが直接読み取れない暗号化オブジェクトとして返却します。しかし、Xintの研究者たちは、長い会話を効率化するために設計された圧縮機能が操作されることで、この隠されたデータを読み取り可能な形式で出力できることを示しました。この手法により、研究者自身が作成した数学およびアルゴリズムのパズルに関する推論データの抽出に成功しました。

抽出プロセスには他のユーザーのデータへのアクセスは含まれておらず、Xintは無関係なセッションから推論を盗み出す能力があると主張していません。抽出されたテキストは入力リクエストと一致していましたが、Xintは暗号化されていないソースにアクセスできなかったため、出力が元の内部推論と完全に一致しているかどうかを検証できませんでした。圧縮プロセス中に内容がわずかに言い換えられた可能性が残っています。

この脆弱性は、以前行われたセキュリティアップデートを回避するものでした。8月に発表された「Stolen Thoughts」という論文では、強力なモデルからの暗号化された推論を同じプロバイダーのより弱いモデルに再投入すると、そのモデルがテキストを平文で出力してしまうことが明らかになりました。OpenAIはこのクロスモデル・リプレイ攻撃の発見後すぐにブロックしました。Xintの新手法では、圧縮ステップが推論を生成したのと同じモデル内で実行されるため、クロスモデルのセキュリティチェックが発動せず、このブロックを回避できました。

仕組み

圧縮（Compaction）とは、OpenAIの機能の一つで、長い会話履歴をモデルを使って圧縮し、今後のターンでコンテキストを保持するための小さな暗号化アイテムに変換します。Xintはこのメカニズムを利用し、gpt-5.6-solにタスクを送信して結果として得られる暗号化された推論データを保持しました。その後、同じモデルに対して圧縮ステップを呼び出し、推論データをそのまま（verbatim）圧縮アイテムにコピーするように指示しました。利用ポリシーフィルターを回避するため、研究者たちはテキスト内のすべてのスペースをタブ文字に置き換えました。

推論データが圧縮アイテムに埋め込まれた後、Xintはこれをより安価なモデル、具体的にはgpt-4.1とgpt-4oに渡しました。これらのモデルには入力を正確に繰り返すよう依頼されました。両方のモデルがこの指示に従い、隠された推論データを平文で出力しました。このアプローチは、圧縮ステップが単なるコンテキスト要約ではなく、攻撃者が選択したタスクの実行へと強制できることを示したXintの先行研究「GhostCompact」に基づいています。

主要な詳細

• この脆弱性はOpenAIの推論モデルの一つであるgpt-5.6-solに影響しましたが、GPT-6 Astraはテストされていません。
• OpenAIは2026年10月23日、この問題に対する非公開の修正を適用しました。
• Xintは、この欠陥を報告したことでOpenAIから6,000ドルのバグバウンティ報酬を受け取りました。
• この手法は、圧縮プロセスを同じモデルインスタンス内に留めることで、8月の保護措置をバイパスしました。
• 研究者たちは、利用ポリシーフィルターを回避するためにペイロード内のスペースをタブに置き換えました。
• Xintは、デモコードをGitHubリポジトリで公開しています。

なぜ重要なのか

大規模言語モデル（LLM）上にアプリケーションを開発するエンジニアにとって、この事案はサーバーサイド推論パイプラインのセキュリティ確保の複雑さを浮き彫りにします。今回の特定の修正はOpenAI側だけで対応され、APIユーザーによる変更は不要でしたが、隠された推論データが高価値な標的であることが強調されています。競合他社は、最終的な回答だけでなく、蒸留のための優れた訓練データとなる内部思考プロセスを求めています。モデルが問題をどのように解決するかを理解することは、競合他社がより安価で効率的なモデルを訓練し、大型システムの推論能力を模倣することを可能にします。

より広範な影響として、隠された推論データを復号化して処理するあらゆるサーバーサイド操作には、 inherent な情報漏洩リスクが伴います。Xintは、この単一のベクトルをパッチ当てるだけでは不十分だと主張しており、復号化された推論データを読み取り、ユーザーの指示に従うあらゆるステップが悪用される可能性があるとしています。これは、中国拠点のラボが米国のAIモデルの隠された推論データを狙っているというAnthropicや米国政府の最近の警告とも一致しています。今回の具体的なデモはそれらの国家支援型の活動と関連付けられていませんが、そのような攻撃の技術的な実現可能性を裏付けています。

ユーザーができること

• 推論モデルのセキュリティや圧縮機能に関する更新について、OpenAIのリリースノートを確認してください。
• 古いAPIバージョンを使用している場合、隠された推論出力への依存度をレビューしてください。
• 暗号化されたモデル内部データのサーバーサイド処理には、潜在的なサイドチャネルリスクがあるものと想定してください。
• 蒸留脅威に関する情報を収集し、自社のモデル出力が競合他社の訓練に使用される可能性を検討してください。
• Xintなどの企業のセキュリティリサーチを追跡し、LLMインフラストラクチャにおける新たな攻撃ベクトルを理解してください。
• プロンプト内での文字置換など、新しい回避テクニックに対応できるよう、利用ポリシーを見直してください。