勾配降下法によりオープンウェイトのプロンプトインジェクション分類器が突破される

セキュリティ研究者は、悪意あるプロンプトが大規模言語モデルに到達する前にフィルタリングするため、小さな分類器モデルに依存することがよくあります。最近の技術分析において、Tom Ganz氏は、分類器の重みが公開されている場合、この一般的な防御策が脆弱であることを示しました。勾配降下法を適用することで、攻撃者は悪意あるプロンプトに短く意味不明なサフィックスを追加し、検出器にそれらを無害と分類させることができます。

何が起きたか

プロンプトインジェクションを防ぐための標準的なアドバイスは、メインモデルの前に軽量な分類器を配置することです。このフィルタは入力テキストを読み取り、インジェクション試行が含まれているかどうかを判断し、危険な入力が貴重な計算リソースを消費する前に破棄します。Ganz氏は、Layaアーキテクチャに基づく323MパラメータのモデルSmolaya-guardを開発しました。これは単一のフォワードパスでプロンプトをスコアリングします。保持されたテストデータでは、この分類器は0.9998のAUCを達成し、1%の偽陽性率で99.7%のインジェクションを検出し、堅牢なセキュリティ境界のように見えました。

これらの強力な指標にもかかわらず、Ganz氏は、オープンウェイトを持つ任意の検出器が、Greedy Coordinate Gradient（GCG）攻撃を使用してバイパスできることを実証しました。この手法には、悪意あるプロンプトの末尾に短いトークンサフィックスを添付することが含まれます。攻撃者はこれらのトークンを最適化して検出器の信頼度スコアを最小限に抑え、安全閾値を下回るようにします。モデルの重みが公開されているため、攻撃者は各潜在的なトークン変更が出力マージンにどのように影響するかを正確に計算でき、ターゲットモデルに対して元の悪意ある意図を維持したまま分類器を騙すサフィックスを作成できます。

仕組み

プロンプトインジェクション検出器は通常、「injection」と「benign」のロジットの差として計算されるマージンスコアを出力します。このマージンが特定の閾値を超えると、プロンプトはフラグ付けされます。Smolaya-guardの場合、低い偽陽性率を維持するために閾値は-3.18に設定されており、実際のインジェクションは通常+7から+9の間でスコアリングされます。攻撃の目標は、このマージンを閾値以下に低下させるサフィックスを見つけることです。

トークンは離散的な単位であるため、標準的な勾配降下法を直接適用することはできません。GCGは、トークン埋め込みを一時的に連続変数として扱うことでこれを解決します。アルゴリズムは各トークン位置に対するマージンの勾配を計算し、交換するとスコアを最も大幅に低下させる語彙単語を特定します。その後、これらの候補交換のバッチを実モデルに対してテストし、最も低いマージンを生成する変更を保持します。このプロセスは、プロンプトが誤分類されるまで数ステップ繰り返されます。

主要な詳細

• Ganz氏は、この攻撃を3つのオープンウェイトモデル：Smolaya-guard、protectai/deberta-v3-base-prompt-injection-v2、およびnvidia/Nemotron-3.5-Content-Safetyに対してテストしました。
• 攻撃はこれら3つの検出器すべてを成功裏にバイパスし、自信満々のインジェクションスコアを無害レベルまで引き下げました。
• Smolaya-guardの場合、10ステップで最適化された30トークンのサフィックスを追加した後、テストされた12件のインジェクションのうち12件が誤分類されました。
• ProtectAIモデル用にユニバーサルサフィックスが作成され、インジェクションのバッチの平均マージンを+15.3から-13に低下させました。
• より大きなNemotron-3.5-Content-Safetyモデルは、判定をunsafeからsafeに反転させるために136回の最適化ステップを必要としました。
• 追加されたサフィックスはしばしば意味のない文字列であったり、「benign」などの無関係な単語を含んでいたりし、モデル内部の数学的操作を操作するためだけに機能します。

なぜ重要なのか

この分析は、オープンウェイト分類器をセキュリティ境界として頼ることの根本的な弱点を明らかにしています。モデルの重みが公開されている場合、敵対者は敵対的サンプルを作成するために必要な勾配情報への完全なアクセス権を持ちます。これは、オープンウェイトで分類器を提供することが、事実上、攻撃者にそれを破るためのツールを提供することを意味します。モデルのサイズや複雑さはこれを防ぎません。4.3Bパラメータの生成ジャッジであるNemotronでさえ、同じ勾配ベースのアプローチによって欺かれました（より多くの計算が必要でしたが）。

AIアプリケーションを構築するエンジニアにとって、これは、フィルタが勾配攻撃に対して脆弱である場合、プロンプトフィルタリングだけでは不十分であることを意味します。静的テストセットでの高いAUCスコアが現実世界のセキュリティに変換されるという仮定は、敵対者がモデルの特定の決定境界に適応できる場合、欠陥があります。セキュリティ戦略は、露出したパラメータを持つ任意の決定論的で微分可能な障壁が最適化の対象になり得るという事実を考慮に入れる必要があります。

実行できること

• 本番環境における重要なセキュリティ判断のために、オープンウェイト分類器のみに依存することを避けてください。
• 勾配情報が攻撃者からアクセスできない、クローズドソースのAPIベースのモデレーションツールの使用を検討してください。
• 出力検証やサンドボクシングなど、入力フィルタのみを信頼するのではなく、多層防御戦略を実装してください。
• ユーザー入力内の異常なトークンパターンやエントロピーの高いサフィックスを監視し、敵対的な試行を示唆しているかどうかを確認してください。
• 検出モデルを定期的に更新・ローテーションし、ユニバーサルな敵対的サフィックスの作成コストを増加させてください。
• 開発中に独自の分類器をGCG攻撃に対してテストし、その具体的な脆弱性を理解してください。