セキュリティとプライバシー

Prime Intellect、deepseekエンドポイントでの不正なモデル差し替えを報告

2026年11月、Prime Intellectのdeepseek-v4.1-flashモデルが、未承認の第三者によって「アブレーション(abliterated)」されたバージョンに2日間置き換えられました。これにより安全上の拒否反応が除去されましたが、コア機能には影響がありませんでした。

輝くニューラルネットワークキューブ内で赤いレイヤーがずれたサーバーラック。モデル重みの改ざんを象徴しています。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

2026年11月8日から11月10日にかけて、未承認のアクターがPrime Intellectのdeepseek/deepseek-v4.1-flashエンドポイント背後にあるモデルを、安全上の拒否反応を回避するよう修正されたバージョンに差し替えました。このインシデントは約53時間続き、その間この特定のエンドポイントへのすべてのリクエストは、改変されたモデル重みによって処理されました。Prime Intellectは顧客データの流出がなかったことを確認しましたが、モデルの拒否挙動に依存していたユーザーは、この期間中の出力を確認する必要があります。

何が起きたか

インシデントは2026年11月8日UTC 01:24に始まり、未承認の第三者がdeepseek/deepseek-v4.1-flashエンドポイントのデプロイメントを置き換えました。標準的なモデルの代わりに、システムは「アブレーション」されたコピーを提供しました。アブレーションとは、有害または制限されたプロンプトに対する拒否傾向を低減または除去するためにモデルの重みに加えられる修正を指します。攻撃者はこの特定のモデルバージョンに対して、公開されているアブレーション済み重みを使用しました。この差し替えは2026年11月10日UTC 06:35まで有効でした。

置き換えの間、チャットテンプレート、トークナイザー、およびサービング設定は変更されませんでした。これは、インターフェースと入力処理がユーザーにとって通常と全く同じに見えることを意味し、通常のインタラクションログでは検出が困難でした。Prime Intellectは修正された重みをテストし、GPQA Diamondやτ-benchなどの一般的な能力ベンチマークに影響がないことを確認しました。しかし、安全性ベンチマークでは拒否反応が劇的に減少しました。JailbreakBenchでは、拒否数が100件中98件からわずか1件に低下しました。StrongREJECTでは313件中304件から2件に、HarmBenchでは240件中198件からゼロに落ち込みました。

Prime Intellectは、このインシデントの影響を受けたすべての顧客に連絡を取りました。同社は、モデルの拒否メカニズムに依存しているアプリケーションに対し、侵害の開始時刻から終了時刻までの間に生成された出力を見直すことを推奨しています。同社によると、プラットフォーム上の他のモデルが変更されることはなく、他のクラスターやインフラストラクチャへのアクセスもありませんでした。顧客の認証情報およびAPIキーは安全です。

仕組み

この攻撃は、基盤となるインフラストラクチャの侵害やデータ窃取ではなく、モデル重みファイルの置き換えを伴うものでした。公開されているアブレーション済みバージョンで重みを差し替えることで、攻撃者はサービングコードを変更することなく、特定のタイプのプロンプトに対するモデルの応答方法を変えました。これは従来のネットワーク侵入ではなく、モデルアーティファクト自体に対するサプライチェーン型の攻撃です。「アブレーション」という用語は、拒否応答を担当するベクトルを狙った技術などを用いて、ニューラルネットワークの重みから特定の安全性整合的な挙動を外科的に除去するプロセスを記述します。

Prime Intellectのインフラストラクチャは、エンドポイントに対してゼロデータ保持(ZDR)を採用しており、リクエストや補完内容をログとして記録しません。このアーキテクチャ上の選択により、仮に攻撃者がデータ収集を試みたとしても、その能力は限定的でした。同社は攻撃者のプロキシのすべてのバージョンを復元し、関与したすべてのノードのディスクとメモリを検査しました。プロセスレベルの記録の分析により、攻撃者のセッションがリクエスト内容を読み取ったり転送したりしていないことが示されました。調査は継続中ですが、現在の証拠では、侵害はモデルの置換に限定されていたと考えられます。

主要な詳細

  • タイムライン: インシデントは2026年11月8日UTC 01:24から2026年11月10日UTC 06:35まで発生しました。
  • 影響を受けたエンドポイント: deepseek/deepseek-v4.1-flashエンドポイントのみが侵害されました。他のモデルやクラスターには影響はありませんでした。
  • 変更の性質: モデルは、機能を維持しつつ拒否挙動を除去する、公開されているアブレーション済み重みに置き換えられました。
  • データセキュリティ: プロンプトや補完内容が記録、保存、またはサービングクラスタ外へ持ち出された証拠は見つかりませんでした。
  • 認証情報: APIキーや顧客の認証情報が影響を受けたり、アクセスされたりすることはありませんでした。
  • 検知: チャットテンプレートとトークナイザーは変更されていなかったため、標準的な入出力チェックでは差し替えを検知できませんでした。

なぜ重要なのか

このインシデントは、AIインフラにおける増大するリスク、すなわちモデル重みの完全性を浮き彫りにしています。開発者はしばしば、API接続が安全であればモデルの挙動も保証されると想定しがちです。しかし、この事象は、攻撃者がAPI契約を破棄したりデータを盗んだりすることなく、モデルのコア挙動を変更できることを示しています。カスタマーサポートボットやコンテンツモデレーションツールなど、悪用防止のために安全性上の拒否に依存しているアプリケーションにとって、このような差し替えは重大なコンプライアンスリスクや評判リスクにつながり得ます。機能が変更されていないため、パフォーマンス監視だけでは検出がさらに困難になります。

エンジニアリングチームにとって、これは単なる接続性だけでなく、モデルの出所と挙動を検証することの重要性を強調するものです。ハイリスクなアプリケーションにおいて、プロバイダーのセキュリティだけに頼るのは不十分です。ユースケースが安全性整合性に敏感である場合、チームは出力監視やモデル重みのハッシュ検証の実装を検討する必要があります。また、このインシデントはゼロデータ保持ポリシーの価値も実証しています。Prime Intellectがリクエストをログとして記録していなかったため、潜在的な損害はデータ漏洩ではなく挙動の変更という範囲に留まり、プライバシーへの影響の深刻さが軽減されました。

対応策

  • 2026年11月8日UTC 01:24から11月10日UTC 06:35までの間にdeepseek/deepseek-v4.1-flashエンドポイントで生成されたすべての出力を見直してください。
  • アプリケーションロジックがモデルによる特定のプロンプトの拒否に依存しているかどうかを確認し、インシデント期間中に拒否されなかった出力による潜在的な害を評価してください。
  • 重みの改ざんを示唆する可能性のある、モデルの拒否率やトーンの予期しない変化に対する自動監視を実装してください。
  • モデルをローカルでホストしている場合は、暗号化ハッシュを使用して不正な変更を検出し、モデル重みの完全性を検証してください。
  • ベンダー契約に、モデルの差し替えや挙動の変化に関する通知プロトコルが明確に含まれていることを確認してください。
  • ベースモデルの拒否だけに依存しない、アプリケーションコード内の二次的な安全層の追加を検討してください。
  • #ai security
  • #model integrity
  • #supply chain
  • #prime intellect
  • #deepseek

Bytechapストアのツール

続きを読む

すべての記事