AIで開発する

Granite 4.1モデル、LLMONを採用しプロンプトインジェクションを防止

Hugging Faceが、指示とデータを分離して間接的なプロンプトインジェクションを防ぐマークアップ言語「LLMON」で訓練された、Granite 4.1の3Bおよび8Bプレビューモデルをリリースしました。

整理されたタグ付きレイヤーを持つガラスの立方体と、絡み合った紙の帯
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Hugging Faceは、従来の大規模言語モデル(LLM)よりも構造化コンテキストをより堅牢に処理できるよう設計された2つの実験的プレビューモデル、granite-4.1-3b-LLMON-preview と granite-4.1-8b-LLMON-preview をリリースしました。これらのモデルは Granite 4.1 ベースから派生しており、指示とデータペイロードを明示的に分離する新しいマークアップ言語である LLMON(LLM Object Notation)を読み取り・生成するように訓練されています。今回のリリースは、小規模モデルにおける脆弱性への対処や、モデルのコンテキストウィンドウ内で明確な意味境界を強制することによる、間接的なプロンプトインジェクションなどのセキュリティリスクの軽減を目的としています。

何が起きたか

このリリースが解決しようとする核心的な問題は、LLMがコンテキストを処理する方法に内在する構造的な曖昧さです。標準的なモデルは、システムプロンプト、会話履歴、取得したドキュメント、ツール出力などが混在した情報を受け取ります。これらはしばしば、パーサー向けに設計され因果関係を持つ言語モデルには適さないJSONなどの形式でエンコードされます。Transformerにとって、JSON構造を表すトークンはコンテンツトークンと統計的に類似しているため、特に長いコンテキストにおいて、コマンドとデータの区別が困難になります。この曖昧さは予期しない失敗を引き起こし、ユーザー提供のデータ内に悪意のある指示が隠されている攻撃に対してモデルを脆弱にします。

これを解決するために、開発者はLLMONを作成しました。LLMONは、意味的にまとまりのあるコンポーネントを示すために予約済みの特殊トークンデリミタを使用する、LLMネイティブのマークアップ言語です。波括弧や引用符などの文字から構造を推測するJSONとは異なり、LLMONは通常のテキストには出現しない一意なトークンで囲まれた明示的なタグを使用します。これにより、モデルはコンテキスト内のどの部分が指示であり、どの部分がデータであり、どの部分が要件であるかを明確に識別できます。新しい Granite 4.1 プレビューモデルは、このフォーマットの理解と生成に特化して訓練された最初のモデルであり、プログラミングでの関数呼び出しと同様に、一意なIDを通じて指示を特定のデータペイロードにバインドすることを学習しています。

リリースにはモデルだけでなく、LLMONを扱うためのツールキット、JSONからLLMONへの可逆変換ツール、そしてサンプルワークフローを含むGitHubリポジトリも含まれています。Hugging Faceは、これらが本番デプロイ用ではなく、探索と評価を目的とした実験的プレビューであることを強調しています。コミュニティに対し、モデルのテスト、結果の報告、GitHub Discussionsを通じたユースケースの検討を呼びかけており、モデルが静的な間接プロンプトインジェクションに対して強い耐性を示す一方で、適応型攻撃への対策は継続中であると述べています。

仕組み

LLMONは、標準的なチャットテンプレートを置き換えるのではなく、それを拡張することで機能します。開発者がメッセージリストを構築する際、ターン内の一部を「instruction(指示)」、「data(データ)」、「requirement(要件)」として名前付けし、実行可能または非実行可能としてマークできます。その後、チャットテンプレートはこれらのコンポーネントを、デリミタ用の予約済み単一トークンと2文字のブロックIDを使用してLLMONブロックにレンダリングします。レンダリング出力の末尾にある実行ブロックでは、どの指示を実行するか、どのデータに対して行うか、どの要件に従うか、そして出力をどこに配置するかを明示的に記述します。これにより、モデルは関連するデータに明示的にバインドされた指示のみに従い、コンテキスト内の無関係な箇所や偽装指示を無視することが保証されます。

訓練プロセスには、従来の指示チューニングコーパスをLLMON形式に再シリアライズする作業が含まれており、すべてのプロンプトコンポーネントがアドレス可能なブロックになるようにしました。さらに、モデルは意図的にバインドされていない偽装指示やデータブロックによって強化され、実行ブロックで参照されていないコンテンツを無視することを学習しました。この挙動は、GRPO強化学習の5段階と、インジェクション試行から作成されたペアを用いた最終的なDPO段階を通じて強化されました。その結果、モデルは「実行ブロック経由で到達した指示のみが権威を持ち、その他すべては読み取り専用素材として扱われる」という特権ルールを学習します。

主要な詳細

  • リリースされたモデル: Granite 4.1ベースチェックポイントから派生した granite-4.1-3b-LLMON-preview および granite-4.1-8b-LLMON-preview。
  • セキュリティ向上: OPIベンチマークにおいて、LLMONモデルはテストされた最良のフロンティアモデルより47%多く、最良のオープンソースモデルより95%多くの攻撃を回避しました。
  • 性能同等性: LLMONモデルは、標準的なベンチマークカテゴリー全体において、標準的な Granite 4.1 Instruct モデルと同等の汎用能力を維持しています。
  • 変換ツール: 既存のJSON構造を、入れ子構造を型付きでアドレス可能なブロックとして保持しながら、LLMONへ可逆変換するためのライブラリが提供されています。
  • 拡張性: 開発者は独自のカスタムタグ名や構造を定義し、ScienceWorldベンチマークで実証されているように、LLMONモデルの上にLoRAアダプターをファインチューニングできます。
  • 可視化: Hugging Face Spacesで利用可能な「LLMON Attention Visualization」ツールにより、モデルが注意層で構造化ブロックをどのように処理するかを観察できます。

なぜ重要なのか

AIエージェントやRAGシステムを構築するエンジニアにとって、指示とデータを確実に分離できないことは、不安定性とセキュリティリスクの主要な原因です。取得したドキュメントやユーザー入力に悪意あるコマンドが埋め込まれる間接プロンプトインジェクションは、標準的なアーキテクチャでは高い確率でモデルの挙動を乗っ取ることができます。トークンレベルで厳格な分離を強制するフォーマットを採用することで、LLMONは構造的な防御を提供し、静的ベンチマークにおける攻撃成功率をほぼゼロに低減します。これにより、開発者はヒューリスティックなガードレールや、圧力下で失敗しがちな複雑なプロンプトエンジニアリングのテクニックだけに頼ることなく、より堅牢なアプリケーションを構築できます。

さらに、内部コンテキスト表現としてJSONから離れる動きは、パーサー指向のデータ形式と確率的言語モデルの間の根本的なミスマッチに対処します。角括弧のカウントや文字のエスケープに依存するJSONは、特に長いコンテキストにおいてTransformerの既知の弱点です。構造のために予約トークンを使用するLLMONにより、モデルは階層を統計的に推測する必要がなくなり、認知的負荷が減少し、複雑な複数部分指示の追従精度が向上します。この変化は、コスト効率の良い小規模モデルにおいて、より信頼性の高いツール呼び出しと制約への準拠につながる可能性があります。

できること

  • 非本番環境での評価用に、Hugging Faceから granite-4.1-3b-LLMON-preview および granite-4.1-8b-LLMON-preview モデルをダウンロードしてテストしてください。
  • 提供されている LLMON-converters ライブラリを使用し、構造情報を失うことなく、既存のJSONベースのパイプラインをLLMON形式に変換してください。
  • ネイティブLLMONサポートが有効になっている Mellea フレームワークを試験し、LLM呼び出しを自動的にLLMON化してその効果を確認してください。
  • GitHubリポジトリを探索し、ScienceWorldベンチマークを使用してカスタムボキャブラリーのためのLoRAアダプターをファインチューニングする方法を示すノートブックなど、サンプルにアクセスしてください。
  • Hugging Face Spaces上の「LLMON Attention Visualization」デモを使用してモデルの注意機構を可視化し、構造化ブロックの処理方法を理解してください。
  • GitHub Discussionsに参加し、発見事項の共有、バグ報告、ユースケースの提案を行い、LLMONの今後の開発を支援してください。
  • #llm security
  • #prompt injection
  • #granite models
  • #llmon
  • #ai architecture

Bytechapストアのツール

続きを読む

すべての記事