Granite-4.1-Modelle nutzen LLMON zur Abwehr von Prompt-Injections
Hugging Face veröffentlicht die Vorschau-Modelle Granite 4.1 3B und 8B, die auf LLMON trainiert wurden – einer Markup-Sprache, die Anweisungen von Daten trennt, um indirekte Prompt-Injections zu verhindern.
Automatisch aus dem englischen Original übersetzt.
Hugging Face hat zwei experimentelle Vorschau-Modelle veröffentlicht: granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview. Diese Modelle sind darauf ausgelegt, strukturierten Kontext robuster zu verarbeiten als herkömmliche große Sprachmodelle (LLMs). Die aus der Granite-4.1-Basis abgeleiteten Modelle sind darauf trainiert, LLMON (LLM Object Notation) zu konsumieren und zu generieren – eine neue Markup-Sprache, die Anweisungen explizit von Daten-Nutzlasten trennt. Das Release zielt darauf ab, die Anfälligkeit kleinerer Modelle zu adressieren und Sicherheitsrisiken wie indirekte Prompt-Injections zu mindern, indem klare semantische Grenzen innerhalb des Kontextfensters des Modells erzwungen werden.
Was passiert ist
Das Kernproblem, das dieses Release angeht, ist die strukturelle Mehrdeutigkeit, die inhärent in der Art liegt, wie LLMs Kontext verarbeiten. Standardmodelle erhalten eine Mischung aus System-Prompts, Gesprächsverlauf, abgerufenen Dokumenten und Tool-Ausgaben, oft kodiert in Formaten wie JSON, die für Parser und nicht für kausale Sprachmodelle entwickelt wurden. Für einen Transformer sind die Tokens, die die JSON-Struktur repräsentieren, statistisch ähnlich wie Inhalts-Tokens. Dies macht es dem Modell schwer, zwischen Befehlen und Daten zu unterscheiden, insbesondere bei langen Kontexten. Diese Mehrdeutigkeit führt zu unerwarteten Fehlern und macht Modelle anfällig für Angriffe, bei denen bösartige Anweisungen in benutzerbereitgestellten Daten versteckt werden.
Um dies zu lösen, haben Entwickler LLMON erstellt, eine LLM-native Markup-Sprache, die reservierte Special-Token-Delimiter verwendet, um semantisch kohärente Komponenten zu markieren. Im Gegensatz zu JSON, wo die Struktur aus Zeichen wie Klammern und Anführungszeichen abgeleitet wird, nutzt LLMON explizite Tags, die in eindeutigen Tokens eingebettet sind, die im normalen Text nicht vorkommen. Dies ermöglicht dem Modell, klar zu identifizieren, welche Teile des Kontexts Anweisungen, welche Daten und welche Anforderungen sind. Die neuen Granite-4.1-Vorschau-Modelle sind die ersten, die speziell darauf trainiert wurden, dieses Format zu verstehen und zu generieren. Sie lernen, Anweisungen über eindeutige IDs an spezifische Daten-Nutzlasten zu binden, ähnlich wie Funktionsaufrufe in der Programmierung.
Das Release umfasst nicht nur die Modelle, sondern auch ein GitHub-Repository mit einem Toolkit für die Arbeit mit LLMON, Konvertierungstools für die verlustfreie Übersetzung von JSON nach LLMON sowie Beispiel-Workflows. Hugging Face betont, dass es sich um experimentelle Vorschauen handelt, die für Exploration und Evaluation gedacht sind, nicht für den Produktiveinsatz. Die Community wird eingeladen, die Modelle zu testen, Erkenntnisse zu melden und Anwendungsfälle über GitHub Discussions zu erkunden. Dabei wird angemerkt, dass die Modelle zwar starke Resistenz gegen statische indirekte Prompt-Injections zeigen, die Arbeit an adaptiven Angriffen jedoch noch andauert.
Wie es funktioniert
LLMON arbeitet durch die Erweiterung standardmäßiger Chat-Vorlagen, statt diese zu ersetzen. Wenn ein Entwickler eine Nachrichtenliste konstruiert, kann er Teile eines Turns als instruction (Anweisung), data (Daten) oder requirement (Anforderung) benennen und sie als ausführbar oder nicht-ausführbar kennzeichnen. Die Chat-Vorlage rendert diese Komponenten dann in LLMON-Blöcke unter Verwendung reservierter Einzel-Tokens für Delimiter und zweistelliger Block-IDs. Ein Ausführungsblock am Ende des gerenderten Outputs gibt explizit an, welche Anweisung ausgeführt werden soll, auf welchen Daten, unter welchen Anforderungen und wo die Ausgabe platziert werden soll. Dies stellt sicher, dass das Modell nur Anweisungen befolgt, die explizit an die relevanten Daten gebunden sind, und ignoriert dabei unrelated Passagen oder Lockvogel-Anweisungen im Kontext.
Der Trainingsprozess umfasste die Re-Serialisierung eines konventionellen Instruction-Tuning-Korpus in das LLMON-Format, wobei jede Prompt-Komponente zu einem adressierbaren Block wurde. Die Modelle wurden zusätzlich mit Lockvogel-Anweisungen und Datenblöcken angereichert, die absichtlich ungebunden gelassen wurden, um dem Modell beizubringen, jeglichen Inhalt zu ignorieren, der nicht im Ausführungsblock referenziert wird. Dieses Verhalten wurde durch fünf Stufen des GRPO-Reinforcement-Learnings und eine abschließende DPO-Stufe unter Verwendung von Präferenzpaaren, die aus Injektionsversuchen erstellt wurden, verstärkt. Als Ergebnis lernt das Modell eine Privilegienregel, bei der nur Anweisungen, die über einen Ausführungsblock erreicht werden, autoritativ sind, während alles andere als schreibgeschütztes Material behandelt wird.
Wichtige Details
- Veröffentlichte Modelle: granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview, abgeleitet von Granite-4.1-Basis-Checkpoints.
- Sicherheitsverbesserung: Auf dem OPI-Benchmark vermieden die LLMON-Modelle 47 % mehr Angriffe als das beste getestete Frontier-Modell und 95 % mehr als das beste Open-Source-Modell.
- Leistungsparität: Die LLMON-Modelle behalten ihre allgemeine Leistungsfähigkeit auf dem Niveau der standardmäßigen Granite-4.1-Instruct-Modelle über verschiedene Standard-Benchmark-Kategorien hinweg.
- Konvertierungstools: Eine Bibliothek wird bereitgestellt, um bestehende JSON-Strukturen verlustfrei in LLMON zu konvertieren, wobei verschachtelte Strukturen als typisierte, adressierbare Blöcke erhalten bleiben.
- Erweiterbarkeit: Entwickler können benutzerdefinierte Tag-Namen und Strukturen für ihre Domäne definieren und einen LoRA-Adapter auf den LLMON-Modellen feinabstimmen, wie am ScienceWorld-Benchmark demonstriert.
- Visualisierung: Ein LLMON Attention Visualization Tool ist auf Hugging Face Spaces verfügbar, um zu beobachten, wie das Modell strukturierte Blöcke in seinen Attention-Layer verarbeitet.
Warum das wichtig ist
Für Ingenieure, die KI-Agenten und RAG-Systeme bauen, ist die Unfähigkeit, Anweisungen zuverlässig von Daten zu trennen, eine Hauptquelle für Instabilität und Sicherheitsrisiken. Indirekte Prompt-Injections, bei denen bösartige Befehle in abgerufene Dokumente oder Benutzereingaben eingebettet sind, können das Modellverhalten in Standardarchitekturen mit hoher Wahrscheinlichkeit kapern. Durch die Annahme eines Formats, das eine strikte Trennung auf Token-Ebene erzwingt, bietet LLMON eine strukturelle Verteidigung, die die Erfolgsraten von Angriffen auf statischen Benchmarks nahezu auf null reduziert. Dies ermöglicht Entwicklern, robustere Anwendungen zu erstellen, ohne sich ausschließlich auf heuristische Guardrails oder komplexe Prompt-Engineering-Tricks verlassen zu müssen, die oft unter Druck versagen.
Darüber hinaus adressiert die Abkehr von JSON für die interne Kontextdarstellung eine grundlegende Diskrepanz zwischen parserorientierten Datenformaten und probabilistischen Sprachmodellen. JSONs Abhängigkeit vom Zählen von Klammern und dem Escapen von Zeichen ist eine bekannte Schwäche für Transformers, insbesondere bei langen Kontexten. LLMONs Nutzung reservierter Tokens für die Struktur bedeutet, dass das Modell die Hierarchie nicht statistisch ableiten muss, was die kognitive Last reduziert und die Genauigkeit beim Befolgen komplexer, mehrteiliger Anweisungen verbessert. Dieser Wandel könnte zu zuverlässigerem Tool Calling und besserer Einhaltung von Constraints in kleineren, kosteneffektiveren Modellen führen.
Was Sie tun können
- Laden Sie die Modelle granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview von Hugging Face herunter und testen Sie sie für Nicht-Produktions-Evaluationen.
- Nutzen Sie die bereitgestellte LLMON-converters-Bibliothek, um Ihre bestehenden JSON-basierten Pipelines in das LLMON-Format zu übersetzen, ohne strukturelle Informationen zu verlieren.
- Experimentieren Sie mit dem Mellea-Framework, das native LLMON-Unterstützung aktiviert hat, um Ihre LLM-Aufrufe automatisch zu LLMONisieren und die Effekte zu beobachten.
- Erkunden Sie das GitHub-Repository, um auf Beispiel-Notebooks zuzugreifen, einschließlich eines, das die Feinabstimmung eines LoRA-Adapters für benutzerdefinierte Vokabulare unter Verwendung des ScienceWorld-Benchmarks demonstriert.
- Visualisieren Sie die Attention-Mechanismen des Modells mithilfe der LLMON Attention Visualization Demo auf Hugging Face Spaces, um zu verstehen, wie es strukturierte Blöcke verarbeitet.
- Nehmen Sie an den GitHub Discussions teil, um Ihre Erkenntnisse zu teilen, Fehler zu melden und Anwendungsfälle vorzuschlagen, um die zukünftige Entwicklung von LLMON mitzugestalten.



