Construir con IA

Los modelos Granite 4.1 adoptan LLMON para bloquear inyecciones de prompts

Hugging Face lanza los modelos de vista previa Granite 4.1 3B y 8B, entrenados con LLMON, un lenguaje de marcado que separa las instrucciones de los datos para prevenir inyecciones indirectas de prompts.

Un cubo de cristal con capas etiquetadas organizadas junto a tiras de papel enredadas
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Hugging Face ha lanzado dos modelos experimentales de vista previa, granite-4.1-3b-LLMON-preview y granite-4.1-8b-LLMON-preview, diseñados para gestionar el contexto estructurado de manera más robusta que los grandes modelos de lenguaje tradicionales. Estos modelos, derivados de la base Granite 4.1, están entrenados para consumir y generar LLMON (LLM Object Notation), un nuevo lenguaje de marcado que separa explícitamente las instrucciones de las cargas de datos. El lanzamiento busca abordar la fragilidad en modelos más pequeños y mitigar riesgos de seguridad como la inyección indirecta de prompts, imponiendo límites semánticos claros dentro de la ventana de contexto del modelo.

Qué ocurrió

El problema central abordado por este lanzamiento es la ambigüedad estructural inherente a cómo los LLM procesan el contexto. Los modelos estándar reciben una mezcla de prompts de sistema, historial de conversaciones, documentos recuperados y salidas de herramientas, a menudo codificados en formatos como JSON, diseñados para analizadores sintácticos, no para modelos de lenguaje causales. Para un transformer, los tokens que representan la estructura JSON son estadísticamente similares a los tokens de contenido, lo que dificulta que el modelo distinga entre un comando y los datos, especialmente en contextos largos. Esta ambigüedad conduce a fallos inesperados y hace que los modelos sean vulnerables a ataques donde instrucciones maliciosas se ocultan dentro de los datos proporcionados por el usuario.

Para resolver esto, los desarrolladores crearon LLMON, un lenguaje de marcado nativo para LLM que utiliza delimitadores de tokens especiales reservados para marcar componentes semánticamente coherentes. A diferencia de JSON, donde la estructura se infiere de caracteres como llaves y comillas, LLMON usa etiquetas explícitas envueltas en tokens únicos que no aparecen en el texto normal. Esto permite al modelo identificar claramente qué partes del contexto son instrucciones, cuáles son datos y cuáles son requisitos. Los nuevos modelos de vista previa Granite 4.1 son los primeros entrenados específicamente para entender y generar este formato, aprendiendo a vincular instrucciones a cargas de datos específicas mediante IDs únicos, similar a las llamadas a funciones en programación.

El lanzamiento incluye no solo los modelos, sino también un repositorio de GitHub con un kit de herramientas para trabajar con LLMON, herramientas de conversión para traducir JSON a LLMON sin pérdida y flujos de trabajo de ejemplo. Hugging Face enfatiza que estas son vistas previas experimentales destinadas a la exploración y evaluación, no al despliegue en producción. Invitan a la comunidad a probar los modelos, reportar hallazgos y explorar casos de uso a través de GitHub Discussions, señalando que, aunque los modelos muestran una fuerte resistencia a las inyecciones indirectas estáticas de prompts, el trabajo sobre ataques adaptativos continúa.

Cómo funciona

LLMON opera enriqueciendo las plantillas de chat estándar en lugar de reemplazarlas. Cuando un desarrollador construye una lista de mensajes, puede nombrar partes de un turno como instrucción, dato o requisito, y marcarlas como ejecutables o no ejecutables. La plantilla de chat luego renderiza estos componentes en bloques LLMON usando tokens únicos reservados para delimitadores e IDs de bloque de dos caracteres. Un bloque de ejecución al final de la salida renderizada establece explícitamente qué instrucción ejecutar, sobre qué datos, sujeto a qué requisitos y dónde colocar la salida. Esto asegura que el modelo solo siga instrucciones que estén explícitamente vinculadas a los datos relevantes, ignorando pasajes no relacionados o instrucciones señuelo presentes en el contexto.

El proceso de entrenamiento implicó re-serializar un corpus convencional de ajuste por instrucciones en formato LLMON, asegurando que cada componente del prompt se convirtiera en un bloque direccionable. Los modelos fueron además aumentados con instrucciones señuelo y bloques de datos deliberadamente desvinculados, enseñando al modelo a ignorar cualquier contenido no referenciado en el bloque de ejecución. Este comportamiento fue reforzado a través de cinco etapas de aprendizaje por refuerzo GRPO y una etapa final DPO utilizando pares de preferencia construidos a partir de intentos de inyección. Como resultado, el modelo aprende una regla de privilegios donde solo las instrucciones alcanzadas a través de un bloque de ejecución son autoritativas, mientras que todo lo demás se trata como material de solo lectura.

Detalles clave

  • Modelos lanzados: granite-4.1-3b-LLMON-preview y granite-4.1-8b-LLMON-preview, derivados de los checkpoints base de Granite 4.1.
  • Mejora de seguridad: En el benchmark OPI, los modelos LLMON evitaron un 47% más de ataques que el mejor modelo de frontera probado y un 95% más que el mejor modelo de código abierto.
  • Paridad de rendimiento: Los modelos LLMON mantienen una capacidad general comparable a los modelos estándar Granite 4.1 Instruct en categorías de benchmarks estándar.
  • Herramientas de conversión: Se proporciona una biblioteca para convertir estructuras JSON existentes a LLMON sin pérdida, preservando estructuras anidadas como bloques tipados y direccionables.
  • Extensibilidad: Los desarrolladores pueden definir nombres de etiquetas y estructuras personalizados para su dominio y ajustar finamente un adaptador LoRA sobre los modelos LLMON, como se demostró con el benchmark ScienceWorld.
  • Visualización: Una herramienta de Visualización de Atención LLMON está disponible en Hugging Face Spaces para observar cómo el modelo procesa bloques estructurados en sus capas de atención.

Por qué importa

Para los ingenieros que construyen agentes de IA y sistemas RAG, la incapacidad de separar fiablemente las instrucciones de los datos es una fuente importante de inestabilidad y riesgo de seguridad. Las inyecciones indirectas de prompts, donde comandos maliciosos se incrustan en documentos recuperados o entradas de usuario, pueden secuestrar el comportamiento del modelo con alta probabilidad en arquitecturas estándar. Al adoptar un formato que impone una separación estricta a nivel de token, LLMON ofrece una defensa estructural que reduce las tasas de éxito de ataques a casi cero en benchmarks estáticos. Esto permite a los desarrolladores construir aplicaciones más robustas sin depender únicamente de barreras heurísticas o trucos complejos de ingeniería de prompts que a menudo fallan bajo presión.

Además, el alejamiento de JSON para la representación interna del contexto aborda una discrepancia fundamental entre los formatos de datos orientados a analizadores y los modelos de lenguaje probabilísticos. La dependencia de JSON en contar corchetes y escapar caracteres es una debilidad conocida para los transformers, particularmente en contextos largos. El uso de LLMON de tokens reservados para la estructura significa que el modelo no necesita inferir jerarquías estadísticamente, reduciendo la carga cognitiva y mejorando la precisión al seguir instrucciones complejas y multipartes. Este cambio podría llevar a llamadas de herramientas más fiables y mejor cumplimiento de restricciones en modelos más pequeños y rentables.

Qué puedes hacer

  • Descarga y prueba los modelos granite-4.1-3b-LLMON-preview y granite-4.1-8b-LLMON-preview desde Hugging Face para evaluaciones no productivas.
  • Usa la biblioteca LLMON-converters proporcionada para traducir tus pipelines actuales basados en JSON al formato LLMON sin perder información estructural.
  • Experimenta con el framework Mellea, que tiene soporte nativo para LLMON habilitado, para automatizar la conversión a LLMON de tus llamadas a LLM y observar los efectos.
  • Explora el repositorio de GitHub para acceder a notebooks de ejemplo, incluido uno que demuestra el ajuste fino de un adaptador LoRA para vocabularios personalizados usando el benchmark ScienceWorld.
  • Visualiza los mecanismos de atención del modelo usando la demo de Visualización de Atención LLMON en Hugging Face Spaces para entender cómo procesa bloques estructurados.
  • Únete a las Discusiones de GitHub para compartir tus hallazgos, reportar errores y sugerir casos de uso para ayudar a dar forma al futuro desarrollo de LLMON.
  • #llm security
  • #prompt injection
  • #granite models
  • #llmon
  • #ai architecture

Herramientas de la Tienda de Bytechap

$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos