ProvenanceGuard verifica la atribución de fuentes en agentes MCP

Los investigadores han presentado ProvenanceGuard, un método de verificación diseñado para garantizar que los agentes de IA atribuyan los hechos a las fuentes de datos correctas. Publicado el 29 de septiembre de 2026 por Hugging Face, este enfoque aborda errores donde declaraciones verdaderas se vinculan a la salida incorrecta de una herramienta en sistemas del Protocolo de Contexto de Modelo (MCP).

Qué ocurrió

Los agentes de IA modernos suelen utilizar el Protocolo de Contexto de Modelo para acceder simultáneamente a múltiples herramientas. Un agente podría consultar una base de datos, buscar en un repositorio de documentos e inspeccionar registros estructurados antes de generar una única respuesta. Si bien los métodos de evaluación existentes verifican si una afirmación está respaldada por cualquier evidencia disponible, a menudo fallan al verificar si la afirmación está respaldada por la fuente específica que cita el agente. Esto conduce a un modo de fallo conocido como confusión entre fuentes, donde un hecho es verdadero pero se atribuye al origen equivocado.

ProvenanceGuard actúa como una capa de verificación post-generación que se superpone a un agente MCP sin requerir reentrenamiento. Analiza la trazabilidad capturada de las salidas de herramientas y los ID de fuentes para determinar si cada afirmación en la respuesta coincide con su fuente declarada o implícita. El sistema descompone las respuestas en afirmaciones individuales, dirige cada afirmación a la fuente más relevante y verifica el soporte utilizando modelos de inferencia de lenguaje natural. Si se detecta una discrepancia, el sistema puede bloquear la respuesta o activar un proceso de reparación.

Los investigadores probaron este método en un agente médico que accedía a registros de pacientes y artículos de investigación. En un estudio que involucró 281 trazas reales, expertos humanos evaluaron 361 afirmaciones de un conjunto de prueba reservado. ProvenanceGuard identificó 138 de las 139 afirmaciones que debían haber sido rechazadas debido a una atribución incorrecta o falta de soporte. Logró una puntuación F1 de rechazo/bloqueo de 0,802, superando a las líneas base ciegas a la fuente como MiniCheck y RAGAS Faithfulness, mientras proporcionaba veredictos de fuente por afirmación.

Cómo funciona

ProvenanceGuard preserva la identidad de la fuente a lo largo de todo el pipeline de verificación en lugar de agrupar toda la evidencia en un único contexto. Cuando un agente produce una respuesta, el sistema la desglosa en afirmaciones específicas. Luego utiliza modelos de embeddings, como MiniLM, para encontrar la fuente más relevante para cada afirmación. Un modelo de inferencia de lenguaje natural DeBERTa verifica si esa fuente específica realmente soporta la afirmación. Finalmente, el sistema compara la fuente de soporte con la nombrada o implicada en el texto de la respuesta.

El proceso de verificación incluye un paso de decisión calibrado que combina estas señales para permitir o bloquear la respuesta. Si una respuesta es bloqueada, un bucle de reparación similar a RARR puede intentar una revisión basada en la fuente o proporcionar una alternativa segura. En la configuración local reportada, este proceso añade aproximadamente medio segundo de sobrecarga por respuesta. El sistema depende de modelos locales para un procesamiento offline controlado, aunque la arquitectura puede adaptarse para servicios basados en la nube.

Detalles clave

• ProvenanceGuard detecta la confusión entre fuentes, donde un hecho verdadero se atribuye a la salida de la herramienta equivocada.
• El sistema logró una puntuación F1 de 0,802 para bloquear afirmaciones incorrectas, superando a los verificadores ciegos a la fuente.
• Identificó correctamente la fuente adecuada para las afirmaciones aproximadamente el 86% de las veces en pruebas con fuentes distintas.
• La capa de verificación añade unos 500 milisegundos de latencia por respuesta en la configuración local probada.
• En una prueba controlada con 50 atribuciones de fuente intercambiadas, el método detectó los 50 errores.
• El enfoque funciona con agentes MCP existentes analizando trazas sin requerir reentrenamiento del modelo.

Por qué importa

Para los desarrolladores que construyen sistemas fiables de IA documental, asegurar la exactitud factual no es suficiente si la procedencia es errónea. En campos sensibles como la salud o las finanzas, citar un documento de política general en lugar de un registro específico de paciente puede llevar a graves problemas de cumplimiento o riesgos de seguridad. La verificación consciente de la fuente proporciona la granularidad necesaria para confiar en agentes automatizados en entornos de alto riesgo. Transforma la factibilidad de una comprobación binaria a un rastro de auditoría detallado que vincula cada afirmación con su origen.

Este método también mejora la depuración y el mantenimiento de los flujos de trabajo agénticos. Al exponer qué salida de herramienta soporta cada afirmación, los ingenieros pueden identificar puntos débiles en sus pipelines de recuperación. Permite a los equipos distinguir entre un agente que carece de información y uno que mal-atribuye la información. Esta distinción es crítica para refinar estrategias de prompts y seleccionar las herramientas apropiadas para tareas específicas.

Qué puedes hacer

• Implementa el seguimiento de ID de fuente en las salidas de tus herramientas MCP para habilitar la verificación posterior.
• Evalúa tu sistema actual de RAG o agente para detectar confusión entre fuentes utilizando conjuntos de prueba reservados.
• Considera añadir un paso de verificación post-generación que compruebe la alineación entre afirmación y fuente.
• Usa modelos NLI locales para el prototipado inicial de la verificación consciente de la fuente antes de escalar a servicios en la nube.
• Diseña los prompts de tu agente para que declaren explícitamente la fuente de cada afirmación, facilitando la comprobación automatizada.
• Prueba tu sistema con atribuciones de fuente intercambiadas para medir su sensibilidad a los errores de procedencia.