Uso de modelos de decisión para la evaluación escalable de agentes en AWS Bedrock

Amazon Web Services ha ampliado su capacidad Amazon Bedrock AgentCore Evaluations para admitir evaluadores personalizados impulsados por modelos de decisión. Lanzada en noviembre de 2026, esta actualización permite a los desarrolladores integrar modelos especializados como TypeSafe’s Jev y el modelo de código abierto Strands Decider 2B directamente en sus pipelines de evaluación de agentes. Este enfoque ofrece una alternativa estructurada a los jueces de grandes modelos de lenguaje (LLM) de propósito general para tareas de validación específicas y repetibles.

Qué sucedió

AgentCore Evaluations está diseñado para puntuar agentes de IA a lo largo de todo su ciclo de vida, desde el desarrollo hasta el tráfico de producción. Aunque el servicio ya incluye 15 evaluadores integrados que usan grandes modelos de lenguaje (LLM) para evaluar respuestas contra rúbricas, ahora admite evaluadores personalizados definidos como LLM-as-a-judge o lógica basada en código. El nuevo foco está en los evaluadores basados en código que pueden llamar a sistemas externos, incluidos modelos de decisión, mediante funciones de AWS Lambda.

Los modelos de decisión difieren de los LLM estándar al devolver probabilidades calibradas sobre un conjunto fijo de respuestas en lugar de generar texto libre. Esto los hace ideales para preguntas estrechas donde una persona informada podría emitir un juicio rápido, como verificar si una respuesta se mantiene en el tema o si una llamada a una herramienta es segura. Al integrar estos modelos, los desarrolladores pueden crear una capa de filtrado que marca problemas de manera eficiente antes de escalar casos complejos a evaluadores LLM más costosos y explicativos.

El anuncio destaca dos backends específicos para esta integración: Jev, un servicio alojado de TypeSafe, y Strands Decider 2B, un modelo de código abierto del equipo de Strands Agents. Ambos admiten tres tipos de preguntas: binarias sí/no (noul), de opción múltiple (choice) y de niveles ordenados (score). Esta estructura permite umbrales programáticos precisos que son difíciles de lograr con la salida variable de los modelos generativos.

Cómo funciona

La integración depende de las funciones de AWS Lambda que actúan como puente entre AgentCore Evaluations y el modelo de decisión. Cuando se activa una evaluación, la función Lambda recibe spans de OpenTelemetry que contienen los datos de interacción del agente. Un módulo de normalización formatea estos datos en una solicitud adecuada para el modelo de decisión, enviando solo el historial de turnos relevante para comprobaciones a nivel de traza o la sesión completa para evaluaciones más amplias.

Una vez que el modelo de decisión procesa la entrada, devuelve una distribución de probabilidad. El adaptador Lambda convierte esta distribución en un formato que AgentCore espera. Para preguntas binarias, la probabilidad de "true" se convierte en el valor. Para preguntas puntuadas, el sistema calcula un nivel esperado ponderado por probabilidad, escalado entre cero y uno. Este resultado se registra luego como un evaluador basado en código dentro del plano de control de AgentCore, permitiendo que se ejecute junto con métricas integradas como corrección y utilidad.

Los desarrolladores pueden implementar esta configuración utilizando scripts Python proporcionados que gestionan la creación de roles, el empaquetado de Lambda y el registro de evaluadores. El sistema admite tanto evaluaciones batch bajo demanda contra sesiones almacenadas como evaluación continua online del tráfico en vivo. Las banderas en el script de despliegue permiten a los usuarios optar por backends de Jev o Strands Decider, con opciones para aprovisionar automáticamente las instancias EC2 necesarias para modelos autoalojados.

Detalles clave

• Los modelos de decisión devuelven probabilidades calibradas sobre opciones fijas, a diferencia de los LLM que generan texto libre y justificaciones.
• Los dos backends admitidos son Jev (alojado por TypeSafe) y Strands Decider 2B (código abierto, autoalojado).
• Se admiten tres tipos de preguntas: noul (sí/no), choice (hasta 255 opciones) y score (2-10 niveles ordenados).
• Los evaluadores basados en código se ejecutan en AWS Lambda, recibiendo spans de OpenTelemetry y devolviendo resultados estructurados a AgentCore.
• El "patrón de cascada" recomienda usar modelos de decisión para un filtrado barato y rápido, escalando solo los turnos de baja confianza a evaluadores LLM.
• La validación requiere comparar las salidas del modelo de decisión con muestras etiquetadas por humanos para verificar tasas de acuerdo y calibración.

Por qué importa

Para los ingenieros que construyen agentes de IA en producción, el costo y la consistencia son preocupaciones mayores. Los evaluadores LLM de propósito general ofrecen explicaciones ricas pero son costosos y pueden sufrir deriva de confianza. Los modelos de decisión ofrecen una forma de aplicar rúbricas específicas de manera consistente sin la variabilidad del texto generativo. Al usarlos como primer paso, los equipos pueden reducir el volumen de interacciones enviadas a modelos más grandes, disminuyendo los costos operativos mientras mantienen una alta cobertura.

Este enfoque también mejora la fiabilidad de las pruebas automatizadas. Dado que los modelos de decisión producen probabilidades numéricas, los desarrolladores pueden establecer umbrales precisos para aprobar o suspender criterios específicos. Esto es crucial en dominios con fuertes requisitos de cumplimiento como RRHH o finanzas, donde las políticas deben aplicarse uniformemente. La capacidad de umbralizar y agregar estas puntuaciones programáticamente permite sistemas de monitoreo y alertas más robustos.

Además, la separación de tareas de "lectura" versus "derivación" clarifica la estrategia de evaluación. Las comprobaciones estrechas de fundamentación o completitud de objetivos pueden ser manejadas por modelos de decisión, mientras que las tareas de razonamiento complejo permanecen con jueces LLM. Esta arquitectura híbrida aprovecha las fortalezas de ambas tecnologías, asegurando que el poder investigativo profundo se reserve para casos donde las comprobaciones binarias simples son insuficientes.

Qué puedes hacer

• Identificar preguntas de evaluación estrechas y repetibles en tu flujo de trabajo de agentes, como adherencia a políticas o fundamentación de hechos.
• Construir una muestra etiquetada del tráfico de tu agente con referencias humanas para validar cualquier nuevo evaluador de modelo de decisión.
• Desplegar los scripts Python proporcionados para configurar evaluadores basados en Lambda para Jev o Strands Decider en tu cuenta de AWS.
• Implementar el patrón de cascada estableciendo umbrales de confianza que activen una evaluación LLM más profunda solo cuando sea necesario.
• Monitorear la calibración agrupando turnos por probabilidad reportada y comparándolos con tasas de acuerdo humano.
• Volver a ejecutar comprobaciones de validación cada vez que actualices la versión del modelo de decisión o reformules las preguntas de evaluación.