Construir con IA

Por qué los benchmarks públicos de IA están fallando a los desarrolladores y qué medir en su lugar

Las evaluaciones públicas de IA sufren de errores en los correctores y métricas engañosas. Los desarrolladores deberían priorizar la fiabilidad y los costes de revisión humana sobre las tasas medias de éxito.

Un trofeo de cristal agrietado etiquetado como 'benchmark' sobre un escritorio con papeles de código y una lupa.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

A medida que los modelos de inteligencia artificial se lanzan a un ritmo acelerado, las puntuaciones de evaluación se han convertido en la señal principal para evaluar nuevas capacidades. Sin embargo, un análisis reciente de doce benchmarks públicos revela que estas puntuaciones a menudo distorsionan el rendimiento real debido a mecanismos de corrección defectuosos y diseños de tareas estrechos.

Qué ha ocurrido

Una revisión exhaustiva de doce suites de evaluación públicas, que abarcan programación, ciencia, trabajo del conocimiento y uso de ordenadores, encontró fallos significativos en cómo se mide el rendimiento de los modelos. En ocho de las doce evaluaciones estudiadas, se evidenció que los correctores automáticos rechazaban trabajos que deberían haber pasado. Incluso cuando los correctores funcionan correctamente, muchos benchmarks priorizan tareas fáciles de verificar en lugar de aquellas que reflejan valor en el mundo real, como la fiabilidad, la velocidad de trabajo y la colaboración multi-turno.

El estudio examinó cuatro benchmarks de programación y ciencia, seis evaluaciones de trabajo del conocimiento y dos centrados en navegación y uso de ordenadores. Destacó que el mantenimiento de los benchmarks se ha vuelto similar al desarrollo de software, con versiones publicadas y cambios que rompen la compatibilidad. Por ejemplo, Agents’ Last Exam v1.1 retiró treinta tareas y revisó otras cincuenta y siete, mientras que el conjunto público de Harvey LAB creció de aproximadamente 1.250 a 2.010 tareas desde mayo de 2026. Estos cambios dificultan la comparación de puntuaciones entre diferentes versiones, como se observa con Terminal Bench, que elimina tareas saturadas en cada lanzamiento.

Cómo funciona

La mayoría de las tareas de evaluación consisten en cuatro componentes: una instrucción (prompt), un entorno como un contenedor o máquina virtual, un corrector y, opcionalmente, una solución de referencia. El corrector decide si el trabajo pasa, utilizando pruebas de código deterministas, un juez LLM con rúbricas binarias o una combinación de ambos. Los principios de diseño favorecen cada vez más las comprobaciones deterministas sobre los jueces LLM por su reproducibilidad, así como la corrección basada en resultados que ignora los pasos intermedios. Muchos benchmarks utilizan la puntuación "todo-o-nada" (all-pass), donde una tarea solo pasa si se cumple cada criterio, reflejando la realidad de que el trabajo parcial suele ser inservible en producción.

Sin embargo, esta estructura introduce modos de fallo específicos. Los modelos a menudo omiten pasos de verificación o se detienen prematuramente, lo que lleva a errores no forzados. Más críticamente, los correctores suelen producir falsos negativos al imponer requisitos no declarados o utilizar claves de respuesta ambiguas. Por el contrario, los falsos positivos ocurren cuando las aserciones verifican la presencia de palabras clave en lugar de la corrección, permitiendo que pasen salidas alucinadas o incorrectas. Por ejemplo, algunas comprobaciones solo verifican que un correo electrónico contiene números específicos, independientemente de si están asignados a las categorías correctas.

Detalles clave

  • En ocho de doce evaluaciones públicas, los auditores encontraron evidencia de correctores que rechazaban trabajos válidos.
  • La puntuación "todo-o-nada" es común porque los resultados parciales rara vez son útiles, pero hace que los benchmarks sean frágiles ante una sola aserción defectuosa.
  • Los falsos positivos son prevalentes; una auditoría encontró alucinaciones sustanciales en más del 60% de los resultados que pasaron todos los criterios.
  • La tasa media de éxito oculta problemas de fiabilidad; un modelo que resuelve el 70% de las tareas de forma consistente es más valioso que uno que resuelve todas las tareas el 70% del tiempo.
  • El coste por tarea es una métrica engañosa porque ignora la atención humana necesaria para revisar y corregir salidas fallidas o incompletas.
  • Las puntuaciones de los benchmarks reflejan el par modelo-harness, no solo el modelo, lo que significa que el rendimiento varía significativamente según las herramientas circundantes y los prompts utilizados.

Por qué importa

Para ingenieros de software y líderes técnicos, confiar en las puntuaciones de los rankings públicos puede llevar a malas decisiones arquitectónicas. La brecha entre el rendimiento en benchmarks y la utilidad en producción se está ampliando porque las evaluaciones a menudo miden el seguimiento de instrucciones y detalles de implementación en lugar de juicio y definición del problema. El trabajo en el mundo real implica interacciones multi-turno, aclaración de requisitos ambiguos y adaptación a restricciones cambiantes, sin embargo, la mayoría de los benchmarks siguen siendo de disparo único (single-shot). Esta discrepancia significa que los modelos que sobresalen en las evaluaciones pueden tener dificultades con la naturaleza colaborativa e iterativa de las tareas reales de ingeniería.

Además, el enfoque en el coste de tokens en lugar del coste de atención humana distorsiona los cálculos económicos. Un modelo más barato que falla frecuentemente o requiere una extensa revisión humana acaba siendo más caro que un modelo más costoso que ofrece trabajo fiable y completo. A medida que los modelos mejoran, los errores de los correctores representan una mayor proporción de los fallos restantes, haciendo esencial invertir en mejor infraestructura de corrección en lugar de simplemente en tareas más difíciles. Los desarrolladores deben reconocer que una puntuación de benchmark no es una verdad absoluta, sino una métrica dependiente del contexto influenciada por el harness específico y la lógica de corrección utilizada.

Qué puedes hacer

  • Evalúa los modelos dentro de tu propio harness de producción en lugar de depender únicamente de las puntuaciones reportadas por los proveedores.
  • Mide la fiabilidad utilizando métricas pass@k, contando una tarea como resuelta solo si el agente pasa múltiples intentos de forma consistente.
  • Incluye el tiempo de revisión humana en los cálculos de costes, reconociendo que los tokens baratos a menudo conducen a una sobrecarga de ingeniería costosa.
  • Audita tus propias tuberías de evaluación buscando falsos negativos mediante la comprobación de tareas donde múltiples modelos fallan la misma aserción.
  • Prioriza benchmarks que prueben interacciones multi-turno y juicio, o complementa las evaluaciones de disparo único con conversaciones simuladas con usuarios.
  • Implementa pruebas negativas en tu lógica de corrección para asegurar que las salidas conocidas como malas sean correctamente rechazadas por tus evaluadores.
  • #ai evaluation
  • #benchmarks
  • #llm testing
  • #software engineering
  • #reliability

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos