Construir con IA

La IA destaca en programación, pero tiene dificultades con tareas de investigación que requieren juicio

La evaluación actualizada de METR muestra que los modelos de IA mejoran rápidamente en tareas verificables como la programación, pero se quedan cortos en desafíos de investigación abierta y basados en el juicio.

Una balanza comparando elementos de código estructurados con formas abstractas similares a nubes que representan el juicio.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

La organización sin fines de lucro dedicada a la evaluación de la IA, METR, publicó un informe actualizado el 20 de noviembre de 2026. El documento revela que, si bien los modelos de vanguardia siguen mejorando exponencialmente en tareas verificables, aún presentan deficiencias significativas en áreas que requieren un juicio similar al humano. Esta actualización aborda las interpretaciones erróneas generalizadas sobre sus anteriores gráficos de horizonte temporal, incorporando tareas más complejas y abiertas que reflejan mejor las demandas de la investigación y el desarrollo automatizados.

Qué ocurrió

El último análisis de METR actualiza su famoso gráfico de horizonte temporal, que rastrea el progreso de la IA midiendo la duración de las tareas que los modelos pueden completar en comparación con los humanos. El gráfico original mostraba que cada cuatro meses la capacidad de los modelos de vanguardia se duplicaba en términos de duración de la tarea. Sin embargo, esa versión anterior se centraba principalmente en dominios verificables como la programación y las matemáticas, donde el éxito es binario y fácil de comprobar automáticamente. El nuevo informe amplía este alcance para incluir tareas difíciles de definir y evaluar, como diseñar nuevas evaluaciones de IA o calificar argumentos filosóficos.

Los hallazgos destacan una creciente divergencia en las capacidades. Mientras que los modelos avanzados ahora superan a casi todos los humanos en ingeniería de software, no lograron producir ningún diseño útil de evaluación de IA cuando se les pidió crearlos para la propia investigación de METR. De manera similar, al encargárseles la calificación de argumentos filosóficos, los modelos no igualaron el rendimiento humano. Estos resultados sugieren que las técnicas de aprendizaje por refuerzo que impulsan el éxito en la programación aún no se traducen eficazmente en tareas de investigación abiertas donde los criterios de éxito son difusos o subjetivos.

Esta distinción es crítica dadas las recientes preocupaciones sobre la auto-mejora recursiva en la IA. Un informe separado y fuertemente censurado de METR había sugerido previamente que la IA podría estar acelerando el progreso en Anthropic por un factor de dos, lo que generó temores sobre el diseño autónomo de IA. Al probar los modelos en tareas que requieren mucho juicio, METR busca ofrecer una imagen más clara de si los sistemas de IA pueden realmente automatizar el proceso de investigación o si permanecen limitados a ejecutar instrucciones bien definidas.

Cómo funciona

METR evalúa las capacidades de la IA asignando tareas tanto a los modelos como a probadores humanos. En el marco original, la dificultad se determinaba por el tiempo real que los humanos tardaban en completar tareas específicas. Los modelos eran luego calificados según las tareas más largas que podían finalizar con éxito. Para tareas verificables como la programación, este método es sólido porque las pruebas automatizadas pueden confirmar si el código funciona. El aprendizaje por refuerzo aprovecha esta claridad fortaleciendo las rutas neuronales que conducen a salidas correctas y debilitando aquellas que causan errores.

Para el informe actualizado, METR introdujo tareas difíciles de verificar automáticamente. En lugar de pagar a humanos para completar estas tareas que podrían durar cientos de horas, los investigadores estimaron los tiempos de finalización debido a restricciones de costo y experiencia. Algunas tareas, como el diseño de evaluaciones, fueron calificadas por empleados humanos de METR. Otras, como la calificación de argumentos filosóficos, dependieron del acuerdo con un único evaluador. Este cambio desde la medición empírica del tiempo hacia la estimación experta y la calificación subjetiva introduce nuevas variables, pero permite la evaluación de habilidades cognitivas de alto nivel.

Detalles clave

  • Los modelos de IA de vanguardia duplican su capacidad de finalización de tareas cada cuatro meses para tareas verificables.
  • Ninguna evaluación diseñada por IA fue considerada útil por los empleados de METR, a pesar de que los modelos superan a los humanos en programación.
  • Los modelos quedaron por debajo del rendimiento humano en la calificación de argumentos filosóficos, un indicador sustituto del juicio.
  • Modelos más nuevos como Opus 5.5 lograron un rendimiento "ligeramente por encima del umbral" en el diseño de evaluaciones, subiendo desde "claramente por debajo del umbral" hace un año.
  • La dificultad de las tareas para trabajos abiertos ahora se estima en su mayoría, en lugar de medirse por el tiempo real de finalización humana.
  • Los expertos coinciden en que los métodos actuales de evaluación para tareas que requieren mucho juicio siguen siendo inmaduros y difíciles de cuantificar.

Por qué importa

Para desarrolladores de software y líderes técnicos, este informe aclara los límites actuales de la asistencia de IA. Confirma que, aunque la IA puede manejar problemas complejos de programación y matemáticas con alta fiabilidad, aún no se puede confiar en ella para tomar decisiones estratégicas o definir nuevas direcciones de investigación. Esta distinción es vital para equipos que consideran automatizar partes de su pipeline de I+D. Confiar en la IA para tareas que requieren "gusto investigativo" o juicio subjetivo puede llevar a malos resultados, ya que los modelos carecen de la capacidad para discernir la calidad en espacios indefinidos.

Además, la dificultad para evaluar estas tareas que requieren mucho juicio significa que las métricas de progreso pueden volverse menos fiables. A medida que la IA avanza hacia dominios donde el éxito no es binario, las tendencias exponenciales limpias vistas en los benchmarks de programación pueden no aplicarse. Los ingenieros y fundadores deben tener cuidado al extrapolar las tasas de crecimiento actuales para predecir cuándo la IA automatizará completamente la investigación. La brecha entre la ejecución verificable y la creación abierta sigue siendo un cuello de botella significativo.

Qué puedes hacer

  • Usa la IA para tareas verificables como la generación de código, la depuración y la creación de pruebas unitarias, donde el éxito se mide fácilmente.
  • Evita delegar la planificación estratégica, la generación de hipótesis o la evaluación cualitativa a los modelos de IA actuales.
  • Implementa flujos de trabajo con intervención humana (human-in-the-loop) para cualquier tarea que implique juicio subjetivo o resolución de problemas abiertos.
  • Monitorea los marcos de evaluación emergentes que se centran en el juicio y la creatividad, en lugar de depender únicamente de los benchmarks de programación.
  • Sé escéptico ante las afirmaciones de que la IA puede automatizar completamente la I+D hasta que se establezcan métricas robustas para tareas que requieren mucho juicio.
  • Invierte en capacitar a los equipos para criticar y refinar eficazmente las salidas de la IA en dominios ambiguos.
  • #ai evaluation
  • #machine learning
  • #metr
  • #llm limitations
  • #ai research

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos