Los jueces de novedad de los LLM fracasan con ideas de investigación generadas por IA

Hugging Face y Ai2 han publicado un nuevo estudio titulado Old Ideas, Novel Problems, que examina qué tan fiablemente pueden los grandes modelos de lenguaje juzgar la novedad de las ideas de investigación científica. Publicado a finales de octubre de 2026, el trabajo revela que los sistemas de IA actuales a menudo no logran distinguir conceptos genuinamente nuevos del reciclaje de trabajos existentes, especialmente al evaluar ideas generadas por otros modelos de IA.

Qué ocurrió

El equipo de investigación desarrolló un benchmark para probar seis LLM líderes, incluyendo GPT-5.1 hasta GPT-5.4 y Claude Sonnet 4.5 hasta Claude Opus 4.6. Descubrieron que ajustes aparentemente pequeños en los prompts de evaluación podían causar variaciones de precisión de más de 50 puntos porcentuales. En una prueba específica que involucraba a GPT-5.4, cambiar unas pocas palabras en la instrucción hizo que la capacidad del modelo para identificar la idea más novedosa en un par cayera del 93,5% al 40,9%, lo cual está por debajo del azar aleatorio.

El estudio destaca una brecha crítica en las herramientas automatizadas de descubrimiento científico. Mientras que sistemas como AutoDiscovery y Theorizer pueden generar hipótesis, dependen de jueces de novedad para filtrar trabajos incrementales o duplicados. Los resultados muestran que estos jueces son altamente inestables. Un prompt que funciona bien para un modelo puede degradar el rendimiento en otro, y añadir más pasos de razonamiento o capacidades de recuperación no mejora consistentemente la precisión. En algunos casos, costosos sistemas de evaluación diseñados específicamente funcionaron peor que simples líneas base basadas en prompts.

Para crear el benchmark, los investigadores extrajeron datos de revisiones por pares de ICLR 2026. Identificaron 154 papers aceptados donde los revisores elogiaban explícitamente la novedad y 145 papers rechazados donde los revisores cuestionaban la originalidad. Esto creó un conjunto de datos Human-Only con fuerte evidencia de niveles de novedad. Luego crearon un conjunto de datos Human+Generated emparejando estas ideas humanas con ideas producidas por un generador básico de LLM. Esta configuración les permitió probar cómo se desempeñan los jueces con contenido generado por IA, que cada vez más se espera que evalúen.

Cómo funciona

La pipeline de evaluación prueba los jueces de novedad en dos modos: pointwise, donde el modelo califica la novedad absoluta de una sola idea, y pairwise, donde compara dos ideas para determinar cuál es más novedosa. Los investigadores variaron varios factores de forma independiente, incluyendo el texto del prompt, el presupuesto de razonamiento asignado al modelo, si el juez podía acceder a literatura relacionada y el formato de las ideas de entrada.

Un hallazgo clave es que los jueces de novedad son frágiles cuando enfrentan texto generado por IA. Cuando el prompt indicaba explícitamente al modelo que una idea del par era novedosa, GPT-5.4 tuvo un buen desempeño. Sin embargo, cuando el prompt simplemente preguntaba qué idea era novedosa sin esa pista, el rendimiento colapsó. Esto sugiere que los modelos pueden depender fuertemente de pistas contextuales en lugar de una comprensión semántica profunda de la originalidad científica. El estudio también encontró que reescribir las ideas en una estructura común no eliminaba estas inconsistencias, indicando que el problema no es solo sobre diferencias de estilo de escritura.

Los investigadores también compararon el prompting simple contra flujos de trabajo agénticos. Probaron GPT-5.6 Sol con un presupuesto de razonamiento extra-alto y búsqueda iterativa en vivo frente a configuraciones estándar de recuperación. A pesar de costar aproximadamente diez veces más por decisión, el juez agéntico logró una puntuación macro-F1 de 0,78, quedando detrás de una línea base simple de Claude Opus 4.6 que obtuvo 0,89. Esto demuestra que el aumento en cómputo y complejidad de búsqueda no se traduce automáticamente en una mejor detección de novedad.

Detalles clave

• El estudio evalúa seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6.
• Los cambios en el prompt causaron caídas de precisión de más de 50 puntos porcentuales para GPT-5.4 en ideas generadas por IA.
• El conjunto de datos Human-Only contiene 154 ideas humanas de alta novedad y 145 ideas humanas de menor novedad derivadas de las revisiones de ICLR 2026.
• Evaluadores diseñados específicamente como Idea Novelty Checker cuestan $30,66 por decisión pero obtuvieron solo una puntuación macro-F1 de 0,642.
• Un prompt simple de Claude Opus 4.6 costó $2,59 y logró una puntuación macro-F1 más alta de 0,854.
• Un anotador experto estuvo de acuerdo con la polaridad obtenida mediante minería de revisiones en 47 de los 50 casos verificados.

Por qué importa

Para equipos de ingeniería que construyen sistemas RAG o asistentes de investigación automatizados, este estudio sirve como advertencia contra confiar en los juicios de originalidad de los LLM sin una validación rigurosa. Si tu sistema usa un LLM para filtrar o clasificar contenido generado, la salida puede ser altamente sensible a la redacción del prompt en lugar de a la calidad real del contenido. Esta inestabilidad puede llevar al rechazo de ideas válidas o a la promoción de trabajos derivados, socavando el valor de la automatización.

Los hallazgos también desafían la suposición de que los flujos de trabajo agénticos más avanzados resuelven los problemas de evaluación. Gastar significativamente más en llamadas API para búsqueda e razonamiento iterativos puede producir peores resultados que un prompt más simple cuidadosamente ajustado. Esto tiene implicaciones directas para la optimización de costos y la arquitectura del sistema. Los desarrolladores deberían priorizar benchmarks robustos sobre datos generados por IA en lugar de depender de métricas de rendimiento derivadas de textos escritos por humanos.

Qué puedes hacer

• Prueba tus jueces de novedad con ideas generadas por IA, no solo con muestras escritas por humanos, para exponer la inestabilidad.
• Mide la sensibilidad variando ligeramente la redacción del prompt y observando los cambios en los veredictos.
• Evita asumir que presupuestos de razonamiento más altos o pasos de recuperación mejorarán la precisión de la detección de novedad.
• Usa comparaciones pairwise con precaución, ya que los veredictos pueden invertirse basándose en ajustes menores del prompt.
• Considera usar líneas base simples y de bajo costo basadas en prompts antes de invertir en pipelines complejos de evaluación agéntica.
• Adopta el benchmark y la pipeline proporcionados para evaluar nuevos modelos a medida que estén disponibles.