LLM-Novelty-Judges scheitern an KI-generierten Forschungsideen

Hugging Face und Ai2 haben eine neue Studie mit dem Titel "Old Ideas, Novel Problems" veröffentlicht, die untersucht, wie zuverlässig große Sprachmodelle die Neuheit wissenschaftlicher Forschungsideen beurteilen können. Die im späten Oktober 2026 veröffentlichte Arbeit zeigt, dass aktuelle KI-Systeme oft nicht in der Lage sind, wirklich neue Konzepte von aufbereiteten bestehenden Arbeiten zu unterscheiden, insbesondere wenn es um die Bewertung von Ideen geht, die von anderen KI-Modellen generiert wurden.

Was passiert ist

Das Forschungsteam entwickelte einen Benchmark, um sechs führende LLMs zu testen, darunter GPT-5.1 bis GPT-5.4 sowie Claude Sonnet 4.5 bis Claude Opus 4.6. Sie stellten fest, dass scheinbar kleine Anpassungen der Bewertungs-Prompts Genauigkeitsschwankungen von mehr als 50 Prozentpunkten verursachen konnten. In einem spezifischen Test mit GPT-5.4 führte die Änderung weniger Wörter in der Anweisung dazu, dass die Fähigkeit des Modells, die neuere Idee in einem Paar zu identifizieren, von 93,5 % auf 40,9 % fiel – was unter dem Zufallswert liegt.

Die Studie hebt eine kritische Lücke in automatisierten Tools für die wissenschaftliche Entdeckung hervor. Während Systeme wie AutoDiscovery und Theorizer Hypothesen generieren können, verlassen sie sich auf Novelty-Judges (Neuheits-Bewerter), um inkrementelle oder doppelte Arbeiten herauszufiltern. Die Ergebnisse zeigen, dass diese Bewerter hochgradig instabil sind. Ein Prompt, der für ein Modell gut funktioniert, kann die Leistung eines anderen verschlechtern, und das Hinzufügen weiterer Reasoning-Schritte oder Retrieval-Funktionen verbessert die Genauigkeit nicht konsistent. In einigen Fällen schnitten teure, speziell entwickelte Bewertungssysteme schlechter ab als einfache Prompt-Baselines.

Um den Benchmark zu erstellen, analysierten die Forscher Peer Reviews von ICLR 2026. Sie identifizierten 154 akzeptierte Papers, in denen Reviewer die Neuheit explizit lobten, und 145 abgelehnte Papers, in denen Reviewer die Originalität infrage stellten. Dies ergab einen Human-Only-Datensatz mit starken Belegen für das Neuheitsniveau. Anschließend erstellten sie einen Human+Generated-Datensatz, indem sie diese menschlichen Ideen mit Ideen paarten, die von einem einfachen LLM-Generator produziert wurden. Dieses Setup ermöglichte es ihnen zu testen, wie die Bewerter bei KI-generierten Inhalten abschneiden, die sie zunehmend bewerten sollen.

Wie es funktioniert

Die Evaluations-Pipeline testet Novelty-Judges in zwei Modi: Pointwise, bei dem das Modell die absolute Neuheit einer einzelnen Idee bewertet, und Pairwise, bei dem es zwei Ideen vergleicht, um zu bestimmen, welche neuer ist. Die Forscher variierten mehrere Faktoren unabhängig voneinander, einschließlich des Prompt-Textes, des dem Modell zugewiesenen Reasoning-Budgets, ob der Judge auf verwandte Literatur zugreifen konnte, und die Formatierung der Eingabeideen.

Ein zentraler Befund ist, dass Novelty-Judges bei KI-generiertem Text fragil sind. Als der Prompt dem Modell explizit mitteilte, dass eine Idee in einem Paar neu sei, schnitt GPT-5.4 gut ab. Als der Prompt jedoch einfach fragte, welche Idee neu war, ohne diesen Hinweis, brach die Leistung zusammen. Dies deutet darauf hin, dass Modelle möglicherweise stark auf kontextuelle Hinweise angewiesen sind, statt auf ein tiefgreifendes semantisches Verständnis der wissenschaftlichen Originalität. Die Studie fand auch heraus, dass das Umschreiben von Ideen in eine gemeinsame Struktur diese Inkonsistenzen nicht beseitigte, was darauf hindeutet, dass das Problem nicht nur auf Unterschiede im Schreibstil zurückzuführen ist.

Die Forscher verglichen zudem einfaches Prompting mit agentischen Workflows. Sie testeten GPT-5.6 Sol mit einem extra-hohen Reasoning-Budget und live iterativer Suche gegen Standard-Retrieval-Setups. Trotz ungefähr zehnmal höherer Kosten pro Entscheidung erreichte der agentische Judge einen Macro-F1-Score von 0,78 und lag damit hinter einer einfachen Claude Opus 4.6 Baseline, die 0,89 erzielte. Dies zeigt, dass erhöhter Rechenaufwand und Suchkomplexität nicht automatisch zu besserer Erkennung von Neuheiten führen.

Wichtige Details

• Die Studie evaluiert sechs Modelle: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6.
• Prompt-Änderungen führten bei GPT-5.4 zu Genauigkeitsverlusten von über 50 Prozentpunkten bei KI-generierten Ideen.
• Der Human-Only-Datensatz enthält 154 Ideen mit hoher Neuheit und 145 Ideen mit geringerer Neuheit, die von Menschen verfasst wurden und aus ICLR 2026 Reviews stammen.
• Speziell entwickelte Bewerter wie Idea Novelty Checker kosten $30,66 pro Entscheidung, erzielten aber nur einen Macro-F1-Score von 0,642.
• Ein einfacher Claude Opus 4.6 Prompt kostete $2,59 und erreichte einen höheren Macro-F1-Score von 0,854.
• Ein Experte stimmte in 47 von 50 geprüften Fällen mit der Polarität des Review-Minings überein.

Warum das wichtig ist

Für Engineering-Teams, die RAG-Systeme oder automatisierte Forschungsassistenten entwickeln, dient diese Studie als Warnung davor, LLM-Urteile über Originalität ohne rigorose Validierung zu vertrauen. Wenn Ihr System ein LLM verwendet, um generierte Inhalte zu filtern oder zu ranken, kann die Ausgabe hochsensibel auf die Formulierung des Prompts reagieren, statt auf die tatsächliche Qualität des Inhalts. Diese Instabilität kann zur Ablehnung gültiger Ideen oder zur Förderung abgeleiteter Arbeiten führen und den Wert der Automatisierung untergraben.

Die Erkenntnisse stellen zudem die Annahme infrage, dass fortgeschrittenere agentische Workflows Bewertungsprobleme lösen. Deutlich höhere Ausgaben für API-Aufrufe für iterative Suche und Reasoning können schlechtere Ergebnisse liefern als ein sorgfältig abgestimmter, einfacherer Prompt. Dies hat direkte Auswirkungen auf die Kostenoptimierung und die Systemarchitektur. Entwickler sollten robustes Benchmarking auf KI-generierten Daten priorisieren, anstatt sich auf Leistungsmetriken zu verlassen, die aus menschengeschriebenen Texten abgeleitet werden.

Was Sie tun können

• Testen Sie Ihre Novelty-Judges auf KI-generierten Ideen, nicht nur auf menschengeschriebenen Stichproben, um Instabilitäten aufzudecken.
• Messen Sie die Sensitivität, indem Sie die Prompt-Formulierung leicht variieren und Änderungen in den Urteilen beobachten.
• Gehen Sie nicht davon aus, dass höhere Reasoning-Budgets oder Retrieval-Schritte die Genauigkeit der Neuheitserkennung verbessern.
• Verwenden Sie Pairwise-Vergleiche mit Vorsicht, da Urteile aufgrund kleiner Prompt-Anpassungen kippen können.
• Erwägen Sie die Nutzung einfacher, kostengünstiger Prompt-Baselines, bevor Sie in komplexe agentische Evaluation-Pipelines investieren.
• Nutzen Sie den bereitgestellten Benchmark und die Pipeline, um neue Modelle zu evaluieren, sobald sie verfügbar sind.