AI生成の研究アイデアに対するLLMの新規性判定は失敗する

Hugging FaceとAi2は、「Old Ideas, Novel Problems」というタイトルの新しい研究を発表し、大規模言語モデルが科学研究アイデアの新規性をどの程度信頼できる形で判断できるかを検証しました。2026年10月下旬に公開されたこの研究では、現在のAIシステムは、特に他のAIモデルによって生成されたアイデアを評価する場合、真に新しい概念と既存の研究の再パッケージ化を見分けることにしばしば失敗することが明らかになりました。

何が起きたか

研究チームは、GPT-5.1からGPT-5.4、およびClaude Sonnet 4.5からClaude Opus 4.6までの主要な6つのLLMをテストするためのベンチマークを開発しました。その結果、評価プロンプトへの一見些細な調整でも、精度が50パーセントポイント以上変動することが判明しました。ある特定のGPT-5.4を用いたテストでは、指示文内の数語を変更しただけで、ペアの中でより新規性の高いアイデアを識別する能力が93.5%から40.9%（ランダム推測以下）まで低下しました。

この研究は、自動科学発見ツールにおける重要なギャップを浮き彫りにしています。AutoDiscoveryやTheorizerのようなシステムは仮説を生成できますが、増分的または重複した作業をフィルタリングするために新規性判定器（novelty judges）に依存しています。結果は、これらの判定器が非常に不安定であることを示しています。あるモデルに対してうまく機能するプロンプトが、別のモデルでは性能を低下させる場合があり、推論ステップや検索機能を追加しても精度が一貫して向上するわけではありません。場合によっては、高コストで専用設計された評価システムが、単純なプロンプトベースラインよりも悪い性能を示すこともあります。

ベンチマークを作成するため、研究者たちはICLR 2026の査読レポートを収集・分析しました。彼らは、査読者が新規性を明確に称賛した採択論文154件と、独創性に疑問を呈した不採択論文145件を特定しました。これにより、新規性レベルに関する強力な証拠を持つ「Human-Only」データセットが作成されました。次に、これらの人間のアイデアと基本的なLLMジェネレーターによって生成されたアイデアをペアにすることで、「Human+Generated」データセットを作成しました。この設定により、判定器が増加しているAI生成コンテンツに対してどのように機能するかをテストすることが可能になりました。

仕組み

評価パイプラインは、2つのモードで新規性判定器をテストします。単一のアイデアの絶対的な新規性をモデルが評価する「pointwise（単一評価）」モードと、2つのアイデアを比較してどちらがより新規性が高いかを決定する「pairwise（ペア比較）」モードです。研究者たちは、プロンプトテキスト、モデルに割り当てられる推論予算、判定器が関連文献にアクセスできるかどうか、入力アイデアのフォーマットなど、複数の要因を独立して変化させました。

重要な発見の一つは、新規性判定器がAI生成テキストに直面すると脆くなることです。プロンプトでペア内の一方のアイデアが新規であるとモデルに明示的に伝えた場合、GPT-5.4は良好な性能を示しました。しかし、そのようなヒントなしに単にどちらのアイデアが新規かを尋ねた場合、性能は崩壊しました。これは、モデルが科学的独創性に関する深い意味的理解ではなく、文脈の手がかりに大きく依存している可能性を示唆しています。また、アイデアを共通の構造に書き換えてもこれらの不一致は解消されず、問題が単なる文章スタイルの違いではないことが示されました。

研究者たちはまた、単純なプロンプティングとエージェント型ワークフローを比較しました。超高推論予算とライブ反復検索を備えたGPT-5.6 Solを、標準的な検索設定と比較してテストしました。意思決定あたり約10倍のコストがかかったにもかかわらず、エージェント型判定器のマクロF1スコアは0.78にとどまり、0.89を記録した単純なClaude Opus 4.6ベースラインを下回りました。これは、計算量と検索複雑性の増加が、必ずしもより良い新規性検出につながらないことを実証しています。

主な詳細

• この研究は、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、およびClaude Opus 4.6の6つのモデルを評価しています。
• AI生成のアイデアに対し、GPT-5.4ではプロンプトの変更により精度が50パーセントポイント以上低下しました。
• Human-Onlyデータセットには、ICLR 2026のレビューから抽出された、高新規性の人間作成アイデア154件と低新規性のアイデア145件が含まれています。
• Idea Novelty Checkerなどの専用評価器は、意思決定あたり30.66ドルのコストがかかりますが、マクロF1スコアはわずか0.642でした。
• 単純なClaude Opus 4.6のプロンプトは2.59ドルかかりましたが、より高いマクロF1スコア0.854を達成しました。
• 専門家による注釈者は、確認した50件のケースのうち47件で、レビューマイニングの極性（ポジティブ/ネガティブ）に同意しました。

なぜ重要なのか

RAGシステムや自動研究アシスタントを構築しているエンジニアリングチームにとって、この研究は厳格な検証なしにLLMによる独創性の判断を信頼することへの警告として機能します。システムがLLMを使用して生成コンテンツをフィルタリングまたはランク付けする場合、出力は実際のコンテンツの品質ではなく、プロンプトの言い回しに高度に敏感である可能性があります。この不安定性は、有効なアイデアの却下や派生的な作業の昇格につながり、自動化の価値を損なうことになりかねません。

さらに、この発見は、より高度なエージェント型ワークフローが評価問題を解決するという前提にも挑戦します。反復検索と推論のためのAPI呼び出しに大幅に多く支出することは、慎重にチューニングされたより単純なプロンプトよりも悪い結果をもたらす可能性があります。これは、コスト最適化とシステムアーキテクチャに直接影響します。開発者は、人間が書いたテキストから導き出されたパフォーマンス指標に頼るのではなく、AI生成データに対する堅牢なベンチマーキングを優先すべきです。

対応策

• 不安定性を露呈させるため、人間が書いたサンプルだけでなく、AI生成のアイデアに対しても新規性判定器をテストしてください。
• プロンプトの文言をわずかに変化させ、判定結果の変化を観察することで感度を測定してください。
• より高い推論予算や検索ステップが新規性検出の精度を向上させると想定しないでください。
• 判定結果はプロンプトの微調整によって翻る可能性があるため、ペア比較には注意して使用してください。
• 複雑なエージェント型評価パイプラインへの投資の前に、シンプルで低コストのプロンプトベースラインを使用することを検討してください。
• 新しいモデルが利用可能になった際に評価できるよう、提供されているベンチマークとパイプラインを採用してください。