StateBench、トップAIモデルが長期記憶タスクで失敗する理由を明らかに
Hugging Faceは新ベンチマーク「StateBench」を公開しました。この研究により、最先端のモデルであっても長いドキュメント内で変化する情報を追跡することに苦戦していることが明らかになる一方、ハイブリッドアーキテクチャには有望な可能性が見出されています。
英語の原文から自動翻訳されました。
Hugging Faceは、言語モデルが長いシーケンスにわたって情報の変化をどれだけ正確に追跡できるかをテストするために設計された新しいベンチマーク「StateBench」を発表しました。2026年11月にリリースされたこの研究では、オープンソースモデルと最先端（フロンティア）モデルの両方を評価し、数千トークンにわたる変数やエンティティの変化に対して、正確な状態を維持できるかどうかを検証しています。
何が起きたか
研究チームは、ドキュメント全体を通じてエンティティの状態が変化するのを追跡する能力である「状態追跡（state tracking）」を測定するためにStateBenchを開発しました。この機能は、変数が再代入されるコードを読む場合や、キャラクターが場所間でオブジェクトを移動させる物語を追う場合など、重要なタスクにとって不可欠です。既存のテストはしばしば最も難しいケースのみ focuses していましたが、StateBenchは問題を4つの異なる複雑さのレベルに分解することで、異なるモデルアーキテクチャがどこで成功し、どこで失敗するのかをより明確に示します。
このベンチマークは、単純な不変の代入から複雑な参照チェーンに至るまでのタスクでモデルを評価します。研究者たちは、Olmo 3やOlmo Hybridなどのオープンプリトレインオプションに加え、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolおよびLunaといった最先端モデルを含む多様なモデルをテストしました。結果は大きなギャップを浮き彫りにしました。すべてのモデルは単純な静的な事実をよく処理しましたが、長いコンテキストにおける複雑で進化する状態に直面した際、最先端モデルのパフォーマンスは急激に低下しました。
これらの失敗がトレーニングデータによるものなのか、それともアーキテクチャ上の限界によるものなのかを判断するため、チームはStateBenchタスク専用に小さなモデルを一から訓練しました。その結果、Gated DeltaNetなどのハイブリッドおよびリカレントアーキテクチャは、トレーニングデータをはるかに超えるシーケンス長に汎化できることが判明しました。対照的に、標準的なトランスフォーマーアーキテクチャは、ターゲットを絞った訓練を行っても、最も難しい状態追跡タスクを完全に学習することができませんでした。
仕組み
StateBenchは、代数理論、特にクローン＝ローデス理論に基づいて、状態追跡の問題を4つのレベルに分類します。これらのレベルは、プログラミングにおける異なるタイプの変数代入に対応しています。第1レベルのR-trivialは、誕生日のように決して変わらない不変値を含みます。第2レベルのaperiodicは、サーモスタットの設定のように最新の更新のみが重要となる、値による再代入を許可します。第3レベルのsolubleは、ゲームの累計スコアのように、各変更が前の状態に基づいて行われる自己参照型の更新を必要とします。最後かつ最も難しいレベルのgeneral finiteは、カップの下にあるボールを追跡するように、変数が値を交換したり他の変数に依存したりする、参照による代入を含みます。
このベンチマークは、これらの代入のシーケンスを生成し、モデルに各変数の最終状態を予測させます。レベル間を通じて変数の数と代入ポイントを一定に保つことで、データの量ではなく論理の複雑さを分離してテストします。この構造により、研究者はモデルの推論チェーンがどこで破綻するか、つまり最新の値を見失っているのか、それとも複数のエンティティ間の複雑な依存関係を解決できていないのかを正確に見ることができます。
主要な詳細
- StateBenchは4つの難易度レベルを定義しています：R-trivial（不変）、aperiodic（最新値優先）、soluble（累積更新）、general finite（変数間参照）。
- Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolおよびLunaなどの最先端モデルは、単純なタスクでは高い精度を達成しましたが、最長のgeneral finite問題では13%以下まで低下しました。
- Gated DeltaNetレイヤーを使用するOlmo Hybridなどのオープンモデルは、純粋なトランスフォーマーと比較して、状態追跡タスクで直接訓練した場合、より良い汎化の可能性を示しました。
- トランスフォーマーは、特定のデータセットで一から訓練してもgeneral finite状態追跡問題を学習できず、これはアーキテクチャ上の制限を示唆しています。
- 柔軟なメモリ更新を持つGated DeltaNetのバリアントは、容易および中程度の難易度のタスクにおいて、トレーニングデータの250倍長いシーケンスに対してほぼ完璧に汎化しました。
- 現在のベンチマークは変数の数を固定しており、シーケンス途中で新しいエンティティが導入されるシナリオはまだテストされていません。
なぜ重要か
検索拡張生成（RAG）システムやドキュメント分析ツールを開発するエンジニアにとって、この研究は現在の大型言語モデルにおける隠れた弱点を強調しています。多くのアプリケーションは、モデルが長いドキュメントを読めるなら、そのテキスト全体を通じてアイテム、人物、またはコード変数の状態を正確に追跡できると仮定しています。StateBenchは、複雑な論理チェーンに対してはこの仮定がリスクであることを示しています。もしモデルが長い変化のシーケンス内の1回の更新を見逃せば、最終的な出力は完全に不正確になり、信頼性の低いソフトウェア動作や不正確なデータ抽出につながる可能性があります。
また、この発見は、業界が標準的なトランスフォーマーアーキテクチャに過度に依存していることが、ある種の推論において天井にぶつかる可能性があることを示唆しています。モデルがより長いコンテキストやより複雑なマルチステップロジックを扱うよう求められるにつれ、リカレントメモリー機構を組み込んだハイブリッドアーキテクチャの方が、このタスクにより適しているようです。この洞察は、法的契約レビューやコードリファクタリングツールなど、厳格な状態の一貫性を必要とするアプリケーションのためのベースモデルを選択する際に、技術リーダーを導くことができます。
あなたができること
- StateBenchスタイルのテストを使用して、現在のRAGパイプラインを評価し、モデルがマルチステップの状態変化に苦しんでいるかどうかを特定してください。
- 長いコンテキストにわたって進化するエンティティを追跡する必要があるタスクには、ハイブリッドまたはリカレントモデルアーキテクチャを検討してください。
- 明示的な状態サマリー付きの小さなチャンクに複雑なドキュメントを分割し、モデルへの認知的負荷を軽減してください。
- aperiodicおよびsolubleタスクでのモデルパフォーマンスを特に監視してください。これらは実世界のデータで一般的ですが、標準的なベンチマークではしばしば見落とされがちです。
- 初期の研究で状態追跡タスクに対する優れた汎化性能を示しているGated DeltaNetなどの新興アーキテクチャに関する最新情報を追ってください。
- アプリケーションロジックに検証ステップを実装し、可能な限り既知の状態遷移に対してモデル出力をクロスチェックしてください。
