データと文書

ParseBench-2、深刻度考慮型指標を導入しドキュメント解析を評価

LlamaIndexは、深刻度の上限付きスコアリングを用いて6つの次元でドキュメント解析を評価する、4,317件のテストケースを含むベンチマーク「ParseBench-2」をリリースしました。

解析エラーを確認するためにドキュメントを検査している拡大鏡
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

LlamaIndexは、ドキュメント解析システムの精度を評価するために設計された包括的なベンチマーク「ParseBench-2」をリリースしました。2026年11月12日に公開されたこのアップデートでは、深刻度を考慮した指標と、複雑な実世界のドキュメントを対象とした新しいデータセットが導入され、前身の機能を拡張しています。本リリースにより、検索拡張生成(RAG)パイプラインを開発するエンジニアは、テキスト、テーブル、チャート、フォームに対するシステムの処理能力をより厳密に測定するための標準規格を手に入れることができます。

何が起きたか

ParseBench-2は、実世界のドキュメントの広範なカバレッジと、軽微なフォーマットの問題よりも重大なエラーを優先する新しい採点手法を組み合わせています。このベンチマークは、2,645件のソースドキュメントから導き出された4,317件のページレベルのテストケースで構成されています。これらのケースには、ParseBench-1からの改訂済みページに加え、難しいレイアウト、高密度のテーブル、政府フォームなどでパーサーを試すために特に選ばれた2,293件の新規例が含まれています。データセットはHugging Faceでホストされており、parse-benchというオープンソースの評価スイートも含まれています。

今回のアップデートでは、テキスト、フォーマット、テーブル、チャート、視覚的グラウンディング(レイアウト)、フォームという6つの能力次元が導入されました。大きな追加機能として、入力済みの項目や空白フィールドを含む実際の政府文書など、600ページのフォームをカバーする「Forms(フォーム)」次元があります。また、複雑なテーブルヘッダー、財務テーブル、保険届出テーブル、高密度テーブル向けのターゲットサブセットも追加されました。この拡張により、構造的関係や特定のデータ値が下流タスクにとって重要となるプロダクションシステムにおける一般的な失敗ポイントに対応しています。

仕組み

ParseBench-2の中核的な革新は、深刻度を考慮した指標の使用です。単純にパーセンテージの精度を計算するのではなく、各ページのスコアは解析スコアと深刻度上限の低い方で決定されます。つまり、パーサーがページの99%を正しく解析できたとしても、否定語の反転や財務テーブルでの数字の読み間違いといった単一の重大なエラーがあれば、スコアは大幅に低下します。これらの指標は、6つの深刻度テストスイートにわたる330の制御されたシナリオに対してキャリブレーションされており、エラーを重大(critical)、主要(major)、軽微(minor)、無害(benign)に分類します。

評価コードスイートはparse-benchパッケージとともに提供され、開発者がすべてのサブセットでパイプラインを実行し、詳細なレポートを生成できるようにします。システムは、事実の変更、構造関係の破綻、コンテンツの欠落、創作されたコンテンツなど、140以上のエラータイプをチェックします。例えば、テーブル次元では、ヘッダーの入れ替えは重大なエラーと見なされる一方、余分なHTMLマークアップはペナルティを与えない無害な変種として扱われます。このアプローチにより、ベンチマークがビジネスロジックやユーザー信頼に対するエラーの実影響を反映することが保証されます。

主な詳細

  • データセット規模: 2,645件のソースドキュメントからの4,317件のページレベルのテストケース(2,293件の新しい難易度の高いケースを含む)。
  • 6つの次元: テキスト、フォーマット、テーブル、チャート、レイアウト(視覚的グラウンディング)、フォーム。
  • 深刻度考慮型スコアリング: 指標は深刻度レベルによって上限が設定されており、数字の読み間違いや否定語の反転などの重大なエラーがスコアに大きく影響することを保証します。
  • 新しいフォームテスト: 500件の実際の政府フォームページと100件の記入可能フォームページを含み、正確なフィールド値と空フィールドの処理を確認します。
  • オープンソースツール: parse-benchパッケージにより、ユーザーはpip経由でインストールしてローカルで評価を実行し、ページごとのCSVおよびHTMLレポートを生成できます。
  • 比較不可なスコア: 注釈の改訂と新しい指標定義のため、ParseBench-2のスコアはParseBench-1と比較できません。

なぜ重要か

RAGシステムを構築するエンジニアにとって、ドキュメント解析はしばしばチェーン内の最も弱いリンクとなります。従来のベンチマークは、「not(〜ではない)」の誤解釈や財務テーブルでの行の入れ替えなど、微妙だが壊滅的なエラーを見逃す可能性があります。ParseBench-2の深刻度を考慮した指標は、こうしたリスクをより現実的に評価します。無害な精度指標が見逃しがちな重大な失敗を強調することで、チームがプロダクトの信頼性とユーザーの安全性にとって実際に重要な改善を優先できるよう支援します。

財務および保険テーブル、ならびに政府フォーム向けの専門データセットの包含は、エンタープライズアプリケーションにおける具体的な課題に対処しています。これらのドキュメントは、標準的なパーサーを混乱させる複雑な構造、結合セル、階層的ヘッダーを持つことがよくあります。これらの特定の課題に対してテストを行うことで、開発者はOCRおよびレイアウト解析コンポーネントの弱点を、プロダクション環境に到達する前に特定できます。これにより、スキャンされたドキュメントや多段組レイアウトの乱雑な現実に耐えうる、より堅牢なシステムにつながります。

できること

  • 現在の解析パイプラインのテストを開始するために、pip install "parse-bench[runners,fast]"を使用して評価スイートをインストールします。
  • データセットを./data_parsebench-2にダウンロードし、デフォルトのスコアラーを実行してベースラインパフォーマンススコアを確立します。
  • ページごとのHTMLレポートを確認し、見出しの見落としや不正なテーブルセル関連付けなど、特定のエラータイプを識別します。
  • モデルのHugging Faceリポジトリへのプルリクエストを通じてスコアを送信し、リーダーボードと比較します。
  • アプリケーションにとって最も重要なドキュメントタイプに最適化努力を集中するために、financial_tablesやformsなどのターゲットサブセットを使用します。
  • ParseBenchの結果レイアウトに従って出力をフォーマットし、評価コマンドを実行することで、独自のパーサーへ評価を拡張します。
  • #rag
  • #document-parsing
  • #benchmark
  • #llamaindex
  • #ocr

Bytechapストアのツール

続きを読む

すべての記事