ParseBench-2 introduit des métriques sensibles à la gravité pour l'analyse de documents
LlamaIndex a publié ParseBench-2, un benchmark composé de 4 317 cas de test qui évalue l'analyse de documents selon six dimensions en utilisant une notation plafonnée par la gravité.
Traduit automatiquement depuis l'original anglais.
LlamaIndex a publié ParseBench-2, un benchmark complet conçu pour évaluer la précision des systèmes d'analyse de documents. Publiée le 12 novembre 2026, cette mise à jour succède à son prédécesseur en introduisant des métriques sensibles à la gravité et de nouveaux jeux de données ciblant des documents complexes du monde réel. Cette version offre aux développeurs construisant des pipelines de génération augmentée par récupération (RAG) une norme plus rigoureuse pour mesurer la capacité de leurs systèmes à traiter le texte, les tableaux, les graphiques et les formulaires.
Ce qui s'est passé
ParseBench-2 combine une large couverture des documents réels avec une nouvelle méthodologie de notation qui privilégie les erreurs critiques par rapport aux problèmes mineurs de formatage. Le benchmark se compose de 4 317 cas de test au niveau de la page, issus de 2 645 documents sources. Ces cas incluent des pages révisées de ParseBench-1 ainsi que 2 293 nouveaux exemples spécifiquement choisis pour mettre à l'épreuve les analyseurs face à des mises en page difficiles, des tableaux denses et des formulaires gouvernementaux. Le jeu de données est hébergé sur Hugging Face et comprend une suite d'évaluation open source appelée parse-bench.
La mise à jour introduit six dimensions de capacités : texte, formatage, tableaux, graphiques, ancrage visuel (mise en page) et formulaires. L'ajout majeur est la dimension Formulaires, qui couvre 600 pages de formulaires, y compris de vrais documents gouvernementaux avec des champs remplis et des champs vides. Le benchmark ajoute également des sous-ensembles ciblés pour les en-têtes de tableaux complexes, les tableaux financiers, les tableaux de déclaration d'assurance et les tableaux denses. Cette expansion répond aux points de défaillance courants dans les systèmes de production où les relations structurelles et les valeurs de données spécifiques sont cruciales pour les tâches en aval.
Comment cela fonctionne
L'innovation centrale de ParseBench-2 réside dans l'utilisation de métriques sensibles à la gravité. Au lieu de simplement calculer un pourcentage de précision, le score de chaque page est déterminé par la valeur inférieure entre un score d'analyse et un plafond de gravité. Cela signifie que même si un analyseur obtient 99 % d'une page correcte, une seule erreur critique — comme une négation inversée ou un chiffre mal lu dans un tableau financier — réduira considérablement le score. Les métriques sont calibrées sur 330 scénarios contrôlés répartis sur six suites de tests de gravité, classant les erreurs en critiques, majeures, mineures ou bénignes.
La suite de code d'évaluation est livrée avec le package parse-bench, permettant aux développeurs d'exécuter des pipelines sur chaque sous-ensemble et de générer des rapports détaillés. Le système vérifie plus de 140 types d'erreurs, notamment les faits modifiés, les relations structurelles rompues, le contenu manquant et le contenu inventé. Par exemple, dans la dimension des tableaux, un en-tête permuté est considéré comme une erreur critique, tandis qu'un balisage HTML supplémentaire est traité comme une variation bénigne qui ne pénalise pas le score. Cette approche garantit que le benchmark reflète l'impact réel des erreurs sur la logique métier et la confiance des utilisateurs.
Détails clés
- Taille du jeu de données : 4 317 cas de test au niveau de la page issus de 2 645 documents sources, dont 2 293 nouveaux cas difficiles.
- Six dimensions : Texte, formatage, tableaux, graphiques, mise en page (ancrage visuel) et formulaires.
- Notation sensible à la gravité : Les métriques sont plafonnées par les niveaux de gravité, garantissant que les erreurs critiques comme les chiffres mal lus ou les négations inversées ont un impact lourd sur les scores.
- Nouveaux tests de formulaires : Inclut 500 pages de formulaires gouvernementaux réels et 100 pages de formulaires remplissables, vérifiant l'exactitude des valeurs des champs et la gestion des champs vides.
- Outils open source : Le package
parse-benchpermet aux utilisateurs de l'installer via pip et d'exécuter des évaluations localement, générant des rapports CSV et HTML par page. - Scores non comparables : Les scores de ParseBench-2 ne sont pas comparables à ceux de ParseBench-1 en raison des annotations révisées et des nouvelles définitions de métriques.
Pourquoi c'est important
Pour les ingénieurs développant des systèmes RAG, l'analyse de documents est souvent le maillon faible de la chaîne. Les benchmarks traditionnels peuvent négliger des erreurs subtiles mais catastrophiques, telles que l'interprétation erronée d'un « ne » dans une clause juridique ou la permutation de lignes dans un tableau financier. Les métriques sensibles à la gravité de ParseBench-2 offrent une évaluation plus réaliste de ces risques. En mettant en évidence les échecs critiques que les métriques de précision bénignes pourraient manquer, elles aident les équipes à prioriser les améliorations qui comptent réellement pour la fiabilité du produit et la sécurité des utilisateurs.
L'inclusion de jeux de données spécialisés pour les tableaux financiers et d'assurance, ainsi que pour les formulaires gouvernementaux, répond à des points de douleur spécifiques dans les applications d'entreprise. Ces documents ont souvent des structures complexes, des cellules fusionnées et des en-têtes hiérarchiques qui perturbent les analyseurs standards. En testant contre ces défis spécifiques, les développeurs peuvent identifier les faiblesses de leurs composants OCR et d'analyse de mise en page avant qu'ils n'atteignent la production. Cela conduit à des systèmes plus robustes capables de gérer la réalité désordonnée des documents numérisés et des mises en page multi-colonnes.
Ce que vous pouvez faire
- Installez la suite d'évaluation en utilisant
pip install "parse-bench[runners,fast]"pour commencer à tester votre pipeline d'analyse actuel. - Téléchargez le jeu de données dans
./data_parsebench-2et exécutez les calculateurs par défaut pour établir un score de performance de base. - Consultez les rapports HTML par page pour identifier des types d'erreurs spécifiques, tels que des titres manquants ou des associations incorrectes de cellules de tableau.
- Comparez vos résultats au classement en soumettant vos scores via une pull request vers le dépôt Hugging Face du modèle.
- Utilisez les sous-ensembles ciblés, tels que
financial_tablesouforms, pour concentrer les efforts d'optimisation sur les types de documents les plus critiques pour votre application. - Étendez l'évaluation à vos propres analyseurs personnalisés en formatant les sorties selon la disposition des résultats de ParseBench et en exécutant la commande d'évaluation.



