Surge AI publie DAYJOB : Tax, un benchmark pour l'évaluation des agents professionnels

Surge AI a publié DAYJOB : Tax, un nouveau benchmark conçu pour évaluer la capacité des agents d'intelligence artificielle à gérer le travail fiscal professionnel. Publié fin octobre 2026, cet ajout à la famille DAYJOB teste les agents sur des scénarios du monde réel impliquant la préparation fiscale, la conformité et les services de conseil, où les instructions sont souvent incomplètes ou ambiguës.

Le benchmark révèle que même les modèles de pointe leaders peinent avec la nuance requise dans les domaines professionnels. Claude Sonnet 5.5 a obtenu le score le plus élevé avec un taux de réussite de 10,8 %, indiquant que des conseils fiscaux autonomes fiables restent un défi majeur pour la technologie actuelle. Cette évaluation va au-delà du simple question-réponse pour déterminer si les agents peuvent identifier les risques cachés et exercer un jugement professionnel.

Ce qui s'est passé

DAYJOB : Tax étend les benchmarks précédents axés sur la santé et la finance en ciblant les complexités spécifiques de la pratique fiscale. La suite comprend 50 environnements distincts couvrant huit domaines du travail fiscal, tels que la fiscalité individuelle et familiale, la fiscalité des petites entreprises, les partenariats et la fiscalité internationale. Dans chaque environnement, un agent IA reçoit une demande client accompagnée d'un ensemble de documents justificatifs. L'agent doit ensuite produire des livrables tels que des déclarations fiscales, des revues techniques ou des lettres de conseil aux clients.

Contrairement aux benchmarks standards qui fournissent un problème clairement défini, DAYJOB : Tax présente des situations désordonnées et réalistes. Les agents doivent déterminer quelles informations manquent, résoudre les preuves contradictoires dans les documents et décider quels problèmes méritent une enquête plus approfondie. Par exemple, une tâche implique un reçu manuscrit pour des marchandises que l'agent doit rapprocher des registres de dépenses pour déterminer les coûts des stocks. Un autre scénario nécessite l'analyse de journaux de dispatching sur le terrain pour découvrir des obligations fiscales multistate dont le client ignorait l'existence.

Les critères d'évaluation sont stricts. Une tentative est considérée comme réussie uniquement si elle satisfait au moins 95 % de la grille d'évaluation de la tâche, qui vérifie l'exactitude des calculs, l'utilisation appropriée des preuves justificatives, l'identification des questions consécutives et l'achèvement du livrable requis. Cette exigence élevée garantit que les scores de réussite reflètent une véritable compétence professionnelle plutôt qu'une correction partielle.

Comment cela fonctionne

Le benchmark repose sur un large corpus de données réalistes pour simuler des flux de travail professionnels. Chacun des 50 environnements contient un espace de travail de fichiers, avec une médiane de 30 documents par affectation et certains contenant jusqu'à 123 fichiers. Ces espaces de travail incluent 1 487 PDF, 117 classeurs Excel et divers autres formats comme des e-mails, des images et des enregistrements JSON. Le matériel imite ce qu'un professionnel de la fiscalité verrait, y compris les déclarations déposées, les avis de l'IRS, les grands livres généraux et même des photographies de reçus physiques.

Des experts fiscaux issus de cabinets comme PwC, Deloitte et Baker Tilly ont créé et examiné ces tâches. Ils ont développé les scénarios sur la base de flux de travail professionnels réels, garantissant que les résultats attendus et les critères de notation reflètent les normes industrielles actuelles. Chaque tâche a subi un processus de revue experte à trois niveaux pour vérifier la correction, l'exhaustivité et la solvabilité. Cette conception avec intervention humaine garantit que le benchmark mesure des capacités qui comptent en pratique, telles que la reconnaissance lorsqu'une hypothèse d'un client concernant son statut matrimonial pourrait être juridiquement incorrecte.

Détails clés

• Meilleure performance : Claude Sonnet 5.5 domine le classement avec un taux de réussite de 10,8 %, suivi de Claude Fable 5.1 à 9,6 % et de Claude Opus 5.5 à 9,2 %.
• Portée : Le benchmark couvre 50 environnements répartis sur huit domaines de pratique fiscale, y compris les successions, les donations, les fiducies et les transactions corporatives.
• Volume de données : Les espaces de travail contiennent 1 789 fichiers au total, avec une médiane de 30 fichiers par affectation, incluant des PDF, des feuilles Excel et des images.
• Notation stricte : Une réussite exige la satisfaction de 95 % des critères de la grille, évaluant les calculs, l'utilisation des preuves et l'identification des questions consécutives.
• Validation par des experts : Les tâches ont été créées et examinées par des professionnels de la fiscalité ayant travaillé chez des cabinets majeurs comme PwC, Deloitte et Exxon.
• Complexité réaliste : Les scénarios incluent des données non structurées comme des reçus manuscrits et des preuves contradictoires telles que des journaux de travail multistate.

Pourquoi c'est important

Pour les ingénieurs développant des agents IA, DAYJOB : Tax met en évidence l'écart entre répondre à une question spécifique et gérer une responsabilité professionnelle. De nombreux benchmarks existants testent si un modèle peut calculer une déclaration fiscale ou répondre à une requête juridique. Cependant, dans les services professionnels, la valeur principale réside souvent dans l'identification de ce que le client a oublié de demander. Comme vu dans le cas de la vente de condo d'Anna, un agent pourrait répondre correctement à la question immédiate tout en manquant une échéance critique qui pourrait coûter des centaines de milliers de dollars au client. Cette distinction est vitale pour les développeurs visant à déployer des agents dans des environnements à haut risque.

Les faibles taux de réussite suggèrent également que les modèles actuels ne sont pas encore prêts pour un déploiement entièrement autonome dans des rôles de conseil fiscal. Bien qu'ils puissent effectuer des étapes individuelles comme la récupération ou le calcul, ils échouent fréquemment à intégrer ces compétences dans un jugement professionnel cohérent. Cela implique que la supervision humaine reste essentielle. Les développeurs devraient se concentrer sur la création de systèmes qui assistent les professionnels en mettant en évidence les problèmes potentiels et en organisant les preuves, plutôt que de remplacer entièrement le processus décisionnel.

Ce que vous pouvez faire

• Examinez le classement DAYJOB : Tax pour comprendre les limites actuelles des modèles de pointe dans les domaines professionnels.
• Concevez des flux de travail d'agents qui demandent explicitement les informations manquantes ou les preuves contradictoires avant de générer des conseils finaux.
• Implémentez des étapes de vérification strictes pour tous les calculs financiers ou juridiques produits par des agents IA.
• Utilisez des approches hybrides où l'IA gère la récupération et la synthèse de documents, mais où les humains prennent les jugements finaux sur les questions consécutives.
• Testez vos propres agents contre des jeux de données similaires, désordonnés et non structurés, pour identifier les modes d'échec dans le suivi des instructions.
• Restez informé des méthodologies de benchmark pour garantir que vos métriques d'évaluation s'alignent sur les normes professionnelles du monde réel.