Surge AI lanza DAYJOB: Tax, un benchmark para la evaluación de agentes profesionales

Surge AI ha lanzado DAYJOB: Tax, un nuevo benchmark diseñado para evaluar qué tan bien manejan los agentes de inteligencia artificial el trabajo fiscal profesional. Publicado a finales de octubre de 2026, esta adición a la familia DAYJOB pone a prueba a los agentes en escenarios del mundo real que involucran preparación fiscal, cumplimiento normativo y servicios de asesoría, donde las instrucciones suelen ser incompletas o ambiguas.

El benchmark revela que incluso los modelos frontera líderes tienen dificultades con los matices requeridos en dominios profesionales. Claude Sonnet 5.5 logró la puntuación más alta con una tasa de aprobación del 10,8%, lo que indica que el asesoramiento fiscal autónomo fiable sigue siendo un desafío significativo para la tecnología actual. Esta evaluación va más allá de la simple respuesta a preguntas para determinar si los agentes pueden identificar riesgos ocultos y ejercer juicio profesional.

Qué ocurrió

DAYJOB: Tax amplía los benchmarks anteriores centrados en salud y finanzas al abordar las complejidades específicas de la práctica fiscal. El conjunto incluye 50 entornos distintos que cubren ocho áreas del trabajo fiscal, como impuestos individuales y familiares, impuestos para pequeñas empresas, sociedades y fiscalidad internacional. En cada entorno, un agente de IA recibe una solicitud del cliente junto con un conjunto de registros de apoyo. El agente debe luego producir entregables como declaraciones de impuestos, revisiones técnicas o cartas de consejo al cliente.

A diferencia de los benchmarks estándar que proporcionan un problema claramente definido, DAYJOB: Tax presenta situaciones desordenadas y realistas. Los agentes deben determinar qué información falta, resolver evidencias contradictorias en los documentos y decidir qué problemas merecen una investigación adicional. Por ejemplo, una tarea implica un recibo manuscrito de mercancías que el agente debe conciliar con los registros de gastos para determinar los costos de inventario. Otro escenario requiere analizar registros de despacho de campo para descubrir obligaciones fiscales multistatales que el cliente desconocía.

Los criterios de evaluación son estrictos. Un intento se considera aprobado solo si cumple al menos el 95% de la rúbrica de la tarea, que verifica cálculos precisos, uso adecuado de evidencia de apoyo, identificación de problemas consecuentes y completitud del entregable requerido. Este alto estándar asegura que las puntuaciones aprobadas reflejen competencia profesional genuina en lugar de corrección parcial.

Cómo funciona

El benchmark se basa en un gran corpus de datos realistas para simular flujos de trabajo profesionales. Cada uno de los 50 entornos contiene un espacio de trabajo de archivos, con una mediana de 30 documentos por asignación y algunos que contienen hasta 123 archivos. Estos espacios de trabajo incluyen 1.487 PDFs, 117 libros de Excel y varios otros formatos como correos electrónicos, imágenes y registros JSON. Los materiales imitan lo que vería un profesional fiscal, incluyendo declaraciones presentadas, notificaciones del IRS, libros mayores e incluso fotografías de recibos físicos.

Expertos fiscales con experiencia en firmas como PwC, Deloitte y Baker Tilly crearon y revisaron estas tareas. Desarrollaron los escenarios basándose en flujos de trabajo profesionales reales, asegurando que los resultados esperados y los criterios de calificación reflejen estándares reales de la industria. Cada tarea pasó por un proceso de revisión experta de tres capas para verificar la corrección, integridad y resolubilidad. Este diseño con intervención humana asegura que el benchmark mida capacidades que importan en la práctica, como reconocer cuándo una suposición del cliente sobre su estado civil podría ser legalmente incorrecta.

Detalles clave

• Mejor rendimiento: Claude Sonnet 5.5 lidera la clasificación con una tasa de aprobación del 10,8%, seguido por Claude Fable 5.1 con 9,6% y Claude Opus 5.5 con 9,2%.
• Alcance: El benchmark cubre 50 entornos en ocho áreas de práctica fiscal, incluyendo herencias, donaciones, fideicomisos y transacciones corporativas.
• Volumen de datos: Los espacios de trabajo contienen 1.789 archivos en total, con una mediana de 30 archivos por asignación, incluyendo PDFs, hojas de Excel e imágenes.
• Calificación estricta: Aprobar requiere satisfacer el 95% de los criterios de la rúbrica, evaluando cálculos, uso de evidencia e identificación de problemas consecuentes.
• Validación experta: Las tareas fueron creadas y revisadas por profesionales fiscales con experiencia en grandes firmas como PwC, Deloitte y Exxon.
• Complejidad realista: Los escenarios incluyen datos no estructurados como recibos manuscritos y evidencias contradictorias como registros laborales interestatales.

Por qué importa

Para los ingenieros que construyen agentes de IA, DAYJOB: Tax destaca la brecha entre responder una pregunta específica y gestionar una responsabilidad profesional. Muchos benchmarks existentes prueban si un modelo puede calcular una declaración de impuestos o responder una consulta legal. Sin embargo, en servicios profesionales, el valor principal suele radicar en identificar lo que el cliente olvidó preguntar. Como se ve en el caso de la venta del condominio de Anna, un agente podría responder correctamente la pregunta inmediata mientras pasa por alto un plazo crítico que podría costarle al cliente cientos de miles de dólares. Esta distinción es vital para los desarrolladores que buscan desplegar agentes en entornos de alto riesgo.

Las bajas tasas de aprobación también sugieren que los modelos actuales aún no están listos para el despliegue totalmente autónomo en roles de asesoría fiscal. Aunque pueden realizar pasos individuales como recuperación o cálculo, frecuentemente fallan al integrar estas habilidades en un juicio profesional coherente. Esto implica que la supervisión humana sigue siendo esencial. Los desarrolladores deberían enfocarse en construir sistemas que asistan a los profesionales destacando posibles problemas y organizando evidencia, en lugar de reemplazar completamente el proceso de toma de decisiones.

Qué puedes hacer

• Revisa la clasificación de DAYJOB: Tax para entender las limitaciones actuales de los modelos frontera en dominios profesionales.
• Diseña flujos de trabajo de agentes que soliciten explícitamente información faltante o evidencia contradictoria antes de generar consejos finales.
• Implementa pasos de verificación estrictos para cualquier cálculo financiero o legal producido por agentes de IA.
• Usa enfoques híbridos donde la IA maneja la recuperación y resumen de documentos, pero los humanos toman las decisiones finales sobre problemas consecuentes.
• Prueba tus propios agentes contra conjuntos de datos desordenados y no estructurados similares para identificar modos de fallo en el seguimiento de instrucciones.
• Mantente actualizado sobre las metodologías de benchmarking para asegurar que tus métricas de evaluación se alineen con estándares profesionales del mundo real.