Surge AI veröffentlicht DAYJOB: Tax – Benchmark zur Bewertung professioneller KI-Agenten

Surge AI hat DAYJOB: Tax veröffentlicht, einen neuen Benchmark, der darauf ausgelegt ist, zu bewerten, wie gut künstliche Intelligenz-Agenten professionelle Steuerarbeit bewältigen. Diese Ende Oktober 2026 veröffentlichte Ergänzung zur DAYJOB-Familie testet Agenten in realistischen Szenarien, die Steuererklärung, Compliance und Beratungsdienstleistungen umfassen, wobei Anweisungen oft unvollständig oder mehrdeutig sind.

Der Benchmark zeigt, dass selbst führende Frontier-Modelle mit den Nuancen kämpfen, die in professionellen Bereichen erforderlich sind. Claude Sonnet 5.5 erreichte mit einer Bestehensquote von 10,8 % die höchste Punktzahl, was darauf hindeutet, dass zuverlässige autonome Steuerberatung für die aktuelle Technologie weiterhin eine erhebliche Herausforderung darstellt. Diese Bewertung geht über einfaches Frage-Antwort-Spiel hinaus und prüft, ob Agenten versteckte Risiken identifizieren und professionelles Urteilsvermögen anwenden können.

Was passiert ist

DAYJOB: Tax baut auf früheren Benchmarks im Gesundheitswesen und Finanzsektor auf, indem es sich auf die spezifischen Komplexitäten der Steuerpraxis konzentriert. Das Paket umfasst 50 verschiedene Umgebungen, die acht Bereiche der Steuerarbeit abdecken, darunter individuelle und familiäre Steuern, Steuern für kleine Unternehmen, Personengesellschaften und internationale Steuern. In jeder Umgebung erhält ein KI-Agent eine Kundenanfrage zusammen mit einem Satz unterstützender Unterlagen. Der Agent muss dann Ergebnisse wie Steuererklärungen, technische Überprüfungen oder Beratungsbriefe für Kunden erstellen.

Im Gegensatz zu Standard-Benchmarks, die ein klar definiertes Problem bereitstellen, präsentiert DAYJOB: Tax chaotische, realistische Situationen. Agenten müssen bestimmen, welche Informationen fehlen, widersprüchliche Beweise in Dokumenten auflösen und entscheiden, welche Fragen weiterer Untersuchungen bedürfen. Beispielsweise erfordert eine Aufgabe die Abgleichung eines handschriftlichen Kassenbons für Warenbestände mit Ausgabenprotokollen, um die Lagerkosten zu ermitteln. Ein anderes Szenario verlangt die Analyse von Feld-Einsatzprotokollen, um multistate Steuerpflichten aufzudecken, die dem Kunden nicht bewusst waren.

Die Bewertungskriterien sind streng. Ein Versuch gilt nur als bestanden, wenn er mindestens 95 % der Rubrik der Aufgabe erfüllt, die korrekte Berechnungen, angemessene Nutzung von Belegen, Identifizierung wesentlicher Probleme und Abschluss des erforderlichen Ergebnisses überprüft. Diese hohe Messlatte stellt sicher, dass bestandene Bewertungen echte professionelle Kompetenz widerspiegeln und nicht nur teilweise Korrektheit.

Wie es funktioniert

Der Benchmark stützt sich auf einen großen Korpus realistischer Daten, um professionelle Workflows zu simulieren. Jede der 50 Umgebungen enthält einen Arbeitsbereich mit Dateien, mit einem Median von 30 Dokumenten pro Aufgabe und einigen, die bis zu 123 Dateien enthalten. Diese Arbeitsbereiche umfassen 1.487 PDFs, 117 Excel-Arbeitsmappen und verschiedene andere Formate wie E-Mails, Bilder und JSON-Datensätze. Das Material imitiert das, was ein Steuerexperte sehen würde, einschließlich eingereichter Erklärungen, IRS-Bescheide, Hauptbücher und sogar Fotos physischer Quittungen.

Steuerexperten mit Hintergründen von Firmen wie PwC, Deloitte und Baker Tilly haben diese Aufgaben erstellt und überprüft. Sie entwickelten die Szenarien basierend auf realistischen professionellen Workflows und stellten sicher, dass die erwarteten Ergebnisse und Bewertungskriterien tatsächlichen Branchenstandards entsprechen. Jede Aufgabe durchlief einen dreistufigen Expertenüberprüfungsprozess zur Verifizierung von Richtigkeit, Vollständigkeit und Lösbarkeit. Dieses Human-in-the-Loop-Design stellt sicher, dass der Benchmark Fähigkeiten misst, die in der Praxis zählen, wie z. B. das Erkennen, wenn die Annahme eines Kunden bezüglich seines Familienstands rechtlich falsch sein könnte.

Wichtige Details

• Spitzenleistung: Claude Sonnet 5.5 führt die Rangliste mit einer Bestehensquote von 10,8 % an, gefolgt von Claude Fable 5.1 mit 9,6 % und Claude Opus 5.5 mit 9,2 %.
• Umfang: Der Benchmark deckt 50 Umgebungen in acht Steuerpraxisbereichen ab, einschließlich Nachlässen, Schenkungen, Treuhandfonds und Unternehmenstransaktionen.
• Datenvolumen: Arbeitsbereiche enthalten insgesamt 1.789 Dateien, mit einem Median von 30 Dateien pro Aufgabe, einschließlich PDFs, Excel-Tabellen und Bildern.
• Strenge Bewertung: Ein Bestehen erfordert die Erfüllung von 95 % der Rubrik-Kriterien, wobei Berechnungen, Beweisnutzung und Identifizierung wesentlicher Probleme bewertet werden.
• Expertenvalidierung: Aufgaben wurden von Steuerprofis mit Erfahrung bei großen Firmen wie PwC, Deloitte und Exxon erstellt und überprüft.
• Realistische Komplexität: Szenarien umfassen unstrukturierte Daten wie handschriftliche Quittungen und widersprüchliche Beweise wie Multi-State-Arbeitsprotokolle.

Warum es wichtig ist

Für Ingenieure, die KI-Agenten entwickeln, hebt DAYJOB: Tax die Lücke zwischen der Beantwortung einer spezifischen Frage und der Übernahme einer professionellen Verantwortung hervor. Viele bestehende Benchmarks testen, ob ein Modell eine Steuererklärung berechnen oder eine rechtliche Anfrage beantworten kann. Im Dienstleistungssektor liegt der primäre Wert jedoch oft darin, zu identifizieren, wonach der Kunde vergessen hat zu fragen. Wie im Fall des Verkaufs der Eigentumswohnung von Anna gezeigt wird, könnte ein Agent die unmittelbare Frage korrekt beantworten, aber eine kritische Frist verpassen, die den Kunden Hunderttausende Dollar kosten könnte. Diese Unterscheidung ist entscheidend für Entwickler, die Agenten in risikoreichen Umgebungen einsetzen möchten.

Die niedrigen Bestehensquoten deuten auch darauf hin, dass aktuelle Modelle noch nicht für vollständig autonome Bereitstellung in Steuerberatungsrollen bereit sind. Während sie einzelne Schritte wie Abruf oder Berechnung ausführen können, scheitern sie häufig daran, diese Fähigkeiten in ein kohärentes professionelles Urteilsvermögen zu integrieren. Dies impliziert, dass menschliche Aufsicht unerlässlich bleibt. Entwickler sollten sich darauf konzentrieren, Systeme zu bauen, die Fachleute unterstützen, indem sie potenzielle Probleme hervorheben und Beweise organisieren, anstatt den Entscheidungsprozess vollständig zu ersetzen.

Was Sie tun können

• Prüfen Sie die DAYJOB: Tax-Rangliste, um die aktuellen Grenzen von Frontier-Modellen in professionellen Bereichen zu verstehen.
• Entwerfen Sie Agent-Workflows, die explizit nach fehlenden Informationen oder widersprüchlichen Beweisen fragen, bevor endgültige Ratschläge generiert werden.
• Implementieren Sie strenge Verifikationsschritte für alle finanziellen oder rechtlichen Berechnungen, die von KI-Agenten erstellt werden.
• Nutzen Sie hybride Ansätze, bei denen KI Dokumentabruf und Zusammenfassung übernimmt, Menschen aber endgültige Entscheidungen über wesentliche Probleme treffen.
• Testen Sie Ihre eigenen Agenten gegen ähnliche chaotische, unstrukturierte Datensätze, um Fehlermodi bei der Befolgung von Anweisungen zu identifizieren.
• Bleiben Sie über Benchmark-Methodologien auf dem Laufenden, um sicherzustellen, dass Ihre Bewertungsmetriken mit realistischen professionellen Standards übereinstimmen.