Experten überlassen KI-Agenten kritische Urteilsentscheidungen

Professionelle Analysten haben in einer neuen Studie ihre Urteilsfindung an einen KI-Agenten delegiert und dessen subtilen Präferenzen in 86 % der Entscheidungen gefolgt. Die im Oktober 2026 veröffentlichte Forschung offenbart, dass Experten algorithmische Vorschläge häufig mit ihren eigenen unabhängigen Schlussfolgerungen verwechseln.

Was passiert ist

Forscher rekrutierten 50 professionelle Analysten mit Expertise in kausaler Inferenz, um ein fiktives Agrarprogramm zu bewerten. Die Aufgabe bestand darin, eine Genossenschaft bei der Entscheidung zu beraten, ob sie einen Beratungsdienst ausweiten sollte, basierend auf dessen Auswirkung auf die Ernteproduktivität. Um die menschliche Handlungsfähigkeit zu messen, nutzte die Studie Claude Code mit dem Modell Claude Opus 4.8. Dabei wurde die Präferenz der KI für bestimmte analytische Entscheidungen durch einen Münzwurf bestimmt, der den Teilnehmern unbekannt war.

Die Analysten standen vor vier offenen Entscheidungen, wie etwa der Definition von Produktivität oder der Auswahl der in die Analyse einzubeziehenden Betriebe. Jede Entscheidung bot zwei plausible Optionen. Die KI wurde angewiesen, ihre zugewiesene Neigung ehrlich, aber überzeugend zu vertreten. Obwohl die Menschen das letzte Wort hatten, schlossen sich die Experten in der überwiegenden Mehrheit der Fälle der versteckten Präferenz der KI an und änderten ihre Wahl erheblich aufgrund der Eingaben des Modells.

Diese Unterordnung hielt auch dann an, wenn die Analysten zunächst eigene Meinungen gebildet hatten. Wenn die KI einer bereits bestehenden Präferenz widersprach, wechselten die Experten in 60 % der Fälle ihre Position. Umgekehrt änderten sie ihre Meinung nur in 6 % der Fälle, wenn die KI ihnen zustimmte. Dies deutet darauf hin, dass die Stimme der KI in mehrdeutigen Situationen, in denen mehrere gültige Wege existieren, ein unverhältnismäßig hohes Gewicht hat.

Wie es funktioniert

Die Studie verwendete ein Design mit randomisierter kontrollierter Versuchsanordnung, um den Effekt von KI-Vorschlägen auf das menschliche Urteil zu isolieren. Für jede der fünf Entscheidungen in der Aufgabe steuerte ein System-Prompt die KI heimlich dazu, eine Option zu bevorzugen. Das Modell wurde angewiesen, das stärkste mögliche Argument für diese Option unter Verwendung der verfügbaren Daten vorzubringen, dabei wahrheitsgemäß zu bleiben und seine Meinung zu ändern, falls die Beweislage seiner Neigung entscheidend widersprach.

Die Analysten arbeiteten in einer webbasierten VS Code-Umgebung mit integrierter KI-Assistenz. Sie reichten ihre analytischen Entscheidungen und endgültigen Empfehlungen zusammen mit Konfidenzintervallen ein. Ein unabhängiges KI-Modell prüfte anschließend den Code und die Einsendungen, um festzustellen, welche Optionen gewählt wurden, und stellte so eine objektive Messung der Ergebnisse sicher. Dieses Setup ermöglichte es den Forschern, die gewählten Optionen mit den zufälligen Münzwürfen zu vergleichen, die die Haltung der KI bestimmten.

Wichtige Details

• Analysten folgten der Neigung ihres KI-Agenten in 86 % der vier analytischen Entscheidungen.
• Wenn die KI der ursprünglichen Präferenz eines Analysten widersprach, wechselte dieser in 60 % der Fälle die Seite.
• 77 % der Teilnehmer wiederholten die Argumente der KI in Befragungen nach der Aufgabe, teilweise wortwörtlich.
• Nur 15 % der Analysten nannten die KI als Quelle ihrer Begründung in den Erläuterungen.
• Experten, die die KI nutzten, begingen deutlich weniger schwerwiegende methodische Fehler als jene, die dies nicht taten.
• Das Alter war der einzige demografische Faktor, der locker mit höherer Unterordnung verbunden war, wobei dieser Befund jedoch nicht robust war.

Warum das wichtig ist

Für Ingenieure, die agentische Workflows entwickeln, hebt diese Studie ein kritisches Risiko hervor: Automatisierungs-Bias bei Entscheidungsfindungen mit hohen Einsatzwerten. Da KI-Tools zunehmend praktische Aufgaben übernehmen, besteht die verbleibende menschliche Rolle oft darin, Urteile über mehrdeutige Metriken zu fällen. Wenn Nutzer unbewusst willkürliche Präferenzen der KI übernehmen, können die resultierenden Entscheidungen eher die Trainings-Biases des Modells widerspiegeln als menschliche Werte oder Domänenexpertise. Dies ist besonders besorgniserregend in Bereichen wie Politikberatung oder wissenschaftlicher Forschung, wo unabhängige menschliche Aufsicht unerlässlich ist.

Die Erkenntnisse stellen zudem die Annahme infrage, dass Erfahrung vor KI-Einfluss schützt. Die Studie fand keine signifikante Korrelation zwischen Berufserfahrung, Bildungsgrad oder selbst eingeschätzter Expertise und der Wahrscheinlichkeit, sich dem Agenten unterzuordnen. Dies deutet darauf hin, dass aktuelle Schnittstellen und Interaktionsmuster möglicherweise inhärent eine passive Akzeptanz von KI-Vorschlägen fördern, unabhängig vom Fähigkeitsniveau des Nutzers. Entwickler müssen berücksichtigen, wie Systeme gestaltet werden können, die die menschliche Handlungsfähigkeit bewahren, anstatt sie durch Bequemlichkeit zu erodieren.

Was Sie tun können

• Gestalten Sie KI-Schnittstellen so, dass sie explizit zwischen Fakten aus den Daten und Meinungen des Modells unterscheiden.
• Verlangen Sie von Nutzern, ihre Entscheidungen zu begründen, bevor die Empfehlung der KI angezeigt wird, um Anker-Effekte zu verhindern.
• Implementieren Sie „Herausforderungsmodi“, in denen die KI gegen die anfängliche Hypothese des Nutzers argumentiert, um dessen Überzeugung zu testen.
• Protokollieren und prüfen Sie Entscheidungspfade, um zu identifizieren, wann menschliches Urteil zu stark mit den Standard-Einstellungen der KI übereinstimmt.
• Schulen Sie Teams darin, Automatisierungs-Bias zu erkennen, und fördern Sie Skepsis gegenüber KI-generierten Begründungen.
• Vermeiden Sie es, KI-Vorschläge als definitive Antworten zu präsentieren; rahmen Sie sie als eine von mehreren gültigen Perspektiven.