Automation Bias bezeichnet die Neigung von Menschen, Ergebnissen automatisierter Systeme mehr zu trauen als dem eigenen Urteil oder anderen Informationen. Der Begriff stammt aus der Forschung zu Cockpits, Leitständen und medizinischen Entscheidungshilfen und wird heute vor allem auf KI-Systeme angewandt. Unterschieden werden zwei Fehlerformen: Man übernimmt eine falsche Empfehlung des Systems, oder man übersieht ein Problem, weil das System nicht darauf hingewiesen hat.
Bei Sprachmodellen verstärkt sich der Effekt, weil die Ergebnisse flüssig und überzeugend formuliert sind, auch wenn sie falsch sind. Stimmen die Ergebnisse meistens, lässt die Aufmerksamkeit nach, und die seltenen Fehler gehen ungeprüft weiter. Der AI Act nennt das Phänomen ausdrücklich: Personen, die Hochrisiko-Systeme beaufsichtigen, sollen sich dieser Neigung bewusst bleiben (Art. 14).
Die Gegenmittel sind organisatorisch, nicht technisch. Dazu zählen Prüfregeln je Aufgabentyp, Stichproben mit dokumentierter Fehlerquote, ausreichend Zeit für die Kontrolle und Schulungen, die typische Fehlerbilder am eigenen Arbeitsfall zeigen.