XAI (Explainable AI, erklärbare KI) umfasst Methoden, die nachvollziehbar machen sollen, wie ein KI-Modell zu einem bestimmten Ergebnis kommt. Der Hintergrund: Moderne Modelle sind Black Boxes; aus Milliarden Parametern lässt sich nicht ablesen, warum ein Kredit abgelehnt oder eine Bewerbung aussortiert wurde.
XAI-Verfahren nähern sich der Antwort, indem sie etwa ausweisen, welche Eingabemerkmale ein Ergebnis am stärksten beeinflusst haben (bekannte Methoden sind SHAP und LIME), oder komplexe Modelle durch einfachere, lesbare Ersatzmodelle abbilden. Gebraucht wird das für Vertrauen, Fehlersuche und das Aufdecken von Verzerrungen, besonders dort, wo KI über Menschen entscheidet.
Rechtlich ist Nachvollziehbarkeit keine Kür: Die DSGVO gibt Betroffenen bei automatisierten Einzelentscheidungen Anspruch auf aussagekräftige Informationen über die dahinterliegende Logik (Art 15, 22 DSGVO), und die KI-Verordnung verlangt für Hochrisiko-Systeme Transparenz und Dokumentation (Art 13 KI-VO). Vollständige Erklärbarkeit großer Modelle gibt es bislang nicht; XAI liefert Annäherungen, keine Röntgenbilder.