Adversarial Learning bezeichnet Verfahren, bei denen ein KI-Modell gezielt mit manipulierten Eingaben konfrontiert wird, um seine Schwachstellen aufzudecken und es widerstandsfähiger zu machen. Hintergrund ist eine bekannte Verwundbarkeit neuronaler Netze: Winzige, für Menschen unsichtbare Veränderungen an einem Bild können eine Bildklassifikation kippen lassen, etwa wenn wenige veränderte Pixel oder ein aufgeklebter Sticker ein Stoppschild für das System zu einem anderen Verkehrszeichen machen.
Solche präparierten Eingaben heißen adversariale Beispiele. Beim adversarialen Training erzeugt man sie absichtlich und nimmt sie in die Trainingsdaten auf, damit das Modell lernt, sie zu ignorieren. Verwandt sind Angriffe auf die Trainingsphase selbst, etwa Data Poisoning, bei dem manipulierte Daten in den Trainingsbestand eingeschleust werden. Vom Begriff Generative Adversarial Network ist das zu trennen: Dort steht das Gegeneinander zweier Netze im Dienst der Inhaltserzeugung, hier im Dienst der Absicherung.
Praktisch relevant ist das überall dort, wo eine falsche Erkennung teuer wird, also bei Zutrittskontrolle, Betrugserkennung, Qualitätsprüfung und autonomem Fahren. Die KI-Verordnung verlangt für Hochrisiko-Systeme ausdrücklich ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus (Art. 15 Verordnung (EU) 2024/1689).