Prompt Injection ist ein Angriff auf KI-Anwendungen, bei dem eingeschleuste Anweisungen ein Sprachmodell dazu bringen, seine ursprünglichen Vorgaben zu übergehen. Ursache ist ein Konstruktionsmerkmal: Für das Modell sind Systemanweisung, Nutzereingabe und verarbeiteter Inhalt derselbe Text, sodass eine als Inhalt getarnte Anweisung wie eine echte wirken kann.
Man unterscheidet die direkte Variante, bei der ein Nutzer die Anweisung selbst eingibt, von der indirekten, bei der sie in einem verarbeiteten Dokument, einer Website oder einer E-Mail versteckt liegt und erst beim Auslesen wirksam wird. Gefährlich wird die indirekte Form dort, wo ein Modell Zugriff auf Werkzeuge und Daten hat: Ein KI-Assistent, der Postfächer liest und Nachrichten versendet, kann so zum Abfluss vertraulicher Informationen gebracht werden. Die OWASP-Liste der zehn größten Risiken für LLM-Anwendungen führt Prompt Injection an erster Stelle.
Ein vollständiger technischer Schutz existiert bislang nicht, weshalb Absicherung über die Architektur läuft: minimale Rechte für jedes angebundene System, Bestätigung durch Menschen vor folgenreichen Aktionen, Filterung von Ein- und Ausgaben und Protokollierung. Bindest du einen KI-Assistenten an eure Fachsysteme an, gib ihm nur die Berechtigungen, die die konkrete Aufgabe zwingend braucht.