LoRA (Low-Rank Adaptation) ist eine Technik, mit der ein vortrainiertes KI-Modell auf eine spezielle Aufgabe angepasst wird, ohne dass alle seine Parameter neu trainiert werden müssen. Der Großteil des Modells bleibt eingefroren; trainiert werden nur kleine, zusätzlich eingeschobene Matrizen, die die Anpassung tragen. Weil dabei nur ein Bruchteil der Parameter verändert wird, sinken Rechenaufwand, Trainingsdauer und Speicherbedarf erheblich gegenüber einem vollständigen Fine-Tuning.
Das Ergebnis ist eine kleine Zusatzdatei, ein sogenannter Adapter, der zum Basismodell hinzugeladen und ebenso wieder entfernt werden kann; mehrere Adapter für verschiedene Aufgaben lassen sich auf demselben Basismodell vorhalten. Bekannt ist das Verfahren aus zwei Feldern: der Anpassung von Sprachmodellen an Fachsprache, Tonalität oder unternehmensinterne Formate und der Anpassung von Bildmodellen an einen bestimmten Stil oder eine wiederkehrende Figur.
Wichtig ist die Abgrenzung zu RAG: LoRA prägt Verhalten und Stil, es füttert kein aktuelles Wissen ein; ändert sich der Sachstand laufend, ist die Anbindung einer Wissensquelle der richtige Weg. Werden für das Training echte Kunden- oder Personaldaten verwendet, ist zu bedenken, dass sich Trainingsinhalte unter Umständen aus dem Modell rekonstruieren lassen.