RAG (Retrieval-Augmented Generation) ist eine Technik, die ein Sprachmodell bei jeder Anfrage mit passenden Auszügen aus einer externen Wissensquelle versorgt, bevor es antwortet. Der Ablauf: Eine Frage trifft ein, das System sucht in den hinterlegten Dokumenten die relevanten Passagen (Retrieval), legt die Fundstellen zusammen mit der Frage dem Modell vor, und dieses formuliert daraus die Antwort (Generation). Die Suche läuft meist über eine Vektor-Datenbank, die Inhalte nach Bedeutung statt nach Wortlaut findet.
Der Nutzen: Das Modell antwortet mit aktuellem und firmenspezifischem Wissen, das in seinen Trainingsdaten fehlt, und kann Quellen angeben; das Risiko von Halluzinationen sinkt damit spürbar, verschwindet aber nicht. Gegenüber Fine-Tuning liegt der Unterschied im Ansatz: RAG reicht Wissen zur Laufzeit hinein, Fine-Tuning verändert das Modell selbst; neues Wissen ist bei RAG so schnell verfügbar, wie sich ein Dokument austauschen lässt.
Typische Anwendungen sind interne Wissensassistenten, Support-Bots auf Basis von Handbüchern oder die Recherche in Vertrags- und Normbeständen.