Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist eine Pipeline zur Verarbeitung natürlicher Sprache, die 2020 von Lewis et al. eingeführt wurde und ein großes Sprachmodell (LLM) mit Evidenz aus einer externen Wissensbasis, die zur Inferenzzeit abgerufen wird, verstärkt. Anstatt sich ausschließlich auf das zu verlassen, was ein Modell während des Trainings auswendig gelernt hat, ruft RAG zunächst die relevantesten Passagen aus einem Dokumentenindex ab und übergibt diese Passagen dann als Kontext an das LLM, wodurch die generierte Antwort auf verifizierbare, aktuelle Informationen gestützt wird. Der Ansatz reduziert Halluzinationen und ermöglicht die Einspeisung domänenspezifischen oder zeitkritischen Wissens ohne erneutes Training des Modells.