Retrieval Augmented Generation (RAG) ermöglicht es, die Stärken eines Large Language Model (LLM) mit der eigenen Dokumentensuche zu verbinden.
RAG setzt sich aus der Suche nach Dokumenten (Retrieval) und der LLM-gestützten Erzeugung einer Antwort auf Basis der relevanten Dokumente (Augmented Generation) zusammen.
Im Gegensatz zu bisherigen Möglichkeiten der Dokumentensuche werden durch RAG die gesuchten Antworten mit Hilfe des LLM direkt aus den gefundenen Dokumenten erstellt. Somit entfällt die manuelle Suche nach der eigentlichen Lösung. So wird der bisherige Kontext mit einbezogen, die der Interaktion mit einem Chat gleicht. Oft wird RAG deshalb auch als “Chat-with-your-data”-Applikation bezeichnet.
Der klassische RAG-Prozess so aus:
- Der Nutzer stellt eine Frage an die UI
- Die UI stellt eine Anfrage an das Large Language Modell zur Generierung einer, zum bisherigen Kontext passenden, Anfrage
- Die UI stellt die zum bisherigen Kontext passende Anfrage an die Dokumentensuche
- Die UI stellt eine Anfrage an das Large Language Modell zur Generierung einer Antwort basierend auf den in der Suche gefundenen relevanten Dokumenten
- Die UI gibt die Antwort an den Nutzer zurück
Da RAGs mittlerweile auf allen Cloud-Umgebungen leicht umsetzbar sind, arbeiten viele Unternehmen daran, RAG in der eigenen Infrastruktur einzubinden.
Die Anbindung des RAG an die eigenen Daten ist dabei schnell geschafft. Offen bleibt allerdings die Frage der Optimierung des RAG. Häufig denken Anwender bei falschen Antworten, dass das LLM nicht gut genug sei. In Wahrheit sind allerdings meist eine schwache Dokumentensuche oder eine unzureichende Aufbereitung der zugrundeliegenden Informationen das eigentliche Problem. Die Optimierung der Dokumentensuche und die Aufbereitung der Daten sind deshalb für ein gut funktionierendes RAG unerlässlich.
In weiteren Beiträgen zum Thema RAG werden wir unter anderem die korrekte Datenaufbereitung und andere Ausbaustufen zum Thema RAG betrachten.
Probleme mit der Optimierung Eines RAG Systems? Bestimmt können wir helfen. Mehr dazu im Bereich Services.
