Neu Dokument-ID: 1259162

Andrei Salajan - Colin Frey | Praxiswissen | Fachbeitrag

8.5.2 Funktionsweise von RAG

Ein RAG-System besteht typischerweise aus zwei Hauptkomponenten:

• Retrieval-Modul: Hier wird auf Basis der Nutzeranfrage eine Suche im Datenbestand durchgeführt. Häufig kommen Vektordatenbanken zum Einsatz: Alle Dokumente sind als Vektoren (Embeddings) abgelegt; aus der Anfrage wird ebenfalls ein Vektor berechnet, woraufhin die nächstliegenden Vektoren gefunden werden (inhaltlich ähnliche Dokumente oder Passagen). Alternativ oder ergänzend können klassische Methoden wie eine Keywordsuche verwendet werden. Das Ergebnis dieses Schritts ist eine Handvoll relevanter Dokumente/Passagen – zum Beispiel die 3–5 Textabschnitte, die am besten zur Frage passen.
• Generation-Modul: Nun erhält das LLM die ursprüngliche Frage plus die gefundenen Texte als Kontext. Das LLM generiert seine Antwort gestützt auf dem Prompt und zusätzlich basierend auf den extrahierten Informationen. Idealerweise referenziert es die Inhalte oder zitiert daraus. Da das KI-Modell die Info in seinem Prompt hat, kann es sie in eigenen Worten wiedergeben oder damit Schlussfolgerungen ziehen.