Glossar

RAG (Retrieval Augmented Generation)

RAG steht für Retrieval Augmented Generation – ein Architekturmuster, bei dem ein Large Language Model relevante Inhalte aus einer externen Wissensbasis abruft und in den Context Window einfügt, bevor es antwortet. Statt aus dem starren Trainingswissen zu raten, generiert das Modell auf Basis aktueller, geprüfter Unternehmens­quellen.

Warum RAG entstanden ist

Ein Large Language Model kennt nur, was zum Trainings­zeitpunkt in seinen Daten stand. Aktuelle Verträge, interne Prozessanweisungen oder gestern gepflegte Produktdaten kennt es nicht – und wenn es danach gefragt wird, neigt es zur Halluzination. Ein klassisches Finetuning ist teuer, langsam und mit jedem Dokument-Update veraltet.

Die Grundidee von RAG wurde 2020 in der wegweisenden Arbeit Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks von Lewis et al. (Facebook AI, NeurIPS 2020) formal vorgestellt: Das Modell wird mit einem Retriever kombiniert, der zur Anfrage passende Dokumente aus einem externen Index zieht und sie dem Generator als Kontext vorlegt. Die meistzitierte aktuelle Survey Retrieval-Augmented Generation for Large Language Models: A Survey (Gao et al., 2023–2024) ordnet die Entwicklung in drei Stufen: Naive RAG, Advanced RAG und Modular RAG.

Wie RAG funktioniert – 4 Schritte

Jeder RAG-Aufruf folgt im Kern demselben Ablauf:

  • 1. Indexieren (einmalig, dann bei jedem Update): Dokumente werden in kleinere Abschnitte zerlegt (Chunks), jeder Abschnitt wird in ein numerisches Embedding umgewandelt und in einer Vektor­datenbank abgelegt. So entsteht eine durchsuchbare Wissens­basis.
  • 2. Retrieval (zur Laufzeit): Die Nutzerfrage wird ebenfalls in ein Embedding überführt. Der Retriever findet per ähnlichkeits­suche die passendsten Chunks – oft kombiniert mit klassischer Keyword-Suche (Hybrid Search) und einem Reranking-Schritt.
  • 3. Augmentation: Die gefundenen Textstellen werden in den Prompt eingefügt – mit klarer Anweisung, ausschliesslich auf Basis dieser Quellen zu antworten und Quellenstellen mitzuliefern.
  • 4. Generation: Das LLM erzeugt die finale Antwort auf Basis der eingefügten Kontext-Chunks. Jede Aussage lässt sich auf einen konkreten Abschnitt zurückführen.

Warum RAG für Unternehmen entscheidend ist

RAG hat sich in 2026 als das dominante Architekturmuster für produktive KI-Anwendungen durchgesetzt – aus vier Gründen:

Aktualität

Neue Dokumente werden in den Index aufgenommen und stehen Sekunden später zur Verfügung – ohne Neutraining. Das KI-System bleibt so aktuell wie die Unternehmensdaten.

Quellenprüfbarkeit

Jede Antwort verweist auf konkrete Textstellen. Fachbereiche können prüfen, woher eine Aussage stammt – entscheidend für Compliance, Recht und Audit.

Weniger Halluzinationen

Wenn relevanter Kontext im Prompt steht, erfindet das Modell deutlich seltener – RAG gilt als wirkungsvollster Einzelhebel gegen Halluzinationen.

Datenhoheit

Sensible Inhalte verlassen nicht das Unternehmen, sondern werden gezielt und kontrolliert pro Anfrage an das Modell übergeben – DSGVO- und EU-AI-Act-konform gestaltbar.

Typische Einsatzfelder im Unternehmen

RAG entfaltet seine Wirkung überall dort, wo Antworten an eine konkrete Datengrundlage gebunden sein müssen:

  • Wissens-Assistenten: Mitarbeiter fragen interne Handbücher, Prozess­anweisungen oder Wikis ab und bekommen eine zusammengefasste Antwort mit Quellenangabe.
  • Kunden-Self-Service: KI-Chatbots im Support beantworten Produktfragen auf Basis der aktuellen Doku – siehe auch KI im Kundenservice.
  • Vertragsprüfung: Juristen lassen Klauseln gegen die hauseigene Spielregel-Sammlung prüfen – die Antwort enthält immer die zitierte Vorlage.
  • Steuer- und Buchhaltungs-Recherche: Fragen zum Berufsrecht oder zur Belegbuchung werden gegen die aktuelle Gesetzes­lage geprueft – relevant in der KI in der Steuerberatung.
  • Produktdaten & Onsite-Suche: Im KI im E-Commerce ist RAG die Basis für semantische Produktsuche und beratungsstarke Chat-Assistenten.

Grenzen und Stolperfallen

RAG ist kein Selbstläufer. Drei Themen entscheiden in der Praxis über Erfolg oder Frust:

  • Retrieval-Qualität: Findet die ähnlich­keits­suche die falschen Chunks, halluziniert auch RAG. Hebel: gute Chunk-Strategie, Hybrid Search (Vektor + Keyword) und ein Reranking-Schritt.
  • Kontext-Budget: Auch grosse Context Windows haben ihren Preis – und je mehr Kontext, desto schwerer fällt es dem Modell, den relevanten Teil zu gewichten („Context Rot“). Lieber wenige hochrelevante Chunks als viele mittelmässige.
  • Berechtigungen: Wer welche Quelle sehen darf, muss vor der Übergabe an das LLM erzwungen werden – sonst sieht ein Nutzer in der Antwort Inhalte, die er im Original nicht öffnen darf. Metadaten-Filter und Row-Level-Security sind hier Pflicht.

Verwandte Begriffe

Lohnt sich RAG für Ihr Unternehmen?

Wir bewerten Ihre Datenlage, die geeigneten Use Cases und die Architektur­optionen – und zeigen, wie sich ein produktives RAG-System pragmatisch und DSGVO-konform aufbauen lässt. Im Rahmen einer KI-Beratung.

Kostenlose Erstberatung vereinbaren