RAG ist die Technik, mit der Unternehmen Sprachmodellen ihr eigenes Wissen beibringen, ohne die Modelle neu zu trainieren. Wer heute einen KI-Assistenten für Handbücher, Verträge oder Produktdaten plant, landet fast zwangsläufig bei diesem Ansatz.
Der Grund ist simpel: Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Deine Preisliste vom letzten Monat, die interne Reiserichtlinie oder die Wartungsanleitung für eine bestimmte Maschine gehören nicht dazu. Fragt man trotzdem danach, rät das Modell im schlimmsten Fall.
Dieser Beitrag erklärt dir RAG ohne Fachchinesisch: wie die Technik funktioniert, wann sie sich lohnt, wo die typischen Stolpersteine liegen und welche Fragen du vor dem Projektstart klären solltest.
Inhaltsverzeichnis
Was ist RAG?
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Abruf erweiterte Textgenerierung“. Bevor ein Sprachmodell antwortet, sucht ein Suchsystem passende Textstellen aus deinen Unternehmensdokumenten heraus. Diese Fundstellen erhält das Modell zusammen mit der Frage. Es formuliert seine Antwort dann auf Basis dieser Quellen statt nur aus seinem Trainingswissen.
Ein Vergleich hilft: Ein Sprachmodell ohne RAG ist wie eine kluge Kollegin, die eine Prüfung aus dem Gedächtnis schreibt. Mit RAG darf sie in die Unterlagen schauen. Sie bleibt genauso klug, aber ihre Antworten werden überprüfbar.
Der Begriff geht auf ein Forschungspapier zurück, das ein Team um Patrick Lewis 2020 unter dem Titel „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“ veröffentlicht hat. Seitdem hat sich das Prinzip zum Standard für Unternehmensanwendungen entwickelt.
RAG einfach erklärt: der Ablauf in vier Schritten
Hinter jeder solchen Anwendung steckt derselbe Grundablauf. Zwei Schritte passieren einmalig oder regelmäßig im Hintergrund, zwei bei jeder einzelnen Frage.
- Dokumente aufbereiten: Das System liest deine Quellen ein, etwa PDFs, Wiki-Seiten oder Tickets, und zerlegt sie in kleinere Abschnitte. Fachleute nennen das Chunking.
- Bedeutung speichern: Jeder Abschnitt wird in einen Zahlenvektor übersetzt, ein sogenanntes Embedding. Ähnliche Inhalte liegen dabei mathematisch nah beieinander. Die Vektoren landen in einer Vektordatenbank oder einem Suchindex.
- Passende Stellen finden: Stellt jemand eine Frage, übersetzt das System auch diese in einen Vektor und sucht die inhaltlich ähnlichsten Abschnitte. Das funktioniert auch, wenn Frage und Dokument unterschiedliche Wörter verwenden.
- Antwort erzeugen: Frage und Fundstellen gehen gemeinsam an das Sprachmodell. Es formuliert eine Antwort und kann idealerweise angeben, aus welchem Dokument die Information stammt.
Das Entscheidende: Das Modell selbst verändert sich nicht. Aktualisierst du ein Dokument, reicht es, den Index neu aufzubauen. Schon die nächste Antwort nutzt den neuen Stand.
Semantische Suche und klassische Stichwortsuche
Die reine Vektorsuche erkennt Bedeutung, tut sich aber mit exakten Begriffen wie Artikelnummern oder Paragrafen schwer. Viele RAG-Systeme kombinieren deshalb beide Welten zur hybriden Suche. Ein zusätzlicher Bewertungsschritt, das sogenannte Reranking, sortiert die Treffer anschließend nach Relevanz.
Warum RAG für Unternehmen so attraktiv ist
RAG löst gleich mehrere Probleme, die den produktiven Einsatz von Sprachmodellen bisher bremsen. Für Entscheider zählen vor allem diese Vorteile:
- Aktualität: Neues Wissen ist verfügbar, sobald es indexiert ist. Ein teures Nachtraining entfällt.
- Nachvollziehbarkeit: Antworten lassen sich mit Quellen belegen. Nutzer können prüfen, ob die Aussage stimmt.
- Weniger Fehler: Wenn das Modell auf echte Dokumente zugreift, sinkt das Risiko erfundener Antworten deutlich, auch wenn es nicht verschwindet. Mehr dazu liest du in unserem Beitrag über KI-Halluzinationen und wie du sie vermeidest.
- Kontrolle: Du bestimmst, welche Quellen das System nutzt. Veraltete oder vertrauliche Dokumente bleiben draußen.
- Modellunabhängigkeit: Der Wissensspeicher gehört dir. Wechselst du das Sprachmodell, bleibt die RAG-Infrastruktur erhalten.
RAG oder Fine-Tuning: Was passt zu deinem Vorhaben?
Neben RAG gibt es einen zweiten Weg, ein Modell an Unternehmensbedürfnisse anzupassen: das Fine-Tuning. Dabei trainierst du ein bestehendes Modell mit eigenen Beispielen weiter. Beide Ansätze lösen unterschiedliche Probleme.
RAG eignet sich, wenn es um Wissen geht: Fakten, Dokumente, Regeln, die sich häufig ändern. Fine-Tuning eignet sich eher, wenn es um Verhalten geht: einen bestimmten Schreibstil, ein festes Ausgabeformat oder eine sehr spezielle Fachsprache.
Eine Faustregel für die Praxis lautet: Starte mit Retrieval-Augmented Generation. Das Verfahren ist schneller umgesetzt, leichter zu aktualisieren und transparenter. Fine-Tuning kommt erst ins Spiel, wenn RAG allein das gewünschte Verhalten nicht erreicht. Viele ausgereifte Systeme kombinieren beides.
Und was ist mit großen Kontextfenstern?
Moderne Sprachmodelle können sehr lange Texte auf einmal verarbeiten. Daraus entsteht oft die Frage, ob man einfach alle Dokumente in die Anfrage packen kann.
Für einzelne Verträge funktioniert das. Bei tausenden Dokumenten wird es jedoch teuer, langsam und unübersichtlich. Die Suche bleibt deshalb der Filter, der aus großen Wissensbeständen das Relevante herausholt.
Ein Beispiel aus dem Alltag
Beispielszenario: Ein Maschinenbauer betreibt ein Servicecenter. Techniker rufen dort an, wenn eine Anlage beim Kunden einen Fehlercode meldet. Bisher blättern die Mitarbeitenden in Handbüchern, durchsuchen alte Tickets und fragen erfahrene Kollegen.
Mit dem neuen Assistenten tippt der Mitarbeiter den Fehlercode und eine kurze Beschreibung ein. Die Suche findet die passende Stelle im Handbuch, zwei ähnliche gelöste Tickets und einen Hinweis aus dem Änderungsprotokoll der Steuerungssoftware. Das Sprachmodell fasst daraus einen Lösungsvorschlag zusammen und verlinkt alle drei Quellen.
Der Mensch entscheidet weiterhin, was er dem Techniker empfiehlt. Er spart aber die Suche und sieht sofort, worauf die Empfehlung beruht. Genau diese Kombination aus Geschwindigkeit und Nachvollziehbarkeit macht den Ansatz so wertvoll.
Typische Einsatzfelder für RAG im Unternehmen
Am meisten bringt die Technik dort, wo Mitarbeitende heute lange in Dokumenten suchen oder Kollegen fragen müssen. Bewährte Anwendungsfelder sind:
- Interner Wissensassistent: Fragen zu HR-Richtlinien, IT-Prozessen oder Reisekosten beantworten, mit Verweis auf die Originalquelle.
- Technischer Service: Servicetechniker finden die passende Stelle in Handbüchern und Wartungsprotokollen per Frage statt per Suche im Ordner.
- Kundensupport: Antwortentwürfe auf Basis aktueller Produktdokumentation und bekannter Lösungen.
- Vertrieb: Schneller Zugriff auf Produktdetails, Referenzprojekte und Ausschreibungsunterlagen.
- Recht und Compliance: Durchsuchen von Vertragsbeständen und Richtlinien, wobei die abschließende Bewertung bei Fachleuten bleibt.
Allen Fällen gemeinsam: Das Wissen existiert bereits schriftlich, ist aber schwer zugänglich. Die Technik macht es per natürlicher Sprache abrufbar.
Die häufigsten Stolpersteine bei RAG-Projekten
Ein Prototyp steht oft in wenigen Tagen. Der Weg zum zuverlässigen Produktivsystem ist deutlich länger. Diese Fallstricke begegnen Unternehmen besonders häufig.
Schlechte Daten, schlechte Antworten
RAG ist nur so gut wie die Dokumente dahinter. Veraltete Versionen, widersprüchliche Richtlinien und eingescannte PDFs ohne Texterkennung führen zu falschen oder unvollständigen Antworten. Plane deshalb Zeit für die Datenbereinigung ein und lege fest, wer für die Aktualität welcher Quellen verantwortlich ist.
Falsch geschnittene Textabschnitte
Sind die Abschnitte zu klein, fehlt der Zusammenhang. Sind sie zu groß, verwässert die Suche. Tabellen, Aufzählungen und Fußnoten brauchen oft eine Sonderbehandlung. Hier lohnt es sich, mit echten Fragen aus dem Alltag zu testen, statt sich auf Standardeinstellungen zu verlassen.
Berechtigungen werden ignoriert
Ein häufiger und gefährlicher Fehler: Das System indexiert alle Dokumente, und plötzlich kann jeder Mitarbeitende Gehaltslisten oder Vorstandsprotokolle abfragen. Die Suche muss deshalb die bestehenden Zugriffsrechte berücksichtigen. Jede Person darf nur Antworten aus Dokumenten erhalten, die sie auch selbst öffnen dürfte.
Keine systematische Qualitätsmessung
Ob ein solches System gut funktioniert, lässt sich nicht nach Bauchgefühl beurteilen. Lege einen Satz typischer Testfragen mit geprüften Antworten an. Miss regelmäßig zwei Dinge getrennt: Findet die Suche die richtigen Stellen? Und gibt das Modell diese Stellen korrekt wieder?
Zu hohe Erwartungen
Ein Wissensassistent ersetzt keine Fachleute. Er beantwortet Fragen auf Basis vorhandener Dokumente, kann aber keine Entscheidungen treffen, für die es keine schriftliche Grundlage gibt. Kommuniziere das von Anfang an klar. Nutzer, die realistische Erwartungen haben, melden Fehler konstruktiv, statt das Werkzeug nach der ersten falschen Antwort aufzugeben.
Hilfreich ist eine einfache Regel im Interface: Findet das System keine passende Quelle, sagt es das offen, statt eine Antwort zu konstruieren. Diese ehrliche Lücke stärkt das Vertrauen langfristig mehr als jede noch so elegant formulierte Vermutung.
Datenschutz und Sicherheit bei RAG
Sobald RAG auf personenbezogene Daten oder Geschäftsgeheimnisse zugreift, wird die Architekturfrage zur Compliance-Frage. Kläre, wo die Vektordatenbank liegt, welches Sprachmodell die Fundstellen verarbeitet und ob Daten den eigenen Rechtsraum verlassen. Eine Checkliste für den DSGVO-konformen Einsatz findest du in unserem Ratgeber zu KI-Tools und Datenschutz.
Für besonders sensible Daten kann es sinnvoll sein, das gesamte System im eigenen Rechenzentrum zu betreiben. Wie das mit kleineren Modellen gelingt, zeigt unser Beitrag über lokale KI auf dem eigenen Server.
Hinzu kommt ein eigenes Sicherheitsrisiko: Manipulierte Dokumente können versteckte Anweisungen enthalten, die das Sprachmodell ausführt. Prüfe deshalb, welche Quellen in den Index gelangen. Orientierung zu Risiken generativer KI bietet das Bundesamt für Sicherheit in der Informationstechnik (BSI).
Aufwand und Rollen: Wer im Projekt gebraucht wird
Viele unterschätzen, dass ein Wissensassistent kein reines IT-Projekt ist. Die Technik lässt sich heute mit Standardbausteinen vieler Cloud- und Open-Source-Anbieter zusammensetzen. Der größere Aufwand steckt in Inhalten, Abstimmung und Betrieb.
- Fachbereich: Definiert die wichtigsten Fragen, liefert Testfälle und bewertet die Antwortqualität.
- Content-Verantwortliche: Sorgen dafür, dass Dokumente aktuell, eindeutig und gut strukturiert sind.
- IT und Datenteam: Bauen Indexierung, Suche und Schnittstellen auf und überwachen den Betrieb.
- Datenschutz und Informationssicherheit: Prüfen Datenflüsse, Berechtigungen und Anbieterverträge.
Die laufenden Kosten hängen vor allem von der Zahl der Anfragen, der Länge der übergebenen Textstellen und dem gewählten Modell ab. Kalkuliere deshalb mit realistischen Nutzungszahlen, bevor du skalierst.
Wie sich RAG weiterentwickelt
Die Grundidee bleibt gleich, die Umsetzung wird ausgefeilter. Zwei Entwicklungen solltest du kennen, weil sie in Anbietergesprächen immer häufiger fallen.
Beim agentischen RAG entscheidet ein KI-Agent selbst, ob und wo er sucht. Er kann eine Frage in Teilfragen zerlegen, mehrere Quellen nacheinander abfragen und Ergebnisse vergleichen. Das verbessert Antworten auf komplexe Fragen, erhöht aber Kosten und Antwortzeit.
Graphbasierte Ansätze ergänzen die Textsuche um Wissensgraphen, die Beziehungen zwischen Personen, Produkten oder Projekten abbilden. Sie helfen bei Fragen, die Zusammenhänge über viele Dokumente hinweg erfordern. Für den Einstieg ist ein klassisches RAG-System jedoch meist die bessere Wahl.
Checkliste: So startest du dein erstes RAG-Projekt
Bevor du ein Budget freigibst, sollten diese Fragen beantwortet sein:
- Anwendungsfall: Welche Fragen sollen beantwortet werden, und wer stellt sie heute wem?
- Quellen: Welche Dokumente gehören in den Index, und wer verantwortet ihre Aktualität?
- Berechtigungen: Wie übernimmt das System bestehende Zugriffsrechte?
- Betriebsmodell: Cloud, eigener Server oder hybride Lösung, abhängig von Datenschutz und Budget?
- Qualität: Welche Testfragen und Kennzahlen entscheiden über den Erfolg?
- Nutzerführung: Wie zeigt die Anwendung Quellen an, und wie melden Nutzer falsche Antworten?
Starte mit einem klar abgegrenzten Wissensbereich und einer überschaubaren Nutzergruppe. So sammelst du Erfahrung, ohne dass ein Fehler das Vertrauen in die gesamte Initiative beschädigt.
Fazit: RAG macht Unternehmenswissen nutzbar
RAG verbindet die Sprachfähigkeit großer Modelle mit dem Wissen deines Unternehmens. Die Technik ist ausgereift, vergleichsweise günstig und flexibel, weil sie Modell und Wissensspeicher sauber trennt.
Der Erfolg entscheidet sich jedoch selten an der Technik. Entscheidend sind saubere Daten, respektierte Zugriffsrechte und eine ehrliche Qualitätsmessung. Wer diese Hausaufgaben macht, verwandelt verstreute Dokumente in einen Wissensassistenten, dem Mitarbeitende tatsächlich vertrauen.
Für die meisten Unternehmen ist RAG deshalb der logische erste Schritt, um generative KI produktiv und kontrolliert einzusetzen.
Häufige Fragen zu RAG
Was bedeutet RAG bei künstlicher Intelligenz?
RAG steht für Retrieval-Augmented Generation. Vor jeder Antwort sucht ein Suchsystem passende Textstellen aus deinen eigenen Dokumenten und übergibt sie gemeinsam mit der Frage an ein Sprachmodell. Das Modell formuliert seine Antwort auf Basis dieser Quellen. So kann KI mit aktuellem Unternehmenswissen arbeiten, ohne neu trainiert zu werden, und die Antworten lassen sich mit Quellen belegen.
Wie unterscheidet sich RAG von Fine-Tuning?
RAG ergänzt ein Sprachmodell bei jeder Anfrage um passende Dokumente, das Modell selbst bleibt unverändert. Fine-Tuning trainiert das Modell mit eigenen Beispielen weiter und verändert so sein Verhalten. RAG eignet sich für Wissen, das sich häufig ändert, Fine-Tuning eher für Stil, Format oder spezielle Fachsprache. In der Praxis starten die meisten Unternehmen mit RAG.
Welche Daten eignen sich für ein RAG-System?
Geeignet sind textbasierte Quellen wie Handbücher, Richtlinien, Wiki-Seiten, Produktdokumentationen, Tickets oder Verträge. Wichtig ist, dass die Inhalte aktuell, widerspruchsfrei und maschinenlesbar sind. Eingescannte Dokumente brauchen eine Texterkennung, Tabellen oft eine Sonderbehandlung. Für jede Quelle sollte feststehen, wer für die Aktualität verantwortlich ist und wer darauf zugreifen darf.
Warum gibt ein RAG-System trotzdem falsche Antworten?
Häufig findet die Suche nicht die richtigen Textstellen, etwa weil Dokumente veraltet, schlecht strukturiert oder ungünstig zerlegt sind. Manchmal interpretiert auch das Sprachmodell korrekte Fundstellen falsch. Deshalb solltest du Suche und Antwortqualität getrennt messen, mit einem festen Satz an Testfragen arbeiten und Nutzern eine einfache Möglichkeit geben, fehlerhafte Antworten zu melden.
Wann lohnt sich RAG für ein Unternehmen?
RAG lohnt sich, wenn wichtiges Wissen bereits schriftlich vorliegt, aber schwer auffindbar ist und Mitarbeitende viel Zeit mit Suchen oder Nachfragen verbringen. Typische Beispiele sind interne Wissensdatenbanken, technischer Service und Kundensupport. Ein klar abgegrenzter Wissensbereich mit überschaubarer Nutzergruppe ist der beste Startpunkt, um Nutzen und Qualität zu prüfen.
