Was ist RAG? RAG-System einfach erklärt

RAG (Retrieval Augmented Generation) heißt: Bevor die KI antwortet, sucht ein System die passenden Stellen in deinen Unterlagen heraus. Die KI formuliert die Antwort aus diesen Stellen, nicht nur aus ihrem Training. Ein kleines Unternehmen braucht dafür oft kein eigenes System, solange die Unterlagen in den Chat passen.

Ein RAG-System lohnt sich erst bei sehr vielen Dokumenten, die sich oft ändern, oder wenn viele Leute mit unterschiedlichen Rechten darin nachschlagen sollen. Meine KI-Mitarbeiter arbeiten mit Wissen in Dateien: Jeder hat einen eigenen Ordner mit Personalakte, Regeln und eigenen Wissensdateien. Das ist ein einfacherer Weg als RAG, und warum er für viele reicht, erkläre ich in Warum ChatGPT vergisst, KI-Mitarbeiter nicht. Alle Grundlagen zu KI findest du auf der Seite KI-Grundlagen.

Was RAG heißt

Die drei englischen Wörter beschreiben den Ablauf:

• Retrieval heißt Abrufen: Das System sucht passende Textstellen.
• Augmented heißt erweitert: Diese Stellen kommen zur Frage dazu.
• Generation heißt Erzeugung: Das Sprachmodell schreibt daraus die Antwort.

Ein Sprachmodell, auf Englisch Large Language Model oder kurz LLM, ist das Programm hinter Chats wie ChatGPT oder Claude. Ohne RAG antwortet es aus dem Gedächtnis, also aus dem, was es im Training gesehen hat. Mit RAG antwortet es eher wie bei einer Prüfung mit offenem Buch: Es bekommt die passenden Seiten vorgelegt.

Den Begriff RAG prägten Patrick Lewis und Kollegen 2020 in einer Forschungsarbeit. Anthropic, der Hersteller von Claude, beschreibt RAG heute als Technik, die das Abrufen von Informationen mit dem Erzeugen von Text verbindet. Das Ziel: genauere Antworten, die sich auf Belege stützen. Die Daten werden dabei erst abgerufen, wenn die Frage gestellt wird, und landen dann im Kontextfenster des Modells, also in dem Bereich, den es gerade vor sich hat. Was das Kontextfenster ist, erkläre ich in meinem Beitrag zum Kontextfenster.

So funktioniert ein RAG-System

Anthropic beschreibt den typischen Aufbau in zwei Phasen.

Einmal vorab, die Vorbereitung:

1. Die Unterlagen werden in kleine Abschnitte zerlegt, meist nur wenige hundert Token lang. Ein Token ist eine kleine Texteinheit, oft ein Wort oder ein Wortteil.
2. Ein eigenes Modell übersetzt jeden Abschnitt in eine Zahlenreihe, die seine Bedeutung abbildet. Diese Zahlenreihe heißt Embedding.
3. Die Embeddings kommen in eine Vektordatenbank. Das ist eine Datenbank, in der man nach ähnlicher Bedeutung suchen kann, nicht nur nach gleichen Wörtern.

Bei jeder Frage:

4. Das System sucht die Abschnitte, deren Bedeutung am besten zur Frage passt.
5. Diese Abschnitte gehen zusammen mit der Frage an das Sprachmodell.
6. Das Modell formuliert die Antwort. Gute Systeme zeigen dazu die Fundstelle.

Ein Haken, den Anthropic selbst nennt: Die Suche nach Bedeutung übersieht manchmal genaue Treffer, etwa eine bestimmte Fehlernummer. Anthropic empfiehlt deshalb, sie mit einer klassischen Stichwortsuche zu kombinieren.

Ein Beispiel, so ausgedacht: Ein Heizungsbauer mit acht Leuten hat Tausende Seiten Herstellerunterlagen, Wartungsanleitungen und Garantiebedingungen. Ein Monteur fragt auf dem Handy: „Welcher Wartungsabstand gilt für Kessel X?“ Das System sucht die Stelle in der Anleitung, die KI antwortet mit Seitenangabe. Ohne RAG würde das Modell aus seinem allgemeinen Wissen raten, und genau dort entstehen Fehler. Warum KI dann rät, steht in meinem Beitrag KI-Halluzinationen erkennen und reduzieren.

Wann ein kleines Unternehmen RAG braucht und wann nicht

Anthropic hat 2024 eine klare Faustregel veröffentlicht: Ist deine Wissensbasis kleiner als 200.000 Token, das sind laut Anthropic etwa 500 Seiten, kannst du sie einfach komplett mitgeben, ohne RAG. Die Zahlen beziehen sich auf die Modelle von damals, prüf die Grenze deshalb bei deinem Werkzeug. Das Prinzip gilt weiter: Was in den Kontext passt, braucht keine Suche davor.

Dazu kommt: Manche Werkzeuge machen RAG schon von selbst. Ein Projekt ist in Claude ein Arbeitsbereich, in dem Dateien und Anweisungen für alle Chats darin bereitliegen. In Claude-Projekten schaltet Claude laut Anthropic automatisch in einen RAG-Modus, sobald das Projektwissen an die Grenze des Kontextfensters kommt. Dann passt bis zu zehnmal so viel hinein, und Claude durchsucht das Projektwissen mit einem eigenen Suchwerkzeug. Das gibt es in den bezahlten Plänen Pro, Max, Team und Enterprise.

Die Einteilung in der Tabelle ist meine Empfehlung, keine Herstellerregel. Wann eine gepflegte Liste der häufigen Fragen reicht und ab wann eine Wissensdatenbank sinnvoll wird, habe ich ausführlicher in Wissensmanagement mit KI im Unternehmen sortiert.

RAG, Fine-Tuning und Wissen in Dateien

Drei Wege werden oft verwechselt:

Die ersten beiden Zeilen folgen Anthropics Glossar. Dort steht auch, dass die Claude-API, also die Schnittstelle für Entwickler, Fine-Tuning derzeit nicht anbietet. Für ein kleines Unternehmen ist Fine-Tuning damit selten der erste Schritt. Die dritte Zeile ist mein eigener Weg und technisch die einfachste Form: Die Rolle liest ihre Dateien bei jedem Auftrag selbst, ohne Datenbank davor.

Worauf du achten solltest

• Die Antwort ist nur so gut wie der Bestand. Anthropic schreibt selbst, dass RAG von der Qualität der Wissensbasis abhängt. Veraltete oder widersprüchliche Unterlagen ergeben veraltete oder widersprüchliche Antworten. Räum also zuerst auf.
• RAG senkt das Risiko erfundener Antworten, beseitigt es aber nicht. Ein Modell kann einen Treffer überdehnen oder die falsche Stelle erwischen. Deshalb gehört zu jeder Antwort die Fundstelle.
• Rechte vor Technik. Wenn nicht jeder alles sehen darf, muss die Suche schon nach Berechtigung filtern. Auch Microsoft nennt das als eigene Herausforderung: Jeder darf nur abrufen, wofür er berechtigt ist. Ein Modell, das eine Quelle gelesen hat, kann sie in der Antwort verraten. Wie du Rechte und getrennte Wissensräume planst, steht in KI-Wissensdatenbank aus Calls.
• Kläre den Datenweg. Bei vertraulichen Unterlagen ist die erste Frage, wo sie verarbeitet werden. Die Abwägung zwischen Cloud und eigener Hardware steht in Lokale KI und Datenschutz: Cloud oder Server?

Häufige Fragen

Was bedeutet RAG?

RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „Erzeugen mit vorherigem Nachschlagen“. Die KI bekommt vor der Antwort passende Stellen aus deinen Unterlagen und formuliert daraus ihre Antwort.

Was ist ein RAG-System?

Ein System aus zwei Teilen: einer Suche, die passende Abschnitte in deinen Dokumenten findet, und einem Sprachmodell, das daraus die Antwort schreibt. Dazu kommt meist eine Vektordatenbank, in der die Abschnitte nach Bedeutung abgelegt sind.

Brauche ich als kleines Unternehmen ein RAG-System?

Meistens nicht sofort. Solange deine Unterlagen in den Chat oder ein Projekt passen, gibst du sie direkt mit. Ein eigenes System lohnt sich bei sehr vielen, oft geänderten Dokumenten oder wenn viele Personen mit unterschiedlichen Rechten darin suchen.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG gibt dem Modell bei jeder Frage passende Unterlagen mit, das Modell selbst bleibt gleich. Fine-Tuning trainiert das Modell mit zusätzlichen Daten weiter. Laut Anthropic hilft RAG bei aktuellen Informationen und Quellenangaben, Fine-Tuning eher bei Fachgebiet, Aufgabe oder Schreibstil.

Nutzt Claude RAG?

In Projekten ja, automatisch: Kommt das Projektwissen an die Grenze des Kontextfensters, schaltet Claude laut Anthropic in einen RAG-Modus und durchsucht das Wissen mit einem eigenen Werkzeug. Das gilt für die bezahlten Pläne.

Wie du weitermachst

Schreib dir auf, welche zehn Fragen in deinem Betrieb immer wieder gestellt werden, und prüf, ob die Antworten schon in deinen Unterlagen stehen. Passen diese Unterlagen in ein Projekt, fang dort an. Ein eigenes System kannst du später immer noch bauen. Davor lohnt sich der Beitrag KI-Halluzinationen erkennen und reduzieren, denn genau dagegen hilft RAG. Alle Fachwörter aus diesem Beitrag findest du in meinem KI-Glossar. Wie andere ihr Wissen für KI aufbereiten, besprechen wir in meiner deutschsprachigen Community Claude Practitioners.