RAG im Systementwurf

Sprachmodelle wissen viel, aber nicht das, was ein Unternehmen ausmacht: die aktuellen Preise, das eigene Handbuch, die Hausordnung, die Details der eigenen Produkte. Und selbst allgemeines Wissen endet mit dem Trainingsstand des Modells. Retrieval-Augmented Generation, kurz RAG, löst dieses Problem, indem vor jeder Antwort die passenden Informationen aus einer eigenen Wissensbasis gesucht und dem Modell als Kontext mitgegeben werden. Das Modell formuliert dann eine Antwort auf Grundlage dieser Quellen. RAG ist das mit Abstand häufigste Muster für KI-Anwendungen in Unternehmen. Aus Sicht des Systementwurfs ist es vor allem ein Such- und Datenproblem – und genau so sollte man es auch behandeln.

1. Zwei Pipelines

Ein RAG-System besteht aus zwei getrennten Abläufen. Die Einlese-Pipeline läuft im Hintergrund: Dokumente werden geladen, bereinigt, in Abschnitte zerlegt, in Vektoren umgewandelt und mit Metadaten im Index gespeichert. Die Abfrage-Pipeline läuft bei jeder Frage: Sie sucht passende Abschnitte, sortiert sie, stellt den Kontext zusammen und ruft das Modell auf. Klicken Sie sich durch beide:

2. Chunking

Die Zerlegung in Abschnitte wirkt wie ein Detail, hat aber großen Einfluss auf die Qualität. Sind die Abschnitte zu klein, fehlt der Zusammenhang; sind sie zu groß, landet viel Irrelevantes im Kontext, und die Suche wird ungenau. Probieren Sie aus:

Bewährt haben sich Abschnitte entlang der Dokumentstruktur – Kapitel, Überschriften, Absätze –, eine moderate Überlappung, damit Sätze an Grenzen nicht verloren gehen, und angereicherte Abschnitte, die den Titel des Dokuments und die Überschrift des Kapitels mitführen. Tabellen und Listen verdienen besondere Behandlung, weil sie beim Zerlegen leicht ihren Sinn verlieren. Es gibt keine allgemein richtige Größe; sie wird anhand von Testfragen für die eigenen Dokumente ermittelt.

3. Suchen und Sortieren

Für die Suche hat sich die Kombination zweier Verfahren durchgesetzt. Die Vektorsuche findet inhaltlich ähnliche Abschnitte, auch wenn andere Wörter verwendet werden. Die Volltextsuche findet exakte Begriffe wie Modellnummern, Produktnamen oder Paragrafen, bei denen die Vektorsuche oft schwächelt. Die Ergebnisse beider werden zusammengeführt. Anschließend bewertet ein Reranking-Modell die Kandidaten genauer, weil es Frage und Abschnitt gemeinsam betrachtet. Dieser zweistufige Ansatz – breit suchen, genau sortieren – verbessert die Qualität meist deutlich stärker als ein größeres Sprachmodell.

4. Aktualität und Berechtigungen

Zwei Anforderungen werden in Prototypen oft übersehen und in der Produktion kritisch. Die erste ist die Aktualität: Wenn sich eine Preisliste ändert, muss der Index nachziehen. Die Einlese-Pipeline braucht deshalb eine Strategie für Aktualisierungen – ereignisgesteuert, wenn ein Dokument geändert wird, oder regelmäßig mit Erkennung geänderter Inhalte. Veraltete Abschnitte müssen entfernt werden, sonst widersprechen sich alte und neue Informationen. Die zweite ist die Berechtigung: Nicht jeder darf alles sehen. Interne Richtlinien gehören nicht in die Antworten für Kunden, Dokumente eines Mandanten nicht in die eines anderen. Die Filterung geschieht bei der Suche anhand der Metadaten, nicht erst danach, und schon gar nicht durch eine Anweisung an das Modell.

5. Fehler zuordnen

Wenn ein RAG-System falsch antwortet, gibt es drei grundsätzliche Ursachen: Die Daten sind falsch oder veraltet, die Suche hat die richtige Stelle nicht gefunden, oder das Modell hat die gefundenen Informationen falsch verarbeitet. Die Unterscheidung ist wichtig, weil jede Ursache eine andere Lösung verlangt. Üben Sie die Zuordnung:

6. Ein Beispiel

Ein Hotel mit Restaurant und Wellnessbereich möchte, dass Gäste Fragen rund um den Aufenthalt per Chat stellen können. Die Wissensbasis umfasst Hausinformationen, Speisekarten, Preislisten für Anwendungen und die Stornobedingungen, insgesamt rund 150 Dokumente. Die Einlese-Pipeline zerlegt sie entlang der Überschriften und liest geänderte Dokumente automatisch nachts neu ein; Speisekarten, die sich täglich ändern, werden sofort nach dem Speichern aktualisiert. Die Suche kombiniert Volltext und Vektoren in PostgreSQL, ein Reranking wählt die besten vier Abschnitte. Das Team pflegt eine Liste mit hundert typischen Gästefragen und den richtigen Quellen; vor jeder Änderung am System wird gemessen, wie oft die richtige Quelle gefunden und wie oft korrekt geantwortet wird.

Als Gäste berichten, dass der Assistent bei Fragen zu glutenfreien Gerichten unsicher antwortet, zeigt die Auswertung: Die Allergeninformationen stehen in einer Tabelle, die beim Zerlegen auseinandergerissen wurde. Nach einer eigenen Behandlung für Tabellen steigt die Trefferquote für diese Fragen deutlich. Das Beispiel zeigt die typische Arbeit an einem RAG-System: Es wird nicht einmal gebaut und dann vergessen, sondern mit Testfragen gemessen und gezielt verbessert – meist an Daten und Suche, seltener am Modell selbst.

7. Wann RAG – und wann etwas anderes?

RAG ist nicht die einzige Möglichkeit, einem Modell eigenes Wissen zu geben. Ist die Wissensbasis sehr klein, etwa zwei Seiten Hausinformationen, genügt es oft, alles direkt in die Systemanweisung zu schreiben und per Prompt-Caching günstig zu halten. Geht es nicht um Wissen, sondern um Stil oder ein festes Ausgabeformat, kann Feintuning eines Modells sinnvoll sein. Liegen die Informationen in einer Datenbank mit klaren Feldern, etwa Lagerbestände oder Termine, ist ein Werkzeug, das gezielt abfragt, verlässlicher als eine Textsuche. RAG spielt seine Stärken aus, wenn es viele, sich ändernde Textdokumente gibt, aus denen je nach Frage unterschiedliche Stellen gebraucht werden.

In der Praxis werden die Ansätze kombiniert. Ein Assistent für eine Zahnarztpraxis kann Hausregeln fest in der Systemanweisung tragen, Informationen zu Behandlungen per RAG aus Patienteninformationen holen und freie Termine über ein Werkzeug abfragen. Der Systementwurf legt fest, welche Information auf welchem Weg in den Kontext gelangt – und genau diese Klarheit macht den Unterschied zwischen einem Assistenten, der manchmal richtig liegt, und einem, auf den sich Praxis und Patienten verlassen können. Ebenso wichtig ist die Rückmeldung: Wenn die Wissensbasis keine passende Antwort enthält, sollte der Assistent das offen sagen und an einen Menschen verweisen, statt eine Antwort zu erfinden.

Stand: September 2026. Kursmaterial der Klarwerk Akademie. Zahlen zu Latenzen und Kosten sind Größenordnungen zur Orientierung, keine Messwerte.