Worum es geht: Ein Sprachmodell kennt Ihre Preisliste nicht, Ihre Verträge nicht und Ihre Abläufe nicht. Die Lösung heißt nicht Training, sondern Nachschlagen: Zu jeder Frage werden die passenden Stellen aus Ihren Dokumenten herausgesucht und mitgegeben. Dieses Verfahren trägt das Kürzel RAG.
1. Die vier Schritte 🔍
- Zerlegen: Dokumente in Abschnitte teilen – am besten an Überschriften.
- Einbetten: Jeden Abschnitt in einen Zahlenvektor übersetzen, wie im Mathe-Modul beschrieben.
- Suchen: Zur Frage die ähnlichsten Abschnitte finden.
- Antworten: Die gefundenen Abschnitte mitgeben und die Frage stellen.
Der entscheidende Punkt: Es wird nichts trainiert und nichts verändert. Das Modell bekommt bei jeder Frage die passenden Unterlagen mitgeliefert – wie ein Mitarbeiter, dem man die richtige Seite aufschlägt.
2. Im Editor nachbauen
Wir bauen alle vier Schritte in vereinfachter Form – mit Wortvergleich statt echter Vektoren, damit das Prinzip sichtbar wird:
3. Warum Vektoren besser sind als Stichwörter 🧭
Im Labor haben wir gemeinsame Wörter gezählt. Das scheitert, sobald jemand anders formuliert: Die Frage „Was kostet das ungefähr?“ enthält kein einziges Wort aus dem Abschnitt „Preise: 180 bis 320 Euro je Quadratmeter“.
Echte Systeme übersetzen deshalb Frage und Abschnitte in Zahlenvektoren, die Bedeutung abbilden. Dann liegen „Was kostet das?“ und „Preise“ nahe beieinander, obwohl kein Wort übereinstimmt.
In der Praxis kombiniert man beides: Vektorsuche für den Sinn, Stichwortsuche für Eigennamen und Artikelnummern. Diese Mischung schlägt jede der beiden Methoden allein.
4. Die drei Regeln, die ein RAG-System sicher machen 🛡️
Schritt 4 im Labor enthält sie bereits, und sie sind wichtiger als jede technische Feinheit:
- Nur das Material verwenden. Ohne diese Vorgabe mischt das Modell eigenes Wissen dazu – und das ist bei Ihren Preisen falsch.
- Unwissen zugeben dürfen. „Dazu liegt mir nichts vor“ ist eine bessere Antwort als eine erfundene.
- Fundstelle nennen. Macht die Antwort prüfbar und zeigt sofort, wenn etwas dazuerfunden wurde.
Fundstellen anzeigen
5. Womit man das baut 🧰
| Baustein | Möglichkeiten |
|---|---|
| Einbettungen | Modelle der großen Anbieter oder offene Modelle, die lokal laufen |
| Speicher | Für wenige tausend Abschnitte reicht eine Datei oder PostgreSQL mit pgvector |
| Rahmenwerk | LangChain oder LlamaIndex nehmen Arbeit ab – für einfache Fälle selbst bauen |
Für eine Wissensbasis aus einigen hundert Seiten braucht es kein spezialisiertes System. PostgreSQL mit der Erweiterung pgvector genügt und läuft dort, wo Ihre Daten ohnehin liegen.
6. Woran RAG-Systeme scheitern ⚠️
Fast nie an der Technik, fast immer an den Dokumenten. Die häufigsten Ursachen: veraltete Unterlagen, die niemand aussortiert hat. Widersprüche zwischen zwei Fassungen desselben Dokuments. Wissen, das nur in Köpfen existiert und nirgends steht. Und Abschnitte, die aus dem Zusammenhang gerissen unverständlich sind.
Deshalb beginnt ein RAG-Projekt nicht mit Code, sondern mit Aufräumen: Welche Dokumente gelten, wer pflegt sie, was ist überholt? Das ist unspektakulär und entscheidet über das Ergebnis.
7. Was Sie mitnehmen sollten
- RAG ist Nachschlagen, kein Training – Dokumente tauschen genügt.
- Vier Schritte: zerlegen, einbetten, suchen, antworten.
- Drei Regeln: nur das Material, Unwissen zugeben, Fundstelle nennen.
- Der Erfolg hängt an der Pflege der Dokumente, nicht an der Technik.