Worum es geht: Eine Anwendung mit Sprachmodell hat dieselben Bausteine wie jede andere – und sieben weitere. Wer sie kennt, kann einschätzen, was ein Angebot enthält und was fehlt, und kann einem Agenten eine Architektur vorgeben, statt eine zu bekommen.
1. Die sieben zusätzlichen Bausteine
Der eigentliche Aufruf an das Sprachmodell. Gehört immer auf den Server, nie in den Browser – sonst ist der Schlüssel öffentlich. Braucht Zeitüberschreitung, Wiederholversuche und eine Obergrenze für die Antwortlänge.
2. Der übliche Ablauf
Eine Frage kommt an. Der Server prüft, wer fragt und ob die Frage zulässig ist. Dann werden passende Abschnitte aus den eigenen Dokumenten herausgesucht und zusammen mit der Systemanweisung und der Frage an das Modell geschickt. Die Antwort wird geprüft – hat sie das erwartete Format, enthält sie keine erfundenen Belege –, protokolliert und zurückgegeben. Hat das Modell ein Werkzeug aufgerufen, wird dessen Ergebnis angehängt und erneut gefragt.
Der Prüfschritt vor der Rückgabe wird am häufigsten weggelassen. Ein Modell liefert Text, keine Wahrheit: Wenn ein bestimmtes Format erwartet wird, muss das nach dem Empfang geprüft werden, bevor damit weitergearbeitet wird.
3. Wissensabruf in vier Schritten
| Schritt | Was passiert | Worauf es ankommt |
|---|---|---|
| Zerlegen | Dokumente in Abschnitte teilen | Abschnitte entlang von Überschriften, nicht nach Zeichenzahl |
| Einbetten | Jeden Abschnitt in einen Zahlenvektor übersetzen | Dasselbe Verfahren für Speichern und Suchen verwenden |
| Suchen | Zur Frage die ähnlichsten Abschnitte finden | Ähnlichkeit plus Stichwortsuche schlägt beides einzeln |
| Antworten | Gefundene Abschnitte mitgeben und fragen | Quellenangabe verlangen, damit die Antwort prüfbar bleibt |
4. Kosten planen
Drei Größen bestimmen die Rechnung: die Länge des Kontexts je Aufruf, die Zahl der Aufrufe und das gewählte Modell. Der Kontext ist der größte Hebel, weil er sich am leichtesten kürzen lässt – wer bei jeder Frage die vollständige Dokumentation mitgibt, zahlt dafür bei jeder Frage.
Rechnen Sie vor dem Bauen: Aufrufe je Tag mal Kosten je Aufruf mal dreißig. Wenn dabei eine Zahl herauskommt, die niemand genehmigen würde, ist das der Zeitpunkt für ein kleineres Modell, kürzeren Kontext oder einen Zwischenspeicher – nicht der Monat nach dem Livegang.
5. Was eingebaut sein muss
Vier Dinge unterscheiden einen Versuch von einer betriebsfähigen Anwendung. Eine Obergrenze für Aufrufe je Nutzer und Tag, damit weder Kosten noch Missbrauch entgleisen. Eine Behandlung des Falls, dass das Modell nicht antwortet – mit einer verständlichen Meldung statt eines ewigen Ladezustands. Eine Prüfung der Antwort auf Format und Plausibilität. Und ein Protokoll, mit dem sich im Nachhinein klären lässt, was das System gesagt hat.
6. Rechtliches in Kürze
Personenbezogene Daten an einen Modellanbieter zu schicken braucht eine Rechtsgrundlage und einen Vertrag zur Auftragsverarbeitung; wo möglich ist Anonymisierung der einfachere Weg. Hinzu kommt die Pflicht zur KI-Kompetenz nach Artikel 4 der KI-Verordnung für alle, die solche Systeme im Unternehmen betreiben. Und Nutzer müssen erkennen können, dass sie mit einem System sprechen – eine Selbstverständlichkeit, die trotzdem festgehalten gehört.
7. Häufige Fragen
Eigenes Modell betreiben? Sinnvoll bei strengen Datenschutzanforderungen oder sehr hohem Aufkommen. Für die meisten Anwendungen im Mittelstand ist ein Anbieter günstiger und besser – der Betrieb eigener Modelle ist eine eigene Disziplin.
Was ist der Unterschied zwischen Wissensabruf und Feinabstimmung? Wissensabruf gibt dem Modell bei jeder Frage die passenden Informationen mit; Feinabstimmung verändert das Modell selbst. Für Wissen ist der Abruf fast immer richtig – Feinabstimmung lohnt für Stil und Format, nicht für Fakten.
Wie testet man so etwas? Mit einer Sammlung fester Fragen und erwarteter Eigenschaften der Antwort, die nach jeder Änderung durchläuft. Wie das genau geht, steht im Modul zu Harness Engineering.
Stand: September 2026. Die Übungen laufen vollständig in Ihrem Browser – es wird nichts gespeichert oder übertragen.