Worum es geht: Sie müssen nicht programmieren, um KI sicher einzusetzen. Aber wer versteht, was im Hintergrund passiert, erkennt Grenzen, Risiken – und die Stellen, an denen der AI Act ansetzt.
1. Training und Nutzung
- Training: Ein Modell lernt aus riesigen Datenmengen Muster. Das kostet enorm viel Rechenleistung und passiert beim Modellanbieter.
- Inferenz (Nutzung): Das fertige Modell beantwortet Ihre Anfrage. Das passiert jedes Mal, wenn jemand einen Prompt abschickt.
Das Modell selbst ist im Kern eine gewaltige Sammlung von Zahlen – den Parametern –, die beim Training so eingestellt wurden, dass gute Antworten wahrscheinlich werden.
2. Wie ein Sprachmodell schreibt
Ein Sprachmodell (LLM) „weiß“ nicht im menschlichen Sinn. Es berechnet für jede Stelle, welches Textstück (Token) als Nächstes wahrscheinlich folgt – und setzt die Antwort Stück für Stück zusammen. Probieren Sie es aus:
Wer auf der Website einen KI-Chatbot einsetzt, sollte ihn deutlich als ___
rot = passt inhaltlich schlecht
Temperatur 0.70
Bei 10 Versuchen wählt das Modell etwa
8 × „KI“
Chance auf ein unpassendes Wort
0.7 %
Ausgewogen: Meist das naheliegende Wort, gelegentlich eine Alternative. So klingen Texte natürlich, ohne oft danebenzuliegen. Gut für: E-Mails, Artikel, Kundenantworten.
Was passiert technisch?
Das Modell vergibt jedem möglichen Wort einen Rohwert. Diese Rohwerte werden durch die Temperatur geteilt und dann in Wahrscheinlichkeiten umgerechnet. Eine kleine Temperatur vergrößert die Abstände: Der Favorit wird fast sicher. Eine große Temperatur gleicht die Werte an: Auch Außenseiter werden gezogen. Das Modell weiß dabei nie, ob ein Wort stimmt – es würfelt nur mit unterschiedlich gewichteten Würfeln.
In Chat-Oberflächen wie ChatGPT ist die Temperatur fest eingestellt. Wer KI per Schnittstelle in eigene Software einbindet, kann sie selbst wählen – und sollte sie für Fakten niedrig halten.
Vereinfachte Beispielwerte zur Veranschaulichung – echte Modelle wählen aus Zehntausenden Token.
3. Prompt und Kontextfenster
Der Prompt ist Ihre Eingabe – samt Anweisungen, Beispielen und angehängten Dokumenten. Alles, was das Modell für eine Antwort „vor Augen hat“, passt in sein Kontextfenster. Was nicht darin steht, kennt es nur aus dem Training – und das kann veraltet sein.
4. Eigenes Wissen anbinden: RAG und Fine-Tuning
| RAG (Retrieval-Augmented Generation) | Fine-Tuning | |
|---|---|---|
| Idee | Vor der Antwort passende Stellen aus eigenen Dokumenten suchen und mitgeben | Das Modell mit eigenen Beispielen nachtrainieren |
| Gut für | Aktuelles Wissen, Handbücher, Produktdaten | Stil, Format, wiederkehrende Aufgaben |
| Aktualisieren | Dokument austauschen – fertig | Neu trainieren |
| Quellen nachvollziehbar | Ja, Fundstellen lassen sich anzeigen | Kaum |
Für die Suche in Dokumenten werden Texte oft in Embeddings umgerechnet – Zahlenvektoren, die Bedeutungsähnlichkeit messbar machen.
5. Schnittstellen und Agenten
Über APIs binden Unternehmen fremde Modelle in eigene Software ein. KI-Agenten gehen einen Schritt weiter: Sie planen mehrere Schritte und nutzen Werkzeuge – etwa Websuche, E-Mail oder Kalender –, um eine Aufgabe zu erledigen.
Stand: September 2026. Kein Rechtsrat.