Kosten, Latenz und Evaluierung

Eine KI-Funktion im Prototyp zum Laufen zu bringen, ist heute leicht. Sie im Betrieb bezahlbar, schnell und verlässlich gut zu halten, ist die eigentliche Arbeit. Drei Größen stehen dabei in ständiger Spannung: Kosten, Geschwindigkeit und Qualität. Ein größeres Modell liefert oft bessere Antworten, ist aber teurer und langsamer. Mehr Kontext verbessert manche Antworten, kostet aber mehr Token und Zeit. Wer diese Zusammenhänge versteht und misst, kann gezielt entscheiden. Wer es nicht tut, zahlt entweder zu viel oder liefert schlechtere Qualität, als möglich wäre – oft ohne es zu merken.

1. Wie Kosten entstehen

Die Kosten einer Anfrage ergeben sich aus der Zahl der Eingabe- und Ausgabe-Token multipliziert mit den Preisen des Modells. Weil bei RAG und Agenten der Kontext oft Tausende Token umfasst, dominiert häufig die Eingabe. Und weil Agenten mehrere Aufrufe nacheinander machen, vervielfachen sich die Kosten pro Vorgang. Spielen Sie mit dem Rechner:

Das Ergebnis überrascht viele: Zwischen kleinem und großem Modell liegen oft Faktoren von fünfzig und mehr – bei einem Qualitätsunterschied, der für viele Aufgaben kaum ins Gewicht fällt. Deshalb ist die Modellwahl die wirksamste Stellschraube für Kosten. Die zweite ist der Kontext: Jeder Abschnitt, der unnötig mitgeschickt wird, kostet bei jeder einzelnen Anfrage.

2. Latenz verstehen

Die Antwortzeit eines Sprachmodells besteht aus zwei Teilen. Die Zeit bis zum ersten Token hängt vom Modell, der Länge des Kontexts und der Auslastung des Anbieters ab. Die Erzeugungszeit hängt von der Länge der Antwort und der Geschwindigkeit des Modells ab. Für die gefühlte Geschwindigkeit ist die erste Größe entscheidend, denn mit Streaming sieht der Nutzer ab dem ersten Token, dass etwas passiert. Lange Antworten brauchen dagegen einfach Zeit; hier hilft es, das Modell um knappe Antworten zu bitten oder die Ausgabelänge zu begrenzen. Bei Agenten addieren sich die Zeiten aller Schritte, weshalb sie für Anwendungen, in denen Nutzer auf eine Antwort warten, sorgfältig begrenzt werden müssen.

3. Hebel für Kosten und Tempo

Mehrere Techniken senken Kosten und Latenz, oft gleichzeitig:

Besonders wirkungsvoll ist das Routing: Ein kleines, schnelles Modell ordnet die Anfrage ein und beantwortet die einfachen Fälle selbst. Nur wenn die Aufgabe es verlangt, wird ein größeres Modell hinzugezogen. In vielen Anwendungen sind die meisten Anfragen einfach, sodass die Kosten deutlich sinken, ohne dass die Qualität leidet.

4. Qualität messen: Evals

Die größte Gefahr bei KI-Anwendungen sind unbemerkte Verschlechterungen. Eine kleine Änderung am Prompt, ein neues Modell oder eine geänderte Wissensbasis kann einige Antworten verbessern und andere verschlechtern. Ohne systematische Messung merkt man das erst, wenn sich Kunden beschweren. Evals sind automatisierte Tests für KI-Funktionen: eine Sammlung typischer Eingaben mit erwarteten Ergebnissen oder Bewertungskriterien, die vor jeder Änderung durchlaufen wird. Probieren Sie einen Vergleich:

Bewertet werden Evals auf drei Arten. Wo es eine eindeutige richtige Antwort gibt, prüft Code direkt, etwa ob die richtige Kategorie gewählt oder ein gültiges JSON erzeugt wurde. Wo Antworten frei formuliert sind, bewertet ein zweites Modell anhand klarer Kriterien, ob die Antwort korrekt, vollständig und durch Quellen gedeckt ist. Und regelmäßig bewerten Menschen eine Stichprobe, um die automatische Bewertung zu kalibrieren. Die Testsammlung wächst mit dem Betrieb: Jeder Fehler, der im Alltag auffällt, wird zu einem neuen Testfall.

5. Betrieb im Alltag

Im laufenden Betrieb kommen die Werkzeuge aus dem Modul Zuverlässigkeit und Betrieb zum Einsatz, ergänzt um KI-spezifische Kennzahlen. Überwacht werden Kosten pro Anfrage, pro Funktion und pro Kunde, die Zeit bis zum ersten Token und die Gesamtdauer, die Fehlerquote der Modellaufrufe, der Anteil der Antworten, die von Leitplanken blockiert wurden, und direkte Rückmeldungen der Nutzer, etwa über Daumen nach oben oder unten. Neue Prompt- oder Modellversionen werden wie Code ausgerollt: erst gegen die Evals geprüft, dann für einen kleinen Teil der Nutzer freigeschaltet, dann für alle. Und weil Anbieter ihre Modelle weiterentwickeln, lohnt es sich, die Evals regelmäßig auch mit neuen Modellen laufen zu lassen – oft wird eine Funktion mit einem neueren, kleineren Modell besser und günstiger zugleich.

6. Ein Beispiel

Eine Sprachschule bietet einen KI-Tutor an, der Übungen korrigiert und Fragen zur Grammatik beantwortet. Zum Start nutzt sie ein großes Modell für alles und zahlt nach drei Monaten mehr für KI als für Server und Personal der Technik zusammen. Das Team baut eine Testsammlung mit 200 echten, anonymisierten Schüleranfragen und bewertet sie. Ergebnis: Für die Korrektur einfacher Übungen erreicht ein kleines Modell nahezu dieselbe Qualität. Ein Routing schickt nun einfache Korrekturen an das kleine Modell und nur Erklärungen komplexer Grammatik an das große. Die Systemanweisung wird zwischengespeichert, die Antworten werden knapper formuliert. Die Kosten sinken um rund drei Viertel, die Antwortzeit halbiert sich, und die Qualität bleibt in den Evals stabil. Vor jeder weiteren Änderung läuft die Testsammlung automatisch durch – und hat seitdem zweimal verhindert, dass eine Verschlechterung live ging.

Eine letzte Empfehlung betrifft die Reihenfolge der Arbeit. Viele Teams optimieren zuerst die Kosten, weil diese auf der Rechnung sichtbar sind. Sinnvoller ist es, zuerst die Qualität messbar zu machen: Ohne Evals weiß man nicht, ob ein günstigeres Modell oder ein kürzerer Kontext die Antworten verschlechtert. Mit einer guten Testsammlung dagegen wird jede Optimierung zu einem kontrollierten Experiment, dessen Ergebnis man nach wenigen Minuten kennt.

Stand: September 2026. Kursmaterial der Klarwerk Akademie. Zahlen zu Latenzen und Kosten sind Größenordnungen zur Orientierung, keine Messwerte.