Qualität sichern: prüfen, messen, nachbessern

Ein KI-Schritt ist nie fertig. Modelle ändern sich, Eingangsdaten ändern sich, und die Qualität kann sinken, ohne dass eine Fehlermeldung erscheint. Deshalb gehört zu jedem KI-Schritt im Dauerbetrieb eine Form der Qualitätssicherung – und zwar eine, die wenig Zeit kostet, sonst wird sie nicht durchgehalten. Diese Lektion zeigt, wie das mit überschaubarem Aufwand gelingt.

1. Erst messen, dann automatisieren

Bevor ein KI-Schritt in Betrieb geht, brauchen Sie eine Ausgangszahl. Nehmen Sie dreißig echte Vorgänge, lassen Sie den Schritt darüber laufen und vergleichen Sie jedes Ergebnis mit Ihrer eigenen Einschätzung. Daraus ergibt sich die Trefferquote – und wichtiger noch: ein Gefühl dafür, welche Art von Fehlern auftritt. Zwei Prozent falsch zugeordnete Werbemails sind harmlos, zwei Prozent falsch erkannte Rechnungsbeträge nicht. Nicht die Quote entscheidet über die Freigabe, sondern die Art der Fehler.

2. Stichproben im Betrieb

Neben der Zufallsstichprobe gibt es eine wirksamere Variante: die gezielte Prüfung der Fälle, bei denen das Modell selbst unsicher war oder eine Prüfung knapp bestanden wurde. Dort sitzen die Fehler deutlich häufiger als in zufällig gezogenen Vorgängen. Und in den ersten Wochen lohnt eine dritte Quelle: die Korrekturen, die Mitarbeitende ohnehin vornehmen. Jede Korrektur ist ein gemeldeter Fehler – wenn sie erfasst wird.

3. Verschlechterungen erkennen

Die typische Verschlechterung passiert schleichend und ohne Fehlermeldung. Drei Kennzahlen machen sie sichtbar, und alle drei fallen im laufenden Betrieb ohnehin an. Erstens der Anteil der Vorgänge, die automatisch durchlaufen: Sinkt er von 80 auf 60 Prozent, stimmt etwas nicht. Zweitens die Zahl der Korrekturen durch Menschen. Drittens die Verteilung der Kategorien: Wenn plötzlich die Hälfte aller Vorgänge in „unklar“ landet, hat sich etwas an den Eingangsdaten geändert.

4. Aus Korrekturen lernen

Wenn Mitarbeitende eine Kategorie ändern oder einen ausgelesenen Betrag korrigieren, entsteht die wertvollste Information überhaupt: ein Fehler mit der richtigen Antwort daneben. Sorgen Sie dafür, dass diese Korrekturen erfasst werden – meist genügt ein Feld, das festhält, welcher Wert ursprünglich vorgeschlagen wurde. Einmal im Quartal durchgesehen, ergibt sich daraus eine Liste typischer Fehler, die direkt in die Anweisung einfließt: als zusätzliches Beispiel, als klarere Regel oder als neue Kategorie. So verbessert sich ein Ablauf im Betrieb, statt zu verfallen.

5. Ein Beispiel

Eine Hausverwaltung ließ Mieteranliegen einsortieren. Vor dem Start wurden 40 Vorgänge geprüft, Trefferquote 91 Prozent, keine Fehler in der Kategorie „Notfall“ – damit ging der Ablauf in Betrieb, mit zehn Prozent Stichprobe. Nach vier Monaten fiel auf, dass der Anteil automatisch verarbeiteter Vorgänge von 84 auf 71 Prozent gefallen war. Die Ursache fand sich in den Korrekturen: Seit der Einführung eines neuen Mieterportals kamen Anliegen in einem anderen Format herein, mit vorangestelltem Betreffkürzel. Zwei ergänzte Beispiele in der Anweisung stellten den alten Stand wieder her. Ohne die Kennzahl wäre der Rückgang monatelang unbemerkt geblieben – niemand hätte etwas gemeldet, weil ja alles „irgendwie lief“.

6. Häufige Fragen

Wie oft sollte man Stichproben ziehen? In den ersten vier Wochen täglich eine kleine Menge, danach wöchentlich, später monatlich. Nach jeder Änderung an Anweisung, Modell oder Eingangsdaten wieder häufiger.

Was ist eine gute Trefferquote? Das hängt vollständig von den Folgen ab. Für das Vorsortieren von Post reichen 85 Prozent, für das Auslesen von Zahlungsbeträgen sind 98 Prozent mit Rechenprobe die untere Grenze. Legen Sie die Zahl vorher fest, nicht hinterher.

Lohnt sich ein automatischer Vergleich zweier Modelle? Bei größeren Mengen ja: Denselben Vorgang von zwei Modellen bearbeiten zu lassen und bei Abweichungen einen Menschen zu fragen, ist eine wirksame Prüfung – allerdings mit doppelten Kosten. Für die meisten Betriebe genügt die Stichprobe.

7. Übung zum Selbermachen

Legen Sie für Ihren geplanten KI-Schritt die fünf Festlegungen aus der Tabelle schriftlich fest. Bestimmen Sie dann, welche drei Zahlen Sie monatlich ansehen wollen und wo diese Zahlen herkommen. Tragen Sie zum Schluss einen wiederkehrenden Termin in den Kalender ein – zwanzig Minuten im Monat genügen. Ohne diesen Termin wird aus der besten Qualitätssicherung nichts, das ist die Erfahrung aus praktisch allen Projekten.

Das Prüfen einzelner KI-Antworten behandelt auch der Kurs Praktische KI-Integration; hier geht es um die laufende Qualitätssicherung im Prozessbetrieb.

Stand: September 2026. Kursmaterial der Klarwerk Akademie. Preise und Funktionsumfang der genannten Werkzeuge ändern sich laufend – maßgeblich sind die Angaben der Anbieter.