Dokumentation, Vorfälle und Aufsicht

Die letzten Lektionen haben die Bausteine gelegt: Inventur, Anbieterprüfung, Richtlinie. Diese Lektion fügt sie zu einem System zusammen und beantwortet drei Fragen, die Unternehmen oft erst stellen, wenn es schon brennt. Was müssen wir aufschreiben? Was tun wir, wenn etwas schiefgeht? Und wer kontrolliert das eigentlich?

Die gute Nachricht vorweg: Für die meisten Unternehmen, die KI als Betreiber im minimalen Risiko und mit Transparenzpflichten einsetzen, ist der Aufwand überschaubar. Die Dokumente, die in diesem Kurs entstanden sind, bilden bereits den Kern. Es geht darum, sie zusammenzuführen, aktuell zu halten und für den Ernstfall einen klaren Ablauf zu haben. Ein gemeinsamer Ordner, auf den die verantwortlichen Personen Zugriff haben, genügt dafür vollkommen – entscheidend ist nicht das Werkzeug, sondern dass jeder weiß, wo die Unterlagen liegen.

1. Was dokumentiert werden sollte

Der AI Act verlangt von Betreibern nur an wenigen Stellen ausdrücklich eine Dokumentation, etwa die Aufbewahrung der Protokolle von Hochrisiko-Systemen. In der Praxis hat sich aber eine schlanke Mappe bewährt, die im Ernstfall zeigt, dass das Unternehmen sorgfältig gehandelt hat.

2. Wenn etwas schiefgeht

KI-Systeme machen Fehler. Ein Chatbot gibt eine falsche Auskunft, ein Werkzeug verarbeitet Daten, die es nicht hätte sehen sollen, ein Bewerbungssystem sortiert auffällig einseitig. Entscheidend ist nicht, ob so etwas passiert, sondern wie das Unternehmen reagiert. Dafür lohnt es sich, drei Arten von Vorfällen zu unterscheiden.

Die erste und häufigste Art sind Datenschutzvorfälle, etwa wenn Kundendaten in ein nicht freigegebenes Werkzeug gelangen. Hier gilt die DSGVO: Besteht ein Risiko für die Betroffenen, muss die Aufsichtsbehörde binnen 72 Stunden informiert werden. Die zweite Art betrifft Hochrisiko-Systeme. Stellt ein Betreiber fest, dass der Einsatz ein Risiko für Gesundheit, Sicherheit oder Grundrechte birgt, informiert er nach Art. 26 Abs. 5 den Anbieter und die Behörde und setzt die Nutzung aus. Bei einem schwerwiegenden Vorfall muss der Anbieter ihn nach Art. 73 innerhalb enger Fristen melden – grundsätzlich spätestens 15 Tage, nachdem er davon erfahren hat, in besonders gravierenden Fällen deutlich schneller.

Die dritte und größte Gruppe sind Vorfälle ohne Meldepflicht: falsche Antworten, peinliche Formulierungen, ein Bild, das hätte gekennzeichnet werden müssen. Sie verdienen trotzdem Aufmerksamkeit. Ein einfaches Protokoll, in dem solche Fälle mit Ursache und Maßnahme festgehalten werden, ist das beste Frühwarnsystem, das ein Unternehmen haben kann. Der folgende Assistent hilft bei der ersten Einordnung.

3. Wer kontrolliert?

Die Aufsicht über den AI Act ist auf mehrere Ebenen verteilt. Auf europäischer Ebene koordiniert das Europäische KI-Büro bei der Kommission die Umsetzung und beaufsichtigt die Anbieter großer KI-Modelle. In den Mitgliedstaaten übernehmen Marktüberwachungsbehörden die Kontrolle der übrigen Pflichten. In Deutschland ist dafür nach den Plänen der Bundesregierung vor allem die Bundesnetzagentur vorgesehen, daneben bleiben für bestimmte Bereiche Fachbehörden zuständig. Datenschutzfragen beaufsichtigen weiterhin die Datenschutzbehörden.

Die Befugnisse der Marktüberwachung sind weitreichend: Sie kann Unterlagen und Informationen anfordern, Systeme prüfen, Korrekturen anordnen und im äußersten Fall den Einsatz untersagen. Hinzu kommt ein Beschwerderecht: Nach Art. 85 kann sich jede Person, die einen Verstoß vermutet, an die Marktüberwachung wenden. Das bedeutet, dass Kontrollen nicht nur anlassunabhängig stattfinden, sondern auch durch Hinweise von Kunden, Beschäftigten oder Wettbewerbern ausgelöst werden können.

4. Governance als Kreislauf

Das Muster ist aus dem Qualitätsmanagement vertraut: planen, umsetzen, prüfen, verbessern. Übertragen auf KI heißt das, einmal im Jahr bewusst innezuhalten. Stimmt die Inventur noch? Welche Vorfälle gab es, und was haben wir daraus gelernt? Passt die Richtlinie zu den Werkzeugen, die tatsächlich genutzt werden? Sind neue Rollen dazugekommen, die geschult werden müssen? Eine Stunde mit der KI-verantwortlichen Person, der Geschäftsführung und dem Datenschutz genügt oft. Wichtig ist, dass das Ergebnis festgehalten wird. Wer darüber hinaus ein formales Managementsystem aufbauen möchte, findet in der internationalen Norm ISO/IEC 42001 einen Rahmen, der sich an bekannte Managementsysteme wie ISO 9001 oder ISO 27001 anlehnt und mit diesen verbunden werden kann.

Damit schließt sich der Kreis dieses Kurses. Sie kennen die Pflichten, die Rollen, die Risikoklassen und die Werkzeuge, um sie im eigenen Unternehmen umzusetzen. Im abschließenden Test können Sie prüfen, was hängen geblieben ist. Und die Karteikarten aus allen Modulen finden Sie im Trainer, der sie in wachsenden Abständen wiederholt.

5. Was eine gute Reaktion ausmacht

Ob ein Vorfall zu einem großen Problem wird, entscheidet sich oft in den ersten Stunden. Bewährt hat sich ein einfacher Ablauf, der vorher feststeht und allen bekannt ist. Zuerst wird der Schaden begrenzt: das Werkzeug pausieren, den Zugang sperren, die fehlerhafte Antwort korrigieren. Dann wird der Vorgang festgehalten, solange die Erinnerung frisch ist – was ist passiert, wann, wer ist betroffen, welche Daten, welches System? Erst danach folgt die Einordnung, ob eine Meldepflicht besteht, und gegebenenfalls die Meldung.

Mindestens ebenso wichtig ist die Nachbereitung. Jeder Vorfall wirft die Frage auf, warum er möglich war. Fehlte eine Regel, war die Schulung unzureichend, war das Werkzeug falsch konfiguriert? Die Antwort fließt in die nächste Überarbeitung von Richtlinie, Inventur oder Schulung. So wird aus einem Fehler eine Verbesserung, und genau das erwarten Aufsichtsbehörden, wenn sie nach dem Umgang mit Vorfällen fragen. Ein Unternehmen, das zeigen kann, dass es aus Vorfällen lernt, wird anders beurteilt als eines, das sie verschweigt.

Hilfreich ist, den Ablauf einmal im Jahr durchzuspielen, etwa an einem erfundenen Fall: Ein Mitarbeiter meldet, dass er versehentlich eine Kundenliste in einen privaten KI-Dienst kopiert hat. Wer ist zu informieren, wer entscheidet über die Meldung, wo wird der Vorgang dokumentiert? Eine solche Übung dauert eine halbe Stunde und deckt Lücken auf, die im Ernstfall teuer würden.

Stand: September 2026, Rechtsstand nach dem AI Omnibus (VO (EU) 2026/1744). Kursmaterial der Klarwerk Akademie, keine Rechtsberatung. Abbildungen sind vereinfachte, schematische Darstellungen.