Worum es geht: Ein Modell zu bauen dauert zehn Minuten. Zu beurteilen, ob es taugt, ist die eigentliche Arbeit – und die Stelle, an der die meisten Projekte scheitern. Diese Lektion behandelt die Kennzahlen, die zählen, und den Fehler, der am häufigsten vorkommt.
1. Überanpassung: auswendig statt verstanden 📚
Ein Schüler, der alle Übungsaufgaben auswendig lernt, schreibt bei genau diesen Aufgaben eine Eins – und fällt bei neuen durch. Genau das kann einem Modell passieren: Es merkt sich die Trainingsdaten, statt das Muster dahinter zu lernen.
Erkennbar ist das an einer einzigen Zahl: der Differenz zwischen Trainingsergebnis und Testergebnis.
| Training | Test | Diagnose |
|---|---|---|
| 98 % | 96 % | Gesund – das Modell hat das Muster gelernt |
| 99 % | 72 % | Überanpassung – auswendig gelernt |
| 64 % | 63 % | Unteranpassung – zu einfach für die Aufgabe |
Gegen Überanpassung hilft: mehr Daten, ein einfacheres Verfahren, weniger Merkmale oder eine Begrenzung der Modellfreiheit – bei einem Entscheidungsbaum etwa eine maximale Tiefe.
2. Die Verwechslungsmatrix 🔢
Bei Einordnungen sagt die Genauigkeit allein zu wenig. Ein Modell, das bei einer Ausschussquote von zwei Prozent immer „in Ordnung“ antwortet, hat 98 Prozent Genauigkeit – und ist vollkommen nutzlos.
Deshalb schaut man auf vier Felder: richtig erkannt, fälschlich gemeldet, übersehen, richtig durchgewinkt. Daraus ergeben sich zwei Kennzahlen, die gegenläufig sind:
- Genauigkeit der Treffer (Precision): Wie viele der Alarme waren berechtigt? Hoch heißt: wenig Fehlalarm.
- Trefferquote (Recall): Wie viele der echten Fälle wurden gefunden? Hoch heißt: wenig übersehen.
Die Entscheidung ist unternehmerisch
Der F1-Wert fasst beide zusammen, wenn keine Seite klar wichtiger ist. Er ist ein Kompromiss – und ersetzt nicht die Frage, welcher Fehler mehr kostet.
3. Bei Regressionen
| Kennzahl | Bedeutung | Wann |
|---|---|---|
| MAE | Mittlere Abweichung in der Einheit der Daten | Am leichtesten zu erklären: „im Schnitt 4.200 € daneben“ |
| RMSE | Wie MAE, aber große Fehler zählen stärker | Wenn Ausreißer besonders schmerzen |
| R² | Anteil der erklärten Schwankung, 0 bis 1 | Zum Vergleich zweier Modelle |
Für Gespräche mit Fachabteilungen ist MAE fast immer die richtige Wahl: Eine Abweichung in Euro versteht jeder, ein R² von 0,87 niemand.
4. Kreuzvalidierung 🔄
Eine einzelne Aufteilung in Training und Test kann Glück oder Pech sein – besonders bei wenigen Daten. Die Kreuzvalidierung teilt die Daten in fünf Teile, lernt fünfmal mit je vier Teilen und prüft am jeweils fünften.
from sklearn.model_selection import cross_val_score
werte = cross_val_score(modell, X, y, cv=5)
print(werte) # fünf einzelne Ergebnisse
print(werte.mean(), werte.std())Entscheidend ist dabei die Streuung. Fünf Ergebnisse zwischen 0,84 und 0,87 sind belastbar. Ergebnisse zwischen 0,55 und 0,92 bedeuten, dass das Modell stark von der Aufteilung abhängt – dann ist die Datenlage zu dünn für eine Aussage.
5. Die Messlatte, die oft fehlt 📏
Bevor ein Modell als gut gilt, braucht es einen Vergleich. Drei Messlatten helfen: Was leistet die einfachste denkbare Regel – etwa immer den Mittelwert vorhersagen? Was leistet ein Mensch bei derselben Aufgabe? Und was leistet das Verfahren, das heute im Einsatz ist?
Ein Modell mit 78 Prozent Genauigkeit klingt mittelmäßig. Wenn die bisherige Regel 61 Prozent erreicht, ist es ein Fortschritt. Wenn ein Mensch 95 Prozent schafft, ist es unbrauchbar. Ohne Messlatte ist die Zahl bedeutungslos.
Als Formel ansehen
Bei ungleich verteilten Klassen ist die Genauigkeit irreführend. Verwenden Sie stattdessen die ausgeglichene Genauigkeit oder betrachten Sie die Verwechslungsmatrix direkt. In scikit-learn liefert classification_report alle Kennzahlen je Klasse auf einmal.
6. Was Sie mitnehmen sollten
- Die Lücke zwischen Training und Test zeigt Überanpassung.
- Genauigkeit allein trügt – bei seltenen Fällen immer die Verwechslungsmatrix ansehen.
- Trefferquote gegen Fehlalarm ist eine unternehmerische Abwägung.
- Jede Zahl braucht eine Messlatte, sonst sagt sie nichts.