Lineare Regression

Worum es geht: Sie haben Messpunkte – etwa Werbebudget und Anfragen – und wollen eine Gerade finden, die den Zusammenhang möglichst gut beschreibt. Diese Gerade ist das einfachste Modell im Machine Learning und steckt in vielen größeren Verfahren.

1. Das Modell: eine Gerade

Wir sagen einen Wert ŷ („y-Dach“, die Vorhersage) aus einem Merkmal x vorher:

• a – Achsenabschnitt: der vorhergesagte Wert bei x = 0
• b – Steigung: um wie viel ŷ wächst, wenn x um 1 steigt

2. Probieren Sie es aus

Verschieben Sie die Regler, bis Ihre blaue Gerade die Punkte möglichst gut trifft. Achten Sie auf den MSE – je kleiner, desto besser. Vergleichen Sie danach mit der besten Geraden.

3. Wie misst man „gut“? Der Fehler

Für jeden Punkt ist der Residuum genannte Fehler der Abstand zwischen echtem Wert und Vorhersage: e_i = y_i − ŷ_i. Positive und negative Fehler würden sich aufheben, deshalb quadrieren wir sie und bilden den Mittelwert:

1. Für jeden Punkt messen: Wie weit liegt die Gerade daneben?
2. Diesen Abstand mit sich selbst malnehmen (quadrieren) – so wird er immer positiv.
3. Alle Werte zusammenzählen und durch die Anzahl der Punkte teilen.

Das Ergebnis heißt MSE (mittlerer quadratischer Fehler). Kurz gesagt: der durchschnittliche Fehler, quadriert.

Das Quadrieren bestraft große Fehler stärker als kleine – im Labor sehen Sie das an den blauen Quadraten. Genau deshalb reißt ein einzelner Ausreißer die Gerade stark zu sich (Beispiel „Mit Ausreißer“).

4. Die beste Gerade: Methode der kleinsten Quadrate

Sie müssen die beste Gerade nicht durch Probieren suchen – man kann sie ausrechnen. Die Idee dahinter ist einfacher, als die Formel aussieht:

1. Die Mitte finden. Rechnen Sie den Durchschnitt aller x-Werte und aller y-Werte aus. Dieser Punkt ist der „Schwerpunkt“ der Wolke – die beste Gerade geht immer durch ihn hindurch.
2. Prüfen, ob die Punkte gemeinsam steigen. Liegt ein Punkt rechts von der Mitte und oben, spricht er für eine steigende Gerade. Liegt er rechts und unten, spricht er für eine fallende. Das zählt man für alle Punkte zusammen.
3. Mit der Breite der Wolke vergleichen. Dieses „gemeinsame Steigen“ teilt man durch die Streuung der x-Werte. Heraus kommt die Steigung b.
4. Gerade durch die Mitte legen. Mit der Steigung und dem Schwerpunkt ergibt sich der Achsenabschnitt a von selbst.

5. Einmal von Hand durchgerechnet

Daten des Lehrbuch-Beispiels: x = 1, 2, 3, 4, 5 und y = 2, 4, 5, 4, 5. Die Mitte liegt bei x = 3 und y = 4 (Durchschnitte).

Steigung: 6 geteilt durch 10 = 0,6. Heißt: Wächst x um 1, wächst y im Schnitt um 0,6. Die Gerade soll durch die Mitte (3 | 4) gehen: 4 − 0,6 · 3 = 2,2 – das ist der Achsenabschnitt. Die Gerade lautet ŷ = 2,2 + 0,6 · x. Die Vorhersagen sind 2,8 · 3,4 · 4,0 · 4,6 · 5,2, die quadrierten Fehler summieren sich zu 2,4 – der MSE ist 0,48. Laden Sie das Beispiel oben und prüfen Sie es nach.

6. Wie viel erklärt das Modell? R²

R² beantwortet die Frage: Wie viel besser ist meine Gerade als einfach immer den Durchschnitt zu raten?

• R² = 0 – nicht besser als raten
• R² = 0,6 – die Gerade erklärt 60 % der Schwankungen
• R² = 1 – perfekt, alle Punkte liegen auf der Geraden

Im Beispiel: 1 − 2,4 / 6 = 0,6 – die Gerade erklärt 60 % der Streuung. R² = 1 heißt: alle Punkte liegen exakt auf der Geraden.

7. In Python

import numpy as np

x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])

b, a = np.polyfit(x, y, deg=1)   # Steigung, Achsenabschnitt
y_dach = a + b * x
mse = np.mean((y - y_dach) ** 2)
r2 = 1 - np.sum((y - y_dach) ** 2) / np.sum((y - y.mean()) ** 2)

print(f"ŷ = {a:.1f} + {b:.1f}·x   MSE={mse:.2f}   R²={r2:.2f}")
# ŷ = 2.2 + 0.6·x   MSE=0.48   R²=0.60

8. Typische Denkfehler

• Zusammenhang ist keine Ursache. Eine steigende Gerade beweist nicht, dass x y verursacht.
• Nicht über die Daten hinaus vorhersagen. Wer Budgets von 100–800 € gemessen hat, weiß nichts über 10.000 €.
• Ausreißer prüfen. Ein einzelner falscher Messwert kann die Steigung kippen.
• Nicht jeder Zusammenhang ist linear. Erst plotten, dann rechnen.

Übung

1. Laden Sie „Werbebudget → Anfragen“. Wie viele Anfragen sagt die beste Gerade bei einem Budget von 450 € (x = 4,5) voraus?
2. Laden Sie „Mit Ausreißer“ und entfernen Sie den Punkt bei x = 8 per Doppelklick. Wie ändern sich Steigung und R²?
3. Setzen Sie fünf Punkte so, dass R² nahe 0 liegt. Wie sieht die beste Gerade dann aus?