Gradientenabstieg – Mathe für KI & Data Science

Worum es geht: In der vorigen Lektion haben Sie gelernt, die Steigung an einer Stelle zu bestimmen. Jetzt kommt der Trick, mit dem praktisch jede KI lernt – und er besteht aus einer einzigen Regel, die man sich in zehn Sekunden merkt: Schau, wo es bergab geht, und mach einen Schritt in diese Richtung. Dann wieder. Und wieder.

1. Der Wanderer im Nebel 🌫️

Stellen Sie sich vor, Sie stehen im dichten Nebel auf einem Berg. Sie sehen keine zwei Meter weit. Trotzdem sollen Sie ins Tal finden – den tiefsten Punkt der ganzen Landschaft.

Die Landkarte hilft nicht, Sie haben keine. Aber Sie haben Ihre Füße. Und die spüren, in welche Richtung der Boden abfällt.

Die einzige Regel

Fühlen, wo es bergab geht. Einen Schritt in diese Richtung machen. Von Neuem fühlen. Wiederholen, bis es in keine Richtung mehr bergab geht.

Das ist der gesamte Gradientenabstieg. Kein Zaubertrick, keine höhere Mathematik – eine Regel, die ein Kind versteht und die Millionen Mal hintereinander ausgeführt wird.

Der Gradientenabstieg findet den tiefsten Punkt einer Landschaft, ohne sie je gesehen zu haben. Er kennt immer nur die Steigung unter den eigenen Füßen – und macht daraus Schritt für Schritt einen Weg ins Tal.

2. Probieren Sie es aus

Setzen Sie den Wanderer irgendwo ab und lassen Sie ihn laufen. Achten Sie auf die orangefarbene Gerade: Das ist die Steigung, die er gerade unter den Füßen spürt.

LaborDen Berg hinunterfinden

Startpunkt -3.5

Schrittweite 0.30

Position-3.500

Höhe24.700

Steigung-8.800

Schritte0

Die Steigung zeigt bergauf nach links – also geht es im nächsten Schritt nach rechts.

Eine Talsohle, überall führt der Hang dorthin. Egal wo Sie starten – Sie kommen an.

Die orangefarbene Gerade ist die Steigung an der aktuellen Stelle – genau die Ableitung aus der vorigen Lektion.

3. Warum das Minuszeichen?

Die Regel lautet: neue Position = alte Position minus Schrittweite mal Steigung. Das Minus verwirrt am Anfang, ist aber logisch.

Steigung ist positiv → es geht nach rechts bergauf → also gehe ich nach links.
Steigung ist negativ → es geht nach rechts bergab → also gehe ich nach rechts.

In beiden Fällen gehe ich der Steigung entgegen. Genau das besagt das Minuszeichen. Und wenn die Steigung null ist, bleibe ich stehen – ich bin unten.

Als Formel ansehen

x_neu = x_alt − η · f′(x_alt)

Das griechische η (eta) ist die Schrittweite, in der Fachsprache Lernrate. Bei mehreren Eingangsgrößen wird aus der einzelnen Ableitung ein Gradient: ein Pfeil, der in jede Richtung die Steigung angibt und zusammen die steilste Richtung zeigt.

4. Die Schrittweite entscheidet alles

Gehen Sie im Labor zurück auf die einfache Mulde und probieren Sie drei Einstellungen aus:

Zu kleine Schritte (etwa 0,05)

Der Wanderer kommt an – aber er braucht ewig. Beim Training eines echten Modells heißt das: Tage statt Stunden, und möglicherweise Kosten im vierstelligen Bereich für Rechenzeit, die nicht nötig gewesen wäre.

Zu große Schritte (ab etwa 1,1)

Der Wanderer springt über das Tal hinweg auf die andere Seite – und von dort wieder zurück. Bis etwa 1,2 pendelt er sich trotzdem noch ein. Stellen Sie 1,4 ein und starten Sie links vom Tal: Nach zehn Schritten ist er aus der Landschaft verschwunden.

Passende Schritte (etwa 0,4)

Anfangs große Fortschritte, dann immer feiner – weil die Steigung im Tal von selbst flacher wird und damit auch die Schritte kleiner. Das Verfahren bremst sich selbst ab.

Die Schrittweite ist die wichtigste Einstellung beim Training. Zu klein kostet Zeit und Geld, zu groß verhindert jedes Ergebnis. In der Praxis beginnt man groß und verkleinert im Lauf des Trainings – das nennt sich Lernraten-Plan.

5. Zwei Täler: der Haken an der Sache 🏞️

Schalten Sie im Labor auf „Zwei Täler“ um und starten Sie einmal ganz links, einmal ganz rechts. Der Wanderer landet in unterschiedlichen Tälern – obwohl die Landschaft dieselbe ist.

Der Grund ist die Regel selbst: Sie kennt nur die Steigung unter den Füßen. Ein tieferes Tal hinter dem nächsten Hügel bemerkt sie nicht. Fachleute nennen das ein lokales Minimum: ein Tal, aus dem man ohne Bergauflaufen nicht wieder herauskommt.

Drei Dinge helfen in der Praxis. Erstens: mehrmals von zufälligen Startpunkten beginnen und das beste Ergebnis nehmen. Zweitens: Schwung mitgeben – der Wanderer behält einen Teil seiner bisherigen Richtung bei und rollt über kleine Hügel hinweg. Drittens: nicht immer den exakten Weg nehmen, sondern eine leicht verrauschte Richtung – das stößt ihn gelegentlich aus flachen Mulden heraus.

Bei großen neuronalen Netzen ist das Problem übrigens weit weniger schlimm, als es klingt. In Landschaften mit Millionen Richtungen sind echte Sackgassen selten – der Weg nach unten führt fast immer irgendwo weiter.

6. Was hat das mit Lernen zu tun? 🎯

Bisher war die Landschaft abstrakt. Beim Training eines Modells bedeutet sie etwas ganz Konkretes:

Die Position sind die Einstellungen des Modells – bei der Regression aus Lektion 1 also Steigung und Achsenabschnitt der Geraden.
Die Höhe ist der Fehler: wie weit die Vorhersagen danebenliegen.
Das Tal ist die Kombination von Einstellungen mit dem kleinsten Fehler.

„Ein Modell lernt“ heißt damit nichts anderes als: Ein Wanderer sucht im Nebel das Tal. Er probiert Einstellungen aus, misst den Fehler, spürt die Richtung und geht einen Schritt. Millionen Mal.

Beim Sprachmodell

Dieselbe Regel, nur mit Milliarden Richtungen statt einer. Die Landschaft hat dann Milliarden Dimensionen – vorstellen kann sie sich niemand, aber gerechnet wird genau so: Steigung bestimmen, Schritt entgegen der Steigung, wiederholen.

7. In Python: der Wanderer als Programm

Sechs Zeilen, und Sie haben den Kern jedes Trainings vor sich:

gradientenabstieg.py

def hoehe(x):
    return 0.8 * (x - 2) ** 2 + 0.5      # die Landschaft

def steigung(x):
    return 1.6 * (x - 2)                 # ihre Ableitung

x = -3.5          # Startpunkt
schrittweite = 0.4

for i in range(20):
    x = x - schrittweite * steigung(x)   # die eine Regel
    print(f"Schritt {i+1}: x = {x:.3f}, Höhe = {hoehe(x):.3f}")

Lassen Sie das laufen, und Sie sehen dieselben Zahlen wie im Labor oben. Wenn Sie später mit PyTorch oder TensorFlow arbeiten, passiert unter der Haube genau das – nur dass die Ableitung automatisch berechnet wird und statt einer Zahl Millionen davon bewegt werden.

8. Was Sie mitnehmen sollten

Gradientenabstieg ist eine Regel: entgegen der Steigung gehen, wiederholen.
Die Schrittweite entscheidet zwischen „dauert ewig“, „funktioniert“ und „läuft davon“.
Das Verfahren findet das nächstgelegene Tal, nicht zwingend das tiefste.
„Lernen“ heißt bei einer KI: Einstellungen so lange nachjustieren, bis der Fehler am kleinsten ist.

Wenn Sie in Berichten über KI lesen, ein Modell sei „trainiert“ worden, wissen Sie jetzt, was tatsächlich passiert ist: Ein Wanderer ist im Nebel millionenfach bergab gegangen.