Gradient descent is how a model teaches itself: it follows the slope of its own error downhill, one small step at a time. The curve in the tool is a loss function — how wrong the model is — and the ball is the current parameter, rolling toward the bottom.

Where you meet it

• Training almost every neural network — it is the optimizer underneath the loop.
• Fitting a linear or logistic regression when there's no closed-form shortcut.
• Names you've seen — SGD, Adam, RMSProp — are all gradient descent with extras bolted on.

What it does

It finds a minimum of the loss by repeatedly nudging the parameters in the direction that makes the loss smaller. It doesn't solve for the answer algebraically — it searches, taking the locally steepest downhill step each time and hoping the steps add up to the bottom.

The learning rate is the whole game: too big and it overshoots, too small and it crawls — there's no right value, only a tuned one.

How it works

One update, repeated until the loss stops dropping:

θ := θ − η · ∇J(θ)

The gradient ∇J(θ) is the vector of slopes of the loss with respect to each parameter. Here's the key fact: of all directions you could step, the gradient is the one of steepest increase. So its negative is the direction of steepest decrease — that's why the minus sign is there. A first-order Taylor expansion makes it precise: for a small step θ − η∇J, the loss changes by about −η · ‖∇J‖², which is negative, so the loss goes down. η (eta) is the learning rate — the step size.

A minimal example, minimizing J(x) = x² (so ∇J = 2x) from x = 1 with η = 0.3:

x = 1.0
x ← 1.0 − 0.3·(2·1.0) = 0.40
x ← 0.40 − 0.3·(2·0.40) = 0.16
x ← 0.16 − 0.3·(2·0.16) = 0.064   # → 0

The steps shrink as the slope flattens near the minimum — that automatic slowdown is built in, not coded.

Watch out

Go deeper

• Dive into Deep Learning — Gradient Descent (the Taylor "why" worked out)
• Stanford CS229 (Andrew Ng) — main course notes: LMS, batch & stochastic GD
• Goodfellow, Bengio & Courville — Deep Learning, Ch. 8: Optimization & SGD
• Distill — Why Momentum Really Works (learning rate & convergence, visual)
• 3Blue1Brown — Gradient descent, how neural networks learn (intuition)

Gradient Descent ist die Art, wie sich ein Modell selbst trainiert: Es folgt der Steigung seines eigenen Fehlers bergab — Schritt für kleinen Schritt. Die Kurve im Tool ist eine Loss-Funktion — wie falsch das Modell liegt — und der Ball ist der aktuelle Parameter, der nach unten rollt.

Wo es vorkommt

• Beim Training fast jedes neuronalen Netzes — es ist der Optimierer unter der Schleife.
• Beim Fitten einer linearen oder logistischen Regression, wenn es keine geschlossene Lösung gibt.
• Namen, die du kennst — SGD, Adam, RMSProp — sind alle Gradient Descent mit Zusätzen obendrauf.

Was es tut

Es findet ein Minimum des Loss, indem es die Parameter immer wieder in die Richtung schiebt, die den Loss kleiner macht. Es löst nicht algebraisch nach der Antwort auf — es sucht, macht jedes Mal den lokal steilsten Schritt bergab und hofft, dass die Schritte sich zum Tiefpunkt summieren.

Die Learning Rate ist das Entscheidende: zu groß und es überschießt, zu klein und es kriecht — es gibt keinen richtigen Wert, nur einen getunten.

Wie es funktioniert

Ein Update, wiederholt bis der Loss nicht mehr sinkt:

θ := θ − η · ∇J(θ)

Der Gradient ∇J(θ) ist der Vektor der Steigungen des Loss nach jedem Parameter. Der entscheidende Punkt: Von allen Richtungen, in die du gehen könntest, ist der Gradient die des steilsten Anstiegs. Sein Negatives ist also die Richtung des steilsten Abstiegs — daher das Minuszeichen. Eine Taylor-Entwicklung erster Ordnung macht es präzise: Für einen kleinen Schritt θ − η∇J ändert sich der Loss um etwa −η · ‖∇J‖², also negativ — der Loss sinkt. η (eta) ist die Learning Rate — die Schrittweite.

Ein minimales Beispiel, Minimierung von J(x) = x² (also ∇J = 2x), von x = 1 mit η = 0.3:

x = 1.0
x ← 1.0 − 0.3·(2·1.0) = 0.40
x ← 0.40 − 0.3·(2·0.40) = 0.16
x ← 0.16 − 0.3·(2·0.16) = 0.064   # → 0

Die Schritte werden kleiner, je flacher die Steigung nahe dem Minimum wird — diese automatische Verlangsamung ist eingebaut, nicht codiert.

Worauf achten

Mehr dazu

• Dive into Deep Learning — Gradient Descent (die Taylor-Begründung ausgerechnet)
• Stanford CS229 (Andrew Ng) — Hauptskript: LMS, Batch- & stochastischer GD
• Goodfellow, Bengio & Courville — Deep Learning, Kap. 8: Optimierung & SGD
• Distill — Why Momentum Really Works (Learning Rate & Konvergenz, visuell)
• 3Blue1Brown — Gradient Descent, wie neuronale Netze lernen (Intuition)