The normal distribution is the bell curve that nature keeps drawing. Values pile up near a center and thin out symmetrically on both sides. Two numbers describe it completely: where the peak sits and how wide the bell spreads.
Where you meet it
- Measurement noise, heights, test scores, exam grades — anything pushed around by many small independent effects.
- Statistics itself: sample means, confidence intervals, and hypothesis tests all lean on it.
- Machine learning: weight initialisation, Gaussian noise, and the assumption that model errors are normally distributed.
What it does
It assigns a probability density to every value of a continuous variable. The density is highest at the mean and falls off in a smooth, symmetric bell. It does not give you a probability directly — it tells you how concentrated the values are at each point, and probability comes from the area underneath.
The bell shows up everywhere because of the central limit theorem — add enough independent effects and the sum goes Gaussian, whatever the pieces looked like.
How it works
The shape is fixed by two parameters: μ (the mean) sets the location — slide it and the whole bell moves left or right. σ (the standard deviation) sets the width — small σ gives a tall, narrow peak; large σ a short, wide one. The total area is always exactly 1.
1 ( (x − μ)² )
f(x) = ───────────── · exp( − ─────── )
σ·√(2π) ( 2σ² )From the symmetry comes the 68–95–99.7 rule: about 68% of the area lies within μ ± σ, 95% within μ ± 2σ, and 99.7% within μ ± 3σ. A fast mental ruler for "how unusual is this value?".
Why it shows up everywhere is the central limit theorem: if you add up (or average) many independent random influences, the result tends toward a normal distribution — regardless of the shape of the individual pieces. Heights, errors and noise are all sums of countless tiny causes, so they end up Gaussian.
To compare values across different bells, standardise with the z-score:
z = (x − μ) / σThis rescales any normal variable to the standard normal with μ = 0 and σ = 1, so z simply counts how many standard deviations x is from the mean.
Watch out
- Not everything is normal. Incomes, file sizes and city populations are skewed or heavy-tailed — the bell underestimates how often extreme values occur. Plot the data before assuming Gaussian.
- σ vs σ². The standard deviation
σis in the same units as the data; the varianceσ²is its square. The 68–95–99.7 rule usesσ, notσ². - Density is not probability.
f(x)can exceed 1 (with a tinyσ) — it is a density, not a probability. The probability of an exact value is 0; probability only exists over an interval, as area under the curve (the CDF). - The CLT needs finite variance and enough terms. A handful of samples, or pieces with infinite variance, won't be cleanly normal.
Go deeper
Die Normalverteilung ist die Glockenkurve, die die Natur immer wieder zeichnet. Werte häufen sich um eine Mitte und werden nach außen symmetrisch seltener. Zwei Zahlen beschreiben sie vollständig: wo die Spitze liegt und wie breit die Glocke ist.
Wo es vorkommt
- Messrauschen, Körpergrößen, Testergebnisse, Noten — alles, was von vielen kleinen unabhängigen Einflüssen geformt wird.
- Die Statistik selbst: Stichprobenmittel, Konfidenzintervalle und Hypothesentests stützen sich darauf.
- Machine Learning: Gewichts-Initialisierung, gaußsches Rauschen und die Annahme normalverteilter Modellfehler.
Was es tut
Sie ordnet jedem Wert einer stetigen Variablen eine Wahrscheinlichkeitsdichte zu. Die Dichte ist am Mittelwert maximal und fällt in einer glatten, symmetrischen Glocke ab. Sie liefert keine Wahrscheinlichkeit direkt — sie sagt, wie konzentriert die Werte an jeder Stelle sind; die Wahrscheinlichkeit entsteht erst aus der Fläche darunter.
Die Glocke taucht überall auf wegen des zentralen Grenzwertsatzes — summier genug unabhängige Einflüsse und das Ergebnis wird gaußsch, egal wie die Teile aussahen.
Wie es funktioniert
Die Form legen zwei Parameter fest: μ (der Erwartungswert) bestimmt die Lage — verschiebt man ihn, wandert die ganze Glocke nach links oder rechts. σ (die Standardabweichung) bestimmt die Breite — kleines σ ergibt eine hohe, schmale Spitze, großes σ eine flache, breite. Die Gesamtfläche ist immer genau 1.
1 ( (x − μ)² )
f(x) = ───────────── · exp( − ─────── )
σ·√(2π) ( 2σ² )Aus der Symmetrie folgt die 68–95–99,7-Regel: rund 68% der Fläche liegen in μ ± σ, 95% in μ ± 2σ und 99,7% in μ ± 3σ. Ein schnelles Maß im Kopf für „wie ungewöhnlich ist dieser Wert?".
Warum sie überall auftaucht, erklärt der zentrale Grenzwertsatz: Summiert (oder mittelt) man viele unabhängige Zufallseinflüsse, strebt das Ergebnis gegen eine Normalverteilung — unabhängig von der Form der einzelnen Beiträge. Körpergrößen, Fehler und Rauschen sind Summen unzähliger winziger Ursachen und werden darum gaußsch.
Um Werte aus verschiedenen Glocken zu vergleichen, standardisiert man mit dem z-Wert:
z = (x − μ) / σDas skaliert jede normalverteilte Variable auf die Standardnormalverteilung mit μ = 0 und σ = 1; z zählt dann einfach, wie viele Standardabweichungen x vom Mittel entfernt ist.
Worauf achten
- Nicht alles ist normal. Einkommen, Dateigrößen und Stadtbevölkerungen sind schief oder heavy-tailed — die Glocke unterschätzt, wie oft Extremwerte auftreten. Erst die Daten plotten, dann von Gauß ausgehen.
- σ vs. σ². Die Standardabweichung
σhat dieselbe Einheit wie die Daten; die Varianzσ²ist ihr Quadrat. Die 68–95–99,7-Regel nutztσ, nichtσ². - Dichte ist keine Wahrscheinlichkeit.
f(x)kann größer als 1 sein (bei einem winzigenσ) — es ist eine Dichte, keine Wahrscheinlichkeit. Die Wahrscheinlichkeit eines exakten Werts ist 0; Wahrscheinlichkeit gibt es nur über ein Intervall, als Fläche unter der Kurve (die Verteilungsfunktion). - Der zentrale Grenzwertsatz braucht endliche Varianz und genug Summanden. Wenige Stichproben oder Beiträge mit unendlicher Varianz werden nicht sauber normal.