Bayes' theorem updates a belief when new evidence arrives. It turns "how likely is this evidence if my hypothesis were true?" into the thing you actually want: "how likely is my hypothesis, now that I've seen the evidence?"
Where you meet it
- Spam filters — given these words, how likely is "spam"?
- Medical tests — given a positive result, how likely is the disease?
- Machine learning — naive Bayes classifiers, and Bayesian inference in general.
- Any time you reason backwards from data to its cause.
What it does
It flips a conditional probability. You usually know the probability of the evidence given the cause, written P(E | H) — but you want the cause given the evidence, P(H | E). Bayes converts one into the other.
A test can be 99% accurate and still be wrong most of the time it fires — if the thing it looks for is rare.
How it works
P(H | E) = P(E | H) · P(H) / P(E)- P(H) — the prior: your belief before the evidence.
- P(E | H) — the likelihood: how well the hypothesis predicts the evidence.
- P(E) — the evidence: how common the evidence is overall (it normalises the result).
- P(H | E) — the posterior: your updated belief.
A test for a disease is 99% accurate. The disease affects 1 in 1,000 people. You test positive — what's the chance you're actually sick? Out of 1,000 people, 1 is sick and (correctly) tests positive; about 10 healthy people test positive by error. So a positive result means roughly 1 in 11 ≈ 9%, not 99%. The rare prior dominates.
Watch out
- Base-rate neglect — the mistake above. When the cause is rare, even an accurate test gives mostly false alarms.
P(H | E)is notP(E | H). Confusing the two directions is the whole reason the theorem exists.P(E)must count all ways the evidence can happen — true positives and false positives.
A rare cause can make even a near-perfect test mostly wrong.
Go deeper
Der Satz von Bayes aktualisiert eine Annahme, wenn neue Evidenz dazukommt. Er verwandelt "wie wahrscheinlich ist diese Evidenz, falls meine Hypothese stimmt?" in das, was dich eigentlich interessiert: "wie wahrscheinlich ist meine Hypothese, jetzt wo ich die Evidenz gesehen habe?"
Wo es vorkommt
- Spam-Filter — bei diesen Wörtern, wie wahrscheinlich ist "Spam"?
- Medizinische Tests — bei positivem Ergebnis, wie wahrscheinlich die Krankheit?
- Machine Learning — Naive-Bayes-Klassifikatoren und Bayessche Inferenz allgemein.
- Immer wenn du von den Daten rückwärts auf ihre Ursache schließt.
Was es tut
Es dreht eine bedingte Wahrscheinlichkeit um. Bekannt ist meist die Wahrscheinlichkeit der Evidenz gegeben die Ursache, P(E | H) — gesucht ist die Ursache gegeben die Evidenz, P(H | E). Bayes rechnet die eine in die andere um.
Ein Test kann zu 99% genau sein und trotzdem meistens danebenliegen, wenn er anschlägt — sofern das Gesuchte selten ist.
Wie es funktioniert
P(H | E) = P(E | H) · P(H) / P(E)- P(H) — der Prior: deine Annahme vor der Evidenz.
- P(E | H) — die Likelihood: wie gut die Hypothese die Evidenz vorhersagt.
- P(E) — die Evidenz: wie häufig die Evidenz insgesamt ist (sie normiert das Ergebnis).
- P(H | E) — der Posterior: deine aktualisierte Annahme.
Ein Test auf eine Krankheit ist zu 99% genau. Die Krankheit betrifft 1 von 1.000 Menschen. Du wirst positiv getestet — wie groß ist die Chance, dass du wirklich krank bist? Von 1.000 Menschen ist 1 krank und (korrekt) positiv; etwa 10 Gesunde sind fälschlich positiv. Ein positives Ergebnis heißt also rund 1 zu 11 ≈ 9%, nicht 99%. Der seltene Prior dominiert.
Worauf achten
- Basisraten-Vernachlässigung — der Fehler von oben. Ist die Ursache selten, liefert selbst ein genauer Test überwiegend Fehlalarme.
P(H | E)ist nichtP(E | H). Genau diese Verwechslung der Richtungen ist der Grund, warum es den Satz überhaupt gibt.P(E)muss alle Wege zählen, auf denen die Evidenz auftritt — richtige und falsche Positive.
Eine seltene Ursache kann selbst einen fast perfekten Test meist danebenliegen lassen.