ROC & AUC

A ROC curve shows a classifier at every threshold at once — and AUC squeezes that whole picture into one number. Instead of judging a model by a single cutoff, you sweep the threshold from strict to lenient and watch how true positives trade off against false alarms.

Where you meet it

Comparing models — which one ranks positives above negatives better, independent of any cutoff.
Medical screening, fraud and spam detection — anywhere the cost of a miss vs. a false alarm isn't fixed yet.
roc_auc_score as a model-selection metric in scikit-learn, Kaggle leaderboards, cross-validation.

What it does

A classifier outputs a score per example, not a hard label. To turn scores into decisions you pick a threshold. Every threshold gives one confusion matrix — and so one pair of rates. The ROC curve plots all of those pairs; AUC measures the area beneath them. Both describe ranking quality, not the quality of any one decision.

AUC grades how you rank, not how you decide — and on rare positives it flatters a model that's useless where you actually operate.

How it works

Sweep the threshold τ from high (1) down to low (0). At each step, count two rates:

TPR = TP / (TP + FN)   # recall / sensitivity — y-axis
FPR = FP / (FP + TN)   # 1 − specificity     — x-axis

At a high τ almost nothing is flagged: both TPR and FPR sit near 0 (bottom-left).
Lower τ and you catch more real positives (TPR climbs) but also more false alarms (FPR climbs) — the operating point glides up and to the right, ending at (1, 1).
A model that ranks well climbs TPR fast while keeping FPR low — the curve bows toward the top-left corner. The diagonal is random guessing.

AUC = the area under that curve. It has a clean probabilistic meaning: it equals the probability that a randomly chosen positive gets a higher score than a randomly chosen negative — AUC = P(score(pos) > score(neg)). That is also why AUC is the normalized Mann–Whitney U statistic. 1.0 = perfect separation, 0.5 = the diagonal = no better than chance.

Watch out

Heavy class imbalance makes ROC look too optimistic. FPR divides by the (huge) number of negatives, so many false positives barely move it. When positives are rare, prefer the precision–recall curve, which exposes that pain.
AUC = 0.5 is chance, not "bad in a useful way". Below 0.5 means the ranking is inverted — flip the scores.
AUC says nothing about calibration or which threshold to use. Two models with equal AUC can need very different cutoffs; AUC also ignores whether the scores are real probabilities.
It's a summary. A high AUC can hide a curve that's useless in the low-FPR region you actually operate in — look at the curve, not just the number.

Go deeper

Eine ROC-Kurve zeigt einen Klassifikator über alle Schwellen auf einmal — und AUC presst dieses ganze Bild in eine einzige Zahl. Statt ein Modell an einem einzigen Schnitt zu messen, fährst du die Schwelle von streng nach lax durch und beobachtest, wie sich Treffer gegen Fehlalarme tauschen.

Wo es vorkommt

Modelle vergleichen — welches ordnet Positive über Negative, unabhängig von jedem Schnitt.
Medizinisches Screening, Betrugs- und Spam-Erkennung — überall, wo die Kosten von Miss vs. Fehlalarm noch nicht feststehen.
roc_auc_score als Modellwahl-Metrik in scikit-learn, auf Kaggle-Leaderboards, in der Kreuzvalidierung.

Was es tut

Ein Klassifikator gibt pro Beispiel einen Score aus, kein hartes Label. Um aus Scores Entscheidungen zu machen, wählst du eine Schwelle. Jede Schwelle ergibt eine Konfusionsmatrix — und damit ein Paar von Raten. Die ROC-Kurve plottet all diese Paare; AUC misst die Fläche darunter. Beide beschreiben die Rangordnungs-Qualität, nicht die Güte einer einzelnen Entscheidung.

AUC benotet, wie du ordnest, nicht wie du entscheidest — und bei seltenen Positiven schmeichelt es einem Modell, das dort, wo du arbeitest, unbrauchbar ist.

Wie es funktioniert

Fahre die Schwelle τ von hoch (1) nach tief (0) durch. Bei jedem Schritt zählst du zwei Raten:

TPR = TP / (TP + FN)   # Recall / Sensitivität — y-Achse
FPR = FP / (FP + TN)   # 1 − Spezifität        — x-Achse

Bei hohem τ wird fast nichts markiert: TPR und FPR liegen nahe 0 (unten links).
Sinkt τ, erwischst du mehr echte Positive (TPR steigt), aber auch mehr Fehlalarme (FPR steigt) — der Arbeitspunkt gleitet nach rechts oben und endet bei (1, 1).
Ein gut ordnendes Modell zieht TPR schnell hoch bei niedrigem FPR — die Kurve wölbt sich zur oberen linken Ecke. Die Diagonale ist reines Raten.

AUC = die Fläche unter dieser Kurve. Sie hat eine saubere wahrscheinlichkeitstheoretische Bedeutung: Sie ist die Wahrscheinlichkeit, dass ein zufällig gezogenes Positiv einen höheren Score bekommt als ein zufällig gezogenes Negativ — AUC = P(score(pos) > score(neg)). Genau deshalb ist AUC die normierte Mann-Whitney-U-Statistik. 1.0 = perfekte Trennung, 0.5 = die Diagonale = nicht besser als Zufall.

Worauf achten

Bei starker Klassen-Schieflage wirkt ROC zu optimistisch. FPR teilt durch die (riesige) Zahl der Negativen, viele False Positives bewegen sie kaum. Sind Positive selten, nimm lieber die Precision-Recall-Kurve — sie macht den Schmerz sichtbar.
AUC = 0.5 ist Zufall, nicht "nützlich schlecht". Unter 0.5 ist die Rangordnung invertiert — Scores umdrehen.
AUC sagt nichts über Kalibrierung oder die zu wählende Schwelle. Zwei Modelle mit gleichem AUC brauchen evtl. ganz verschiedene Schnitte; AUC ignoriert auch, ob die Scores echte Wahrscheinlichkeiten sind.
Es ist eine Zusammenfassung. Ein hoher AUC kann eine Kurve verstecken, die im niedrigen FPR-Bereich — wo du tatsächlich arbeitest — unbrauchbar ist. Sieh dir die Kurve an, nicht nur die Zahl.