ROC-AUC

Die ROC-AUC-Kennzahl bewertet die Fähigkeit eines Modells, verschiedene Klassen korrekt zu unterscheiden, indem sie die Fläche unter der ROC-Kurve (Receiver Operating Characteristic) misst.

ROC-Kurve

Auf der x-Achse wird die False Positive Rate (FPR) abgetragen.
Auf der y-Achse wird die True Positive Rate (TPR) (auch Recall) dargestellt.

Die Kurve entsteht, indem der Klassifikationsschwellenwert (Threshold) des Modells variiert. Jede Position auf der Kurve steht für eine bestimmte Kombination aus TPR und FPR.

Mathematische Definitionen

\(\text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}\) (Wie viele positive Fälle werden korrekt erkannt?)
\(\text{FPR} = \frac{\text{FP}}{\text{FP} + \text{TN}}\) (Wie viele negative Fälle werden fälschlicherweise als positiv eingestuft?)

AUC-Wert

Die Area Under the Curve (AUC) liegt zwischen 0 und 1.
Ein AUC von 1 signalisiert eine perfekte Trennfähigkeit zwischen Positiv- und Negativklasse.
Ein AUC von 0.5 entspricht reinem Zufall.

Wichtige Eigenschaften

Vergleich verschiedener Modelle: Ein höherer AUC-Wert deutet auf ein insgesamt besser unterscheidendes Modell hin.
Unabhängigkeit vom Threshold: Anders als Metriken wie Accuracy oder F1-Score ist die ROC-AUC nicht von einem festgelegten Grenzwert abhängig, sondern betrachtet alle möglichen Schwellen.
Anfälligkeit für unausgeglichene Klassen: Wenn eine Klasse stark überrepräsentiert ist, kann die ROC-AUC irreführend sein; oft ist in solchen Fällen eine Precision-Recall-Kurve geeigneter.

Die ROC-AUC bietet dennoch in vielen Szenarien eine intuitive Möglichkeit, die Diskriminierungsfähigkeit eines Klassifikationsmodells zu beurteilen.