Metriken der Klassifikation

Konfusionsmatrix

Eine Konfusionsmatrix, auch bekannt als Fehlermatrix, ist ein spezifisches Werkzeug, das in der Statistik und im maschinellen Lernen verwendet wird, um die Leistung eines Klassifikationsmodells zu visualisieren und zu analysieren. Sie ist besonders nützlich bei überwachten Lernaufgaben, wo die tatsächlichen Klassen (oder Labels) der Datenpunkte bekannt sind und mit den Vorhersagen des Modells verglichen werden können.

Die Konfusionsmatrix ist eine Tabelle mit zwei Dimensionen: die tatsächlichen Klassen und die vom Modell vorhergesagten Klassen. Für binäre Klassifikationsprobleme besteht die Matrix typischerweise aus vier Quadranten:

%%{init:{"theme": "default"}
}%%
quadrantChart
    title Konfusionsmatrix
    x-axis "Prognose [0]" --> "Prognose [1]"
    y-axis "Test [1]" --> "Test [0]"
    quadrant-1 "FP"
    quadrant-2 "TN"
    quadrant-3 "FN"
    quadrant-4 "TP"

%%{init:{"theme": "dark"}
}%%
quadrantChart
    title Konfusionsmatrix
    x-axis "Prognose [0]" --> "Prognose [1]"
    y-axis "Test [1]" --> "Test [0]"
    quadrant-1 "FP"
    quadrant-2 "TN"
    quadrant-3 "FN"
    quadrant-4 "TP"

Quadrant	Beschreibung
True Positive (TP)	Die Anzahl der korrekt identifizierten positiven Fälle.
False Positive (FP)	Die Anzahl der fälschlicherweise als positiv (Fehler 1. Art) identifizierten negativen Fälle.
True Negative (TN)	Die Anzahl der korrekt identifizierten negativen Fälle.
False Negative (FN)	Die Anzahl der fälschlicherweise als negativ (Fehler 2. Art) identifizierten positiven Fälle.

Kennzahlen der Klassifikation

Accuracy

Anteil der insgesamt korrekten Vorhersagen

Precision

Anteil der tatsächlich positiven Fälle unter den als positiv vorhergesagten.

Recall

Anteil der korrekt identifizierten positiven Fälle unter allen tatsächlichen positiven Fällen.

F1-Score

Der F1-Score berücksichtigt sowohl die Fähigkeit des Modells, alle positiven Fälle zu erkennen (Recall), als auch die Zuverlässigkeit der positiven Vorhersagen (Precision).

ROC-AUC

Die ROC-AUC-Kennzahl bewertet die Fähigkeit eines Modells, verschiedene Klassen korrekt zu unterscheiden, indem sie die Fläche unter der ROC-Kurve misst.

---

Diese Metriken helfen, verschiedene Aspekte der Leistung eines Klassifikationsmodells zu verstehen, insbesondere in Szenarien, in denen die Klassen ungleich verteilt sind oder unterschiedliche Kosten für falsch positive und falsch negative Entscheidungen bestehen.