In einem aktuellen Technisch gesehenes Webinar Ich habe die Vorhersage des Risikos einer peripheren arteriellen Verschlusskrankheit (pAVK) besprochen, bei der die Reaktion kategorisch ist und zwei mögliche Ergebnisse liefert: Ja (Patient mit Risiko für pAVK) und Nein (Patient ohne Risiko für pAVK).
Während dieser Präsentation habe ich darauf hingewiesen, dass das Vorhersagemodell zwei Teile enthält: 1) die von einem Modell erstellte Wahrscheinlichkeitsfunktion und 2) den Grenzwert, der zur Klassifizierung der Daten als höchstwahrscheinlich „Ja“ oder „Nein“ verwendet wird. Ich habe kurz erwähnt, dass die ROC-Kurve eine gute Möglichkeit ist, die vom Modell erstellte Wahrscheinlichkeitsfunktion zu bewerten und zu vergleichen.
In diesem Blogbeitrag werden ROC-Kurven und deren Interpretation näher erläutert. Ich werde auch einige Gedanken zu ROC-Kurven bei der Vorhersage seltener Ereignisse (unausgeglichene Daten) und der Auswahl eines Klassifizierungsgrenzwerts liefern.
Die ROC-Kurve
Die ROC-Kurve für ein Vorhersagemodell für das Risiko einer peripheren arteriellen Verschlusskrankheit (pAVK) ist in Abbildung 1 dargestellt.
Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Abbildung 1. ROC-Kurve für das PAD-Vorhersagemodell.
Standardelemente der ROC-Kurve:
- Die x-Achse ist 1-Spezifität, also die Falsch-Positiv-Rate; er liegt zwischen 0 und 1. Es kann auch als Typ-I-Fehler des Modells angesehen werden.
- Die y-Achse ist die Sensitivität, also der Anteil der echten Positiven. er liegt zwischen 0 und 1. Man kann es sich auch als die Stärke des Modells oder als 1-Typ-II-Fehler vorstellen.
- Gelegentlich verläuft eine diagonale Linie durch 0,0 und 1,1, wobei die Richtig-Positiv-Rate der Falsch-Positiv-Rate entspricht. Diese Linie stellt ein wirklich zufälliges Modell oder ein Modell dar, das keinen Vorhersagewert hat.
Was ist also auf der ROC-Kurve aufgetragen?
Um zu verstehen, was auf der ROC-Kurve dargestellt wird, erinnern Sie sich daran, dass das Vorhersagemodell für eine kategoriale Antwort aus zwei Teilen besteht: 1) der Wahrscheinlichkeitsfunktion und 2) einem Cutoff, um die Wahrscheinlichkeit in die wahrscheinlichsten Kategorien einzuteilen. Für jede Beobachtung im Datensatz wird die vorhergesagte Wahrscheinlichkeit als Klassifizierungsgrenzwert verwendet. Die resultierende Sensitivität und 1-Spezifität eines Modells mit diesem Grenzwert werden für jede Beobachtung im Datensatz aufgezeichnet. Auf diese Berechnungen werde ich im Folgenden näher eingehen.
Beachten Sie, dass die ROC-Kurve niemals unter die diagonale Linie fällt, die durch 0,0 und 1,1 verläuft.
Und wie interpretiert man die ROC-Kurve?
Ein perfektes Modell verläuft durch die obere linke Ecke des Gitters (0,1). Ein x-Wert von 0 gibt an, dass das Modell keine falsch positiven Ergebnisse liefert. Ein y-Wert von 1 gibt an, dass das Modell ausschließlich echte positive Ergebnisse liefert.
Die Fläche unter der ROC-Kurve (AUC) gibt einen Hinweis darauf, wie nah das Modell an der oberen linken Ecke der ROC-Kurve liegt. Eine AUC von 1 ist ein perfektes Modell und eine AUC von 0,5 ist ein Zufallsmodell oder ein Modell ohne Vorhersagewert. Da die ROC-Kurve niemals unter die Diagonale fällt, liegt die AUC immer zwischen 0,5 und 1.
Eine höhere AUC zeigt an, dass das Modell weiter von der diagonalen Linie entfernt ist, die ein Modell ohne Vorhersagewert darstellt, und sich einem perfekten Modell nähert, das durch die obere linke Ecke des Gitters verläuft (0,1).
Ein genauerer Blick auf die ROC-Kurve für das PAD-Modell
Schauen wir uns die ROC-Kurve für das Vorhersagemodell für das PAD-Risiko genauer an und wie die x- und y-Werte berechnet werden. Abbildung 2 ist eine grafische Darstellung einer Teilmenge von Beobachtungen im Datensatz, dargestellt auf einer ROC-Kurve. Einige dieser Punkte sind mit ihrer entsprechenden Vorhersagewahrscheinlichkeit für PAD = Ja gekennzeichnet.
Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figur 2. ROC-Kurve für ein Beispiel für seltene Ereignisse.
Beachten Sie zunächst, dass die Datenpunkte in der Reihenfolge der vorhergesagten Wahrscheinlichkeiten im Bereich von 0,02 bis 0,53 liegen. Wenn ich ein Modell aus einem Datensatz mit einer gleichen Zahl für „Ja“ und „Nein“ erstellt hätte, würde ich erwarten, dass der Bereich zwischen 0 und 1 liegt, mit 0,5 in der Nähe der Kurvenmitte. Allerdings handelt es sich bei diesem Datensatz um einen seltenen oder unausgeglichenen Datensatz, was bedeutet, dass die Häufigkeit von „Ja“ im Vergleich zu „Nein“ viel geringer ist. Daher liegen alle vorhergesagten Wahrscheinlichkeiten am unteren Ende des Bereichs – sie liegen alle bei 0,53 und darunter.
Der Datenpunkt in der oberen rechten Ecke des Diagramms entspricht der niedrigsten vorhergesagten Wahrscheinlichkeit in der Datenteilmenge (0,02). Bevor wir über die Berechnungen sprechen, die zur Darstellung dieses Punktes verwendet wurden, nehmen Sie sich eine Minute Zeit, um über das Szenario nachzudenken. Was passiert mit unseren Klassifizierungen, wenn wir eine der niedrigsten vorhergesagten Wahrscheinlichkeiten als Grenzwert zur Klassifizierung aller vorhergesagten Wahrscheinlichkeiten verwenden? Fast alle Daten werden als „Ja“ eingestuft, obwohl viele von ihnen tatsächlich „Nein“ sind. Dies entspricht einer hohen Falsch-Positiv-Rate (1-Spezifität). Ebenso werden alle Daten, die „Ja“ sind, als „Ja“ klassifiziert, was einer hohen True-Positiv-Rate (Sensitivität) entspricht.
Denken Sie auch an den Datenpunkt in der unteren linken Ecke des Diagramms. Dieser Punkt entspricht der höchsten vorhergesagten Wahrscheinlichkeit in den Daten (0,53).Wenn die höchste vorhergesagte Wahrscheinlichkeit als Grenzwert verwendet wird, werden alle Daten als „Nein“ klassifiziert, was bedeutet, dass die Falsch-Positiv-Rate (1-Spezifität) niedrig ist, tatsächlich aber Null beträgt.Alle Daten, die „Ja“ lauten, werden als „Nein“ klassifiziert, was zu einer niedrigen True-Positiv-Rate (Sensitivität) führt und wiederum Null ist.
Berechnung der 1-Spezifität und Sensitivität
Um Daten auf der ROC-Kurve darzustellen, müssen wir 1-Spezifität und Sensitivität berechnen. Beginnen wir mit dem Datenpunkt in der oberen rechten Ecke von Abbildung 2, der der niedrigsten vorhergesagten Wahrscheinlichkeit in der Datenteilmenge (0,02) entspricht. Zunächst wird die vorhergesagte Wahrscheinlichkeit von 0,02 als Grenzwert verwendet, um den gesamten Datensatz als „Ja“ oder „Nein“ zu klassifizieren. Dieser vorhergesagte Zustand wird mit dem tatsächlichen oder wahren Zustand verglichen und die Daten können in vier Ergebnisse unterteilt werden – richtig positiv, richtig negativ, falsch negativ, falsch positiv (Abbildung 3). Abbildung 3 wird als Verwirrungsmatrix bezeichnet und die in der Verwirrungsmatrix eingetragenen Zahlen werden zur Berechnung der 1-Spezifität und Sensitivität verwendet.
|
Wahrer Zustand
|
Tatsächlich positiv
|
Tatsächlich negativ
|
Vorhergesagter Zustand
|
Positiv vorhergesagt
|
Echt positiv (TP)
|
Falsch positiv (FP)
|
Negativ vorhergesagt
|
Falsch negativ (FN)
|
Echt negativ (TN)
|
Figur 3. Ergebnisse binärer Klassifizierungsmodelle (Confusion Matrix).
1-Spezifität
1-Spezifität ist die Falsch-Positiv-Rate und wird durch Subtrahieren der Richtig-Negativ-Rate von eins berechnet. Die Richtig-Negativ-Rate ist die Anzahl der vom Modell vorhergesagten Richtig-Negativen (TN), dividiert durch die Gesamtzahl der tatsächlich Negativen, die sowohl Richtig-Negative (TN) als auch Falsch-Positive (FP) umfasst.
Empfindlichkeit
Die Sensitivität ist die True-Positive-Rate, also die Anzahl der vom Modell vorhergesagten True-Positives (TP) dividiert durch die Gesamtzahl der tatsächlichen Positiven, einschließlich True-Positives (TP) und False-Negatives (FN).
Mit einem Klassifizierungsgrenzwert von 0,02, der auf den gesamten Datensatz angewendet wird, erhalten wir die in Abbildung 4 unten dargestellten Ergebnisse.
|
Wahrer Zustand
|
Tatsächlich positiv
|
Tatsächlich negativ
|
Vorhergesagter Zustand
|
Positiv vorhergesagt
|
TP = 277
|
FP = 3394
|
Negativ vorhergesagt
|
FN = 0
|
TN = 312
|
Figur 4. Ergebnisse des PAD-Vorhersagemodells mit einem Klassifizierungsgrenzwert von 0,02.
Aus diesen Ergebnissen können wir 1-Spezifität und Sensitivität berechnen, die den x- bzw. y-Werten entsprechen, die auf der ROC-Kurve aufgetragen sind.
Zusammenfassend ist die ROC-Kurve ein Diagramm jedes Datenpunkts im Datensatz, der zum Erstellen der Wahrscheinlichkeitsfunktion verwendet wurde. 1-Spezifität und Sensitivität werden für jeden Datenpunkt berechnet, indem die Ergebnisse in der Verwirrungsmatrix verwendet werden, wenn die vorhergesagte Wahrscheinlichkeit als Klassifizierungsgrenzwert verwendet wird.
Wenn wir diese Berechnungen für die ROC-Kurve durchgehen, können wir auch den Schluss ziehen, dass ein Vorhersagemodell, das die Wahrscheinlichkeitsfunktion und eine Klassifizierung von 0,02 verwendet, kein gutes Modell wäre. Erstens: Da dieser Punkt nahe an der Diagonalen liegt, die ein wirklich zufälliges Modell darstellt, sind wir nicht viel besser, als den Patienten das Risiko einer pAVK einfach zufällig zuzuordnen. Aus den Berechnungen können wir auch ersehen, dass es eine große Diskrepanz zwischen unserer wahr-negativen Rate (Spezifität) von 0,08 und unserer wahr-positiven Rate (Sensitivität) von 1 gibt. Mit anderen Worten: Während 100 % der echten pAVK-Fälle klassifiziert werden, liegt die Falsch-Positiv-Rate bei 92 %. Wir möchten einen Klassifizierungsgrenzwert wählen, der Spezifität und Sensitivität ausbalanciert und weiter von der diagonalen Linie und näher an der oberen linken Ecke des Diagramms liegt.
Auswählen eines Klassifizierungsgrenzwerts
Standardmäßig wird ein Grenzwert von 0,5 verwendet, um Daten basierend auf der Wahrscheinlichkeitsfunktion zu klassifizieren. JMP erstellt anhand dieses Cutoffs eine Vorhersageformel. Ein Grenzwert von 0,5 kann für Daten mit der gleichen Anzahl tatsächlich positiver und negativer Ergebnisse angemessen sein. Wenn die tatsächliche positive Rate jedoch niedrig ist (z. B. seltene Ereignisse oder unausgeglichene Daten), ist ein Grenzwert von 0,5 wahrscheinlich nicht optimal.
Dann stellt sich die Frage: Welcher Ansatz kann verwendet werden, um einen Klassifizierungsgrenzwert für seltene Ereignisse festzulegen? Die ROC-Kurve gibt uns einige Hinweise. In der oberen linken Ecke des Diagramms sind die Richtig-Negativ-Rate (Spezifität) und die Richtig-Positiv-Rate (Sensitivität) beider maximiert. Wenn wir uns Abbildung 2 ansehen, in der die Vorhersagewahrscheinlichkeiten beschriftet sind, können wir sehen, dass ein Grenzwert um 0,07 für dieses Vorhersagemodell optimal wäre, wenn unser Ziel darin besteht, Spezifität und Sensitivität auszugleichen.ROC-Kurven sind jedoch normalerweise nicht mit ihren Vorhersagewahrscheinlichkeiten gekennzeichnet.
Mithilfe der J-Statistik von Youden kann die Vorhersagewahrscheinlichkeit ermittelt werden, die dem Punkt auf der ROC-Kurve entspricht, an dem Spezifität und Sensitivität maximiert sind.
Die J-Statistik von Youden liegt zwischen 0 und 1, wobei 0 einer gleichen Rate an richtig positiven und falsch positiven Ergebnissen entspricht und 1 einem Modell mit allen wahr positiven und keinen falsch positiven Ergebnissen entspricht. Man kann es sich auch als den Punkt entlang der ROC-Kurve vorstellen, der am weitesten von der diagonalen Linie entfernt ist, die ein Zufallsmodell darstellt.
Wenn Sie Nominal Logistic in der Fit Model Platform verwenden, erhalten Sie bei Auswahl der ROC-Kurve auch eine entsprechende ROC-Tabelle. Eine der Spalten in der Tabelle ist Youdens J-Statistik und trägt die Bezeichnung Sens-(1-Spec). Die ROC-Tabelle kann absteigend nach Sens-(1-Spec) sortiert werden, um die Vorhersagewahrscheinlichkeit (Prob) zu identifizieren, die den maximalen Sen-(1-spec) aufweist, also die wahre negative Rate (Spezifität) und die wahre positive Rate (Sensitivität). ) von beiden werden maximiert. Sie können sehen, dass JMP neben dem Maximalwert für Sens-(1-Spec) ein Sternchen einfügt.
Im PAD-Beispiel gab es aus einem Datensatz mit 3.983 Patienten nur 277 Patienten mit PAD; Ein Klassifizierungsgrenzwert von 0,07 glich die Richtig-Positiv- und Richtig-Negativ-Rate aus. Sobald ein Klassifizierungsgrenzwert ermittelt wurde, kann dieser in der in der Datentabelle gespeicherten Vorhersageformel geändert werden. Ich möchte anmerken, dass die Wahl eines Grenzwerts vom Ziel des Vorhersagemodells und den mit den Ergebnissen verbundenen Risiken abhängt. Ein Forscher kann einen anderen Grenzwert wählen, wenn er sich beispielsweise vor falsch-positiven oder falsch-negativen Ergebnissen schützen möchte.
