In einem neueren Technisch gesehen Webinar Ich diskutierte die Vorhersage des Risikos einer peripheren arteriellen Erkrankung (PAD), bei der die Reaktion mit zwei möglichen Ergebnissen kategorisch ist: Ja (Patient mit PAD-Risiko) und Nein (Patient ohne PAD-Risiko).
Während dieser Präsentation habe ich darauf hingewiesen, dass das Vorhersagemodell zwei Teile enthält: 1) die von einem Modell erzeugte Wahrscheinlichkeitsfunktion und 2) den Grenzwert, der zur Klassifizierung der Daten als höchstwahrscheinlich Ja oder Nein verwendet wird. Ich erwähnte kurz, dass die ROC-Kurve eine gute Möglichkeit ist, die vom Modell erzeugte Wahrscheinlichkeitsfunktion zu bewerten und zu vergleichen.
In diesem Blogbeitrag werden die ROC-Kurven und ihre Interpretation näher erläutert. Ich werde auch einige Gedanken zu ROC-Kurven machen, wenn ich seltene Ereignisse (unausgeglichene Daten) vorhersage und einen Klassifizierungsgrenzwert wähle.
Die ROC-Kurve
Die ROC-Kurve für ein Vorhersagemodell für das Risiko einer peripheren arteriellen Erkrankung (PAD) ist in Abbildung 1 dargestellt.
Abbildung 1. ROC-Kurve für PAD-Vorhersagemodell.
Standardelemente der ROC-Kurve:
- Die x-Achse ist 1-Spezifität, was die falsch positive Rate ist; es reicht von 0 bis 1. Es kann auch als Typ I-Fehler des Modells angesehen werden.
- Die y-Achse ist die Empfindlichkeit, dh der Anteil der echten Positiven. es reicht von 0 bis 1. Es kann auch als die Leistung des Modells oder als 1-Typ-II-Fehler angesehen werden.
- Gelegentlich verläuft eine diagonale Linie durch 0,0 und 1,1, wobei die wahre positive Rate der falschen positiven Rate entspricht. Diese Linie repräsentiert ein wirklich zufälliges Modell oder ein Modell, das keinen Vorhersagewert hat.
Was ist also auf der ROC-Kurve dargestellt?
Um zu verstehen, was auf der ROC-Kurve dargestellt ist, sei daran erinnert, dass das Vorhersagemodell für eine kategoriale Antwort aus zwei Teilen besteht: 1) der Wahrscheinlichkeitsfunktion und 2) einem Grenzwert, um die Wahrscheinlichkeit in die wahrscheinlichsten Kategorien zu klassifizieren. Für jede Beobachtung im Datensatz wird die vorhergesagte Wahrscheinlichkeit als Klassifizierungsgrenzwert verwendet. Die resultierende Empfindlichkeit und 1-Spezifität eines Modells mit diesem Grenzwert wird für jede Beobachtung im Datensatz aufgezeichnet. Ich werde auf diese Berechnungen weiter unten näher eingehen.
Beachten Sie, dass die ROC-Kurve niemals unter die diagonale Linie fällt, die durch 0,0 und 1,1 verläuft.
Und wie interpretiert man die ROC-Kurve?
Ein perfektes Modell geht durch die obere linke Ecke des Gitters (0,1). Ein x-Wert von 0 gibt an, dass das Modell keine falsch positiven Ergebnisse liefert. Ein y-Wert von 1 gibt an, dass das Modell zu allen echten Positiven führt.
Der Bereich unter der ROC-Kurve (AUC) gibt an, wie nahe das Modell an der oberen linken Ecke der ROC-Kurve liegt. Eine AUC von 1 ist ein perfektes Modell, und eine AUC von 0,5 ist ein Zufallsmodell oder ein Modell ohne Vorhersagewert. Da die ROC-Kurve niemals unter die diagonale Linie fällt, liegt die AUC immer zwischen 0,5 und 1.
Eine höhere AUC zeigt an, dass das Modell weiter von der diagonalen Linie entfernt ist, die ein Modell ohne Vorhersagewert darstellt, und sich einem perfekten Modell nähert, das durch die obere linke Ecke des Gitters verläuft (0,1).
Ein genauerer Blick auf die ROC-Kurve für das PAD-Modell
Schauen wir uns die ROC-Kurve für das Vorhersagemodell für das PAD-Risiko genauer an und wie die x- und y-Werte berechnet werden. 2 ist eine grafische Darstellung einer Teilmenge von Beobachtungen im Datensatz, die auf einer ROC-Kurve aufgetragen ist. Einige dieser Punkte sind mit ihrer entsprechenden Vorhersagewahrscheinlichkeit für PAD = Ja gekennzeichnet.
Figur 2. ROC-Kurve für ein Beispiel für seltene Ereignisse.
Beachten Sie zunächst, dass die Datenpunkte in der Reihenfolge der vorhergesagten Wahrscheinlichkeiten im Bereich von 0,02 bis 0,53 liegen. Wenn ich ein Modell aus einem Datensatz mit der gleichen Zahl für Ja und Nein erstellt hätte, würde ich erwarten, dass der Bereich zwischen 0 und 1 mit 0,5 nahe der Mitte der Kurve liegt. Dieser Datensatz ist jedoch für einen seltenen oder unausgeglichenen Datensatz bestimmt, was bedeutet, dass die Häufigkeit von Ja im Vergleich zu Nein viel geringer ist. Infolgedessen liegen alle vorhergesagten Wahrscheinlichkeiten am unteren Ende des Bereichs - sie liegen alle bei 0,53 und darunter.
Der Datenpunkt in der oberen rechten Ecke des Diagramms entspricht der niedrigsten vorhergesagten Wahrscheinlichkeit in der Datenuntermenge (0,02). Bevor wir uns mit den Berechnungen befassen, mit denen dieser Punkt dargestellt wird, nehmen Sie sich eine Minute Zeit, um über das Szenario nachzudenken. Was passiert mit unseren Klassifizierungen, wenn wir eine der niedrigsten vorhergesagten Wahrscheinlichkeiten als Grenzwert verwenden, um alle vorhergesagten Wahrscheinlichkeiten zu klassifizieren? Fast alle Daten werden als Ja klassifiziert, wenn viele von ihnen wirklich Nein sind. Dies entspricht einer hohen Falsch-Positiv-Rate (1-Spezifität). Ebenso werden alle Daten, bei denen es sich um ein Ja handelt, als Ja klassifiziert, was eine hohe echte positive Rate (Empfindlichkeit) darstellt.
Denken Sie auch an den Datenpunkt in der unteren linken Ecke des Diagramms. Dieser Punkt entspricht der höchsten vorhergesagten Wahrscheinlichkeit in den Daten (0,53).Wenn die höchste vorhergesagte Wahrscheinlichkeit als Grenzwert verwendet wird, werden alle Daten als Nein klassifiziert, was bedeutet, dass die falsch positive Rate (1-Spezifität) niedrig ist, tatsächlich ist sie Null.Alle Daten, die ein Ja sind, werden als Nein klassifiziert, was zu einer niedrigen echten positiven Rate (Empfindlichkeit) führt und wiederum Null ist.
Berechnung der 1-Spezifität und Empfindlichkeit
Um Daten auf der ROC-Kurve zu zeichnen, müssen wir 1-Spezifität und Empfindlichkeit berechnen. Beginnen wir mit dem Datenpunkt in der oberen rechten Ecke von Abbildung 2, der der niedrigsten vorhergesagten Wahrscheinlichkeit in der Datenuntermenge (0,02) entspricht. Zunächst wird die vorhergesagte Wahrscheinlichkeit von 0,02 als Grenzwert verwendet, um den gesamten Datensatz als Ja oder Nein zu klassifizieren. Diese vorhergesagte Bedingung wird mit der tatsächlichen oder wahren Bedingung verglichen und die Daten können in vier Ergebnisse unterteilt werden - wahr positiv, wahr negativ, falsch negativ, falsch positiv (Abbildung 3). Abbildung 3 wird als Verwirrungsmatrix bezeichnet, und die in der Verwirrungsmatrix angegebenen Zahlen werden zur Berechnung der 1-Spezifität und Empfindlichkeit verwendet.
|
Wahrer Zustand
|
Tatsächlich positiv
|
Tatsächlich negativ
|
Voraussichtlicher Zustand
|
Voraussichtlich positiv
|
True Positive (TP)
|
False Positive (FP)
|
Negativ vorhergesagt
|
Falsch negativ (FN)
|
Richtig negativ (TN)
|
Figur 3. Ergebnisse binärer Klassifikationsmodelle (Confusion Matrix).
1-Spezifität
1-Spezifität ist die falsch positive Rate und wird durch Subtrahieren der wahr negativen Rate von eins berechnet. Die wahre negative Rate ist die Anzahl der vom Modell vorhergesagten wahren Negative (TN) geteilt durch die Gesamtzahl der tatsächlichen Negative, die sowohl echte Negative (TN) als auch falsche Positive (FP) umfasst.
Empfindlichkeit
Die Empfindlichkeit ist die wahre positive Rate, dh die Anzahl der vom Modell vorhergesagten echten Positiven (TP) geteilt durch die Gesamtzahl der tatsächlichen Positiven, einschließlich der wahren Positiven (TP) und der falschen Negativen (FN).
Mit einem Klassifizierungsgrenzwert von 0,02, der auf den gesamten Datensatz angewendet wird, erhalten wir die in Abbildung 4 unten angegebenen Ergebnisse.
|
Wahrer Zustand
|
Tatsächlich positiv
|
Tatsächlich negativ
|
Voraussichtlicher Zustand
|
Voraussichtlich positiv
|
TP = 277
|
FP = 3394
|
Negativ vorhergesagt
|
FN = 0
|
TN = 312
|
Figur 4. Ergebnisse des PAD-Vorhersagemodells mit einem Klassifizierungsgrenzwert von 0,02.
Aus diesen Ergebnissen können wir die 1-Spezifität und Empfindlichkeit berechnen, die den x- bzw. y-Werten entsprechen, die auf der ROC-Kurve aufgetragen sind.
Zusammenfassend ist die ROC-Kurve eine grafische Darstellung jedes Datenpunkts im Datensatz, der zur Erstellung der Wahrscheinlichkeitsfunktion verwendet wurde. 1-Spezifität und Sensitivität werden für jeden Datenpunkt unter Verwendung der Ergebnisse in der Verwirrungsmatrix berechnet, wenn die vorhergesagte Wahrscheinlichkeit als Klassifizierungsgrenzwert verwendet wird.
Wenn wir diese Berechnungen für die ROC-Kurve durchgehen, können wir auch schließen, dass ein Vorhersagemodell unter Verwendung der Wahrscheinlichkeitsfunktion und einer Klassifizierung von 0,02 kein großartiges Modell wäre. Erstens, da dieser Punkt nahe an der diagonalen Linie liegt, die ein wirklich zufälliges Modell darstellt, sind wir nicht viel besser, als den Patienten einfach zufällig das PAD-Risiko zuzuweisen. Aus den Berechnungen geht auch hervor, dass unsere wahre negative Rate (Spezifität) von 0,08 und unsere wahre positive Rate (Sensitivität) von 1 sehr unterschiedlich sind. Mit anderen Worten, während 100% der wahren PAD-Fälle klassifiziert sind, beträgt die falsch-positive Rate 92%. Wir werden einen Klassifizierungsgrenzwert wählen wollen, der Spezifität und Empfindlichkeit ausgleicht und weiter von der diagonalen Linie und näher an der oberen linken Ecke des Diagramms liegt.
Auswahl eines Klassifizierungsgrenzwerts
Standardmäßig wird ein Cutoff von 0,5 verwendet, um Daten basierend auf der Wahrscheinlichkeitsfunktion zu klassifizieren. JMP Erstellt mit diesem Cutoff eine Vorhersageformel. Ein Cutoff von 0,5 kann für Daten mit der gleichen Anzahl von tatsächlichen Positiven und Negativen angemessen sein. Wenn jedoch die tatsächliche positive Rate niedrig ist (z. B. seltene Ereignisse oder unausgeglichene Daten), ist ein Cutoff von 0,5 wahrscheinlich nicht optimal.
Es stellt sich dann die Frage, mit welchem Ansatz ein Klassifizierungsgrenzwert für seltene Ereignisse gewählt werden kann. Die ROC-Kurve gibt uns einige Hinweise. In der oberen linken Ecke des Diagramms werden die wahre negative Rate (Spezifität) und die wahre positive Rate (Empfindlichkeit) beider maximiert. In Abbildung 2, in der die Vorhersagewahrscheinlichkeiten gekennzeichnet sind, können wir sehen, dass ein Cutoff um 0,07 für dieses Vorhersagemodell optimal wäre, wenn unser Ziel darin besteht, Spezifität und Sensitivität auszugleichen.ROC-Kurven sind jedoch typischerweise nicht mit ihren Vorhersagewahrscheinlichkeiten gekennzeichnet.
Die J-Statistik von Youden kann verwendet werden, um die Vorhersagewahrscheinlichkeit zu ermitteln, die dem Punkt auf der ROC-Kurve entspricht, an dem Spezifität und Empfindlichkeit maximiert werden.
Die J-Statistik von Youden liegt zwischen 0 und 1, wobei 0 einer gleichen Rate von True Positives und False Positives entspricht und 1 einem Modell mit allen True Positives und keinen False Positives entspricht. Es kann auch als der Punkt entlang der ROC-Kurve betrachtet werden, der am weitesten von der diagonalen Linie entfernt ist, die ein Zufallsmodell darstellt.
Wenn Sie Nominal Logistic in der Fit Model Platform verwenden, erhalten Sie bei Auswahl der ROC-Kurve auch eine entsprechende ROC-Tabelle. Eine der Spalten in der Tabelle ist Youdens J-Statistik und wird als Sens- (1-Spec) bezeichnet. Die ROC-Tabelle kann absteigend nach Sens- (1-Spec) sortiert werden, um die Vorhersagewahrscheinlichkeit (Prob) mit dem maximalen Sen- (1-Spec) zu identifizieren, bei der die wahre negative Rate (Spezifität) und die wahre positive Rate (Sensitivität) angegeben sind ) von beiden sind maximiert. Sie können sehen, dass JMP ein Sternchen neben den Maximalwert für Sens- (1-Spec) setzt.
Im PAD-Beispiel gab es nur 277 Patienten mit PAD aus einem Datensatz mit 3.983 Patienten; Ein Klassifizierungsgrenzwert von 0,07 glich die wahre positive und wahre negative Rate aus. Sobald ein Klassifizierungsgrenzwert ermittelt wurde, kann dieser in der in der Datentabelle gespeicherten Vorhersageformel geändert werden. Ich werde bemerken, dass die Wahl eines Cutoffs vom Ziel des Vorhersagemodells und den mit den Ergebnissen verbundenen Risiken abhängt. Ein Forscher kann einen anderen Grenzwert wählen, wenn er beispielsweise vor falsch positiven oder falsch negativen Ergebnissen schützen möchte.
