74926_de-DE

liliconcom

Hilfe bei der nominellen logistischen Anpassung: Verwirrungsmatrix vs. Ausgabe der ROC-Tabelle?

Hallo JMP-Community,

 

Ich habe den nominalen logistischen Fit untersucht, um den Wert eines Baseline-Biomarkers zu bestimmen, um das Ergebnis einer klinischen Behandlung vorherzusagen.

 

Ich dachte, dass ich das Konzept der Confusion Matrix verstanden habe: Sie gibt die Zahlen von Richtig Positiv, Richtig Negativ, Falsch Positiv und Falsch Negativ für ein bestimmtes Modell für den Trainingsdatensatz und, falls definiert, den Validierungssatz zurück. Wenn ich jedoch die Verwirrungsmatrix mit dem besten Ergebnis aus der ROC-Tabelle (Maximum SENSITIVITY – (1 – SPECIFICITY) value) vergleiche, habe ich Schwierigkeiten, die beiden in Einklang zu bringen.

 

Zum Beispiel habe ich ein Modell mit einem ROC AUC = 0,654 (eher schwache Assoziation), wo die Confusion Matrix zurückgibt:

		Vorhergesagt	Vorhergesagt
		JAWOHL	NEIN
TATSÄCHLICH	JAWOHL	1	82
TATSÄCHLICH	NEIN	1	278

 

--> was wirklich schlecht ist (eigentlich schlimmer als erwartet für den ROC-AUC-Wert).

Für dasselbe Modell ist die beste Kombination aus EMPFINDLICHKEIT und SPEZIFITÄT des ROC-Tabelle:

 

Prob	1-SPEZ	SENS	SENS - (1-SPEZ)	Wahre Pos	Richtig Neg	Falsche Pos	Falsch Neg
0,2797	0,2437	0,5060	0,2623	42	211	68	41

 

--> was ziemlich schlecht ist, aber eher dem erwarteten Ergebnis eines Modells mit einem ROC AUC = 0,654 entspricht

Also, meine Fragen sind:

• Was ist der Hauptunterschied zwischen der Confusion Matrix und der „besten“ Zeile der ROC-Tabelle?
  • Liegt es daran, dass erstere die höchste Wahrscheinlichkeit verwenden und letztere die beste Kombination aus EMPFINDLICHKEIT und SPEZIFITÄT?
• Wenn ich diese Ergebnisse präsentieren müsste, was wäre die beste Option, um den positiven Vorhersagewert und den negativen Vorhersagewert darzustellen?

Danke für Ihre Hilfe.

 

Aufrichtig,

 

TS

Betreff: Hilfe bei der nominellen logistischen Anpassung: Verwirrungsmatrix vs. Ausgabe der ROC-Tabelle?

Die Konfusionsmatrix und ROC sind unterschiedlich. Sie verstehen die Konfusionsmatrix wie beschrieben. In diesem Beispiel haben Sie praktisch keine Sensitivität (1/83), aber eine recht gute Spezifität (278/279).

 

Der ROC bewertet gleichzeitig sowohl die Sensitivität als auch die Spezifität, sodass er insgesamt etwas besser als der Zufall aussieht (AUC = 0,654).

 

Die Konfusionsmatrix gilt für einen Grenzwert, und die ROC-Kurve verwendet jede Beobachtung als Grenzwert, einschließlich der Beobachtung, die die größte Trennung erzeugt.