alternative Cut-off-KonfusionsmatrixIch habe das alternative Add-In für die Cut-off-Wahrscheinlichkeits-Verwirrungsmatrix viele Male verwendet. Plötzlich liefert es bei einigen Datensätzen unsinnige Ergebnisse. Ich habe überprüft, dass es bei einem alten Datensatz noch wie erwartet funktioniert. Anbei finden Sie einen der neueren Datensätze, bei denen es anscheinend nicht funktioniert. Die Zielvariable ist Schlaganfall und ich habe eine Validierungsspalte und eine Reihe von Wahrscheinlichkeiten für Vorhersagemodelle, die mit der Wahrscheinlichkeit eines Schlaganfalls unter Berücksichtigung des Namens der Modellierungsmethode beschriftet sind (sehen Sie sich beispielsweise die Spalte mit der Bezeichnung „Boosted Tree“ oder „Logistische Regression“ an, um zwei Beispiele zu sehen, die nicht richtig funktionieren). Schlaganfälle sind im Datensatz sehr selten (etwa 5 %) und die aus den Vorhersagemodellen abgeleiteten Wahrscheinlichkeiten sind entsprechend gering. Aber wenn ich das Add-In und einen Bereich von Cut-off-Wahrscheinlichkeiten von 0,1 bis 0,9 verwende, erhalte ich immer null Vorhersagen für Schlaganfälle – was nicht mit der Verteilung der Wahrscheinlichkeiten aus diesen Modellen übereinstimmt (die, wie ich sagte, niedrig, aber nicht null sind). Kann jemand Licht ins Dunkel bringen, warum das passiert?
Danke.
Datenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenBetreff: Alternative Cut-Off-VerwirrungsmatrixHallo, @dale_lehman .
Ich freue mich zu erfahren, dass Sie das Add-In The Alternate Cut-off Confusion Matrix nützlich fanden.Es wurde vor einigen Jahren entwickelt und basierte nur auf den Vorhersage- (oder Wahrscheinlichkeits-)Spalten, die aus den Berichten „Partition“, „Neural“ (nur JMP Pro) oder „Modell anpassen“ gespeichert wurden. Dies ist in der Beschreibung der Spalte Predicted Value vermerkt Hier .Gerne untersuche ich das Verhalten, das Sie bei anderen Arten von Vorhersagen sehen, und aktualisiere diese Seite mit meinen Ergebnissen.
Betreff: Alternative Cut-Off-Verwirrungsmatrixich frage mich, ob @Wendy_Murphrey könnte einen Einblick in die haben Alternate Cut-off Confusion Matrix Add-In Hier.
Betreff: Alternative Cut-Off-VerwirrungsmatrixIch habe keine Ahnung, warum es nicht mehr funktioniert, es wäre nett, wenn jemand diesen Teil herausfinden könnte. Ich konnte das gleiche Verhalten, das Sie beschrieben haben, mit der von Ihnen bereitgestellten Datentabelle überprüfen. Ich bin mir nicht sicher, warum es beim erneuten Ausführen der Modelle funktioniert hat. Ich konnte keine Unstimmigkeiten mit den Formeln oder irgendetwas finden, das es komisch machen würde.Betreff: Alternative Cut-Off-VerwirrungsmatrixDiedrich
Vielen Dank - ich würde Ihre Antwort als Lösung markieren, aber ich würde wirklich gerne hören, ob jemand erklären kann, warum dies passiert ist.Wenn ich diese Modelle erneut ausführe, funktioniert das Add-In tatsächlich wie beabsichtigt, aber nicht in der von mir eingereichten Originaldatei - obwohl die von diesen Modellen erzeugten Wahrscheinlichkeiten die richtigen Verwirrungsmatrizen hätten ergeben sollen.Ich habe also keine Ahnung, warum das Add-In plötzlich nicht mehr richtig funktioniert und dann wieder funktioniert.Ich verwende auch JMP Pro15.2.1.
Ich stimme Ihrem anderen Punkt bezüglich der Schichtung des Validierungssatzes zu, da er so unausgewogen ist.Diesmal habe ich das nicht getan, aber ich war mir durchaus bewusst, warum es Sinn macht, das zu tun.
Betreff: Alternative Cut-Off-VerwirrungsmatrixHallo @dale_lehman ,
Ich kann bestätigen, dass das Add-In für die alternative Cut-Off-Verwirrungsmatrix bei den Vorhersagespalten, die Sie in Ihrem Beitrag erwähnt haben, nicht funktioniert. Ich habe die Boosted Tree-Plattform jedoch erneut ausgeführt und dabei dieselben Prädiktoren und Antworten verwendet, die Sie verwendet haben, und sogar überprüft, dass die Gleichung dieselbe war, aber das alternative Cut-Off-Matrix-Add-In funktionierte mit dieser neuen Formel korrekt. Das Gleiche habe ich bei der Fit-Nominal-Logistik festgestellt. Wenn ich es erneut ausführe (ich erhalte am Ende eine andere Gleichung), kann ich den alternativen Cut-off ausführen und es funktioniert wie erwartet. Ich verwende JMP Pro 15.2.1. Irgendetwas könnte mit Ihren beiden Anfällen ein bisschen daneben sein. Haben Sie die ROC-Kurven für die Anpassungen überprüft, um festzustellen, ob sie über der diagonalen Linie liegen? Es gab kein gespeichertes Skript für diese beiden Modellformeln in Ihrer Tabelle, daher ist es schwierig zu beurteilen, wie gut die Anpassungen funktionieren. Haben Sie versucht, die logistischen und verstärkten Baummodelle erneut anzupassen, um zu sehen, ob die neueren Gleichungen funktionieren? Wenn ich sie ein zweites Mal ausführe, funktioniert es mit dem Add-In.
Außerdem ist mir aufgefallen, dass Sie beim Generieren Ihrer Validierungsspalte einen Zufallsstartwert verwendet haben. Da Sie nur sehr wenige Instanzen von „stroke==1“ haben, sollten Sie erwägen, eine Validierungsspalte zu erstellen, die nach „stroke“ geschichtet ist, damit dies berücksichtigt werden kann. Wenn Sie die nominelle logistische Anpassung durchführen, ist es möglicherweise besser, das Zielniveau zu modellieren: 1 statt 0, da Sie wahrscheinlich versuchen, die Wahrscheinlichkeit eines Schlaganfalls (Schlaganfall==1) im Vergleich zur Wahrscheinlichkeit ohne Schlaganfall vorherzusagen ( Strich==0).
Nur einige Gedanken. Hoffe das hilft.
Viel Glück!,
DS
