alternative Cut-Off-VerwirrungsmatrixIch habe das alternative Cut-Off-Wahrscheinlichkeits-Verwirrungsmatrix-Add-In viele Male verwendet.Plötzlich führt es bei einigen Datensätzen zu unsinnigen Ergebnissen.Ich habe überprüft, ob es bei einem alten Datensatz immer noch wie erwartet funktioniert.Im Anhang befindet sich einer der letzten Datensätze, in denen er anscheinend nicht funktioniert.Die Zielvariable ist Strich, und ich habe eine Validierungsspalte und eine Reihe von Vorhersagemodellwahrscheinlichkeiten, die mit der Wahrscheinlichkeit eines Strichs unter dem Namen der Modellierungsmethode gekennzeichnet sind (siehe z. B. die Spalte mit der Bezeichnung Boosted Tree oder logistische Regression für zwei Beispiele) funktioniert nicht richtig).Striche sind im Datensatz sehr selten (ca. 5%) und die aus den Vorhersagemodellen abgeleiteten Wahrscheinlichkeiten sind entsprechend gering.Wenn ich jedoch das Add-In und einen Bereich von Grenzwahrscheinlichkeiten von 0,1 bis 0,9 verwende, erhalte ich immer wieder Nullvorhersagen für Striche - was nicht mit der Verteilung der Wahrscheinlichkeiten dieser Modelle übereinstimmt (die, wie gesagt, niedrig sind). aber nicht Null).Kann jemand Aufschluss darüber geben, warum dies geschieht?
Vielen Dank.
AnalytikBetreff: Alternative Cut-Off-VerwirrungsmatrixHallo @dale_lehman ,
Ich kann bestätigen, dass das alternative Cut-Off-Verwirrungsmatrix-Add-In für die in Ihrem Beitrag erwähnten Vorhersagespalten nicht funktioniert. Ich habe die Boosted Tree-Plattform jedoch erneut ausgeführt und dabei dieselben Prädiktoren und Antworten verwendet, die Sie verwendet haben. Ich habe sogar überprüft, ob die Gleichung dieselbe ist, aber das alternative Cut-Off-Matrix-Add-In hat bei dieser neuen Formel ordnungsgemäß funktioniert. Ich fand das gleiche mit der passenden nominalen Logistik. Wenn ich es erneut ausführe (ich habe am Ende eine andere Gleichung), kann ich den alternativen Cut-Off ausführen und es funktioniert wie erwartet. Ich verwende JMP Pro 15.2.1. Bei Ihren beiden Anfällen könnte etwas nicht stimmen. Haben Sie die ROC-Kurven auf Anpassungen überprüft, um festzustellen, ob sie über der diagonalen Linie liegen? Es gab kein gespeichertes Skript für diese beiden Modellformeln in Ihrer Tabelle, daher ist es schwierig zu beurteilen, wie gut die Anpassungen funktionieren. Haben Sie erneut versucht, die logistischen und verstärkten Baummodelle neu anzupassen, um festzustellen, ob die neueren Gleichungen funktionieren? Wenn ich sie ein zweites Mal ausführe, funktioniert es mit dem Add-In.
In einem anderen Punkt habe ich festgestellt, dass Sie beim Generieren Ihrer Validierungsspalte einen zufälligen Startwert verwendet haben. Da es nur sehr wenige Fälle von Strich == 1 gibt, können Sie eine Validierungsspalte erstellen, die nach Strich geschichtet ist, damit dies berücksichtigt werden kann. Wenn Sie die nominelle logistische Anpassung durchführen, ist es möglicherweise besser, die Zielstufe 1 anstelle von 0 zu modellieren, da Sie wahrscheinlich versuchen, die Wahrscheinlichkeit eines Schlaganfalls (Schlaganfall == 1) gegenüber der Wahrscheinlichkeit eines Schlaganfalls (1) vorherzusagen. Strich == 0).
Nur ein paar Gedanken. Hoffe das hilft.
Viel Glück!,
DS
Betreff: Alternative Cut-Off-VerwirrungsmatrixDiedrich
Vielen Dank - ich würde Ihre Antwort als Lösung markieren, aber ich möchte wirklich hören, ob jemand erklären kann, warum dies passiert ist.Wenn ich diese Modelle erneut ausführe, funktioniert das Add-In zwar wie beabsichtigt, jedoch nicht in der von mir eingereichten Originaldatei - obwohl die von diesen Modellen erzeugten Wahrscheinlichkeiten die richtigen Verwirrungsmatrizen hätten ergeben müssen.Ich habe also keine Ahnung, warum das Add-In plötzlich nicht mehr richtig funktioniert und dann wieder funktioniert.Ich verwende auch JMP Pro15.2.1.
Ich stimme Ihrem anderen Punkt bezüglich der Schichtung des Validierungssatzes zu, da dieser so unausgewogen ist.Diesmal habe ich das nicht getan, aber ich war mir ziemlich bewusst, warum es sinnvoll ist, das zu tun.
Betreff: Alternative Cut-Off-VerwirrungsmatrixIch habe keine Ahnung, warum es nicht mehr funktioniert. Es wäre schön, wenn jemand diesen Teil herausfinden könnte. Ich konnte das gleiche Verhalten, das Sie beschrieben haben, anhand der von Ihnen angegebenen Datentabelle überprüfen. Ich bin mir nicht sicher, warum es beim erneuten Ausführen der Modelle funktioniert hat. Ich konnte keine Unstimmigkeiten mit den Formeln oder irgendetwas finden, das es lustig machen würde.Betreff: Alternative Cut-Off-Verwirrungsmatrixich frage mich, ob @ Wendy_Murphrey könnte einen Einblick in die haben Alternatives Cut-Off-Verwirrungsmatrix-Add-In Hier.
