Nominelle logistische Regressionsfrage zu: Die Save Probability FormulaIch versuche, ein Modell zu entwickeln, um vorherzusagen, ob ein Baum über einen Zeitraum von 25 Jahren leben oder sterben wird, wenn einige Umweltmerkmale mit jedem Baum verbunden sind.Ich habe das Nominal Logistic Regression-Modell ausgeführt, das zeigte, dass Prob> ChiSq für jedes Attribut <0,0001 war, was darauf hindeutet, dass die Umgebungsattribute als guter Prädiktor verwendet werden könnten.Um zu sehen, wie gut die Vorhersage war, habe ich die Option Wahrscheinlichkeitsformel speichern ausgewählt.Dadurch wurden der Tabelle mehrere Spalten hinzugefügt, einschließlich der letzten Spalte, die eine Vorhersage (höchstwahrscheinlich) für "Live" oder "Dead" lieferte.Die Vorhersagen waren schrecklich.Das Modell sagte voraus, dass nach 25 Jahren insgesamt 140 Bäume leben würden, obwohl die Zahl tatsächlich etwa 1000 betrug.Nicht nur das, sondern viele der 140 vorhergesagten lebenden Bäume waren tatsächlich gestorben.Meine Frage ist also, warum die Vorhersagen nicht einmal in der Nähe der tatsächlichen Live / Dead-Daten lagen.
AnalytikDatentabelleBetreff: Nominal Logistic Regression Frage zu: Save Probability FormulaSie können ein statistisch signifikantes Modell haben, das eine schlechte Vorhersagearbeit leistet. Die statistische Signifikanz sagt Ihnen, dass diese signifikanten Begriffe zur Erklärung der Reaktion beitragen, aber keine gute Übereinstimmung garantieren.
Schauen Sie sich zum Beispiel mit einer kontinuierlichen Antwort dieses Bild an:
Das Modell ist statistisch signifikant, würde sich aber eindeutig nicht gut vorhersagen lassen.
Mit einer nominalen logistischen Regression kann es schwierig sein, festzustellen, warum das Modell nicht gut passt. Ein paar Dinge, die Ihnen helfen können, die Vorhersagefähigkeit zu bestimmen, anstatt den Tisch zu "mustern".
* Sie können nach der ROC-Kurve fragen. Der Bereich unter der Kurve (AUC) ist ein Hinweis auf die Vorhersagefähigkeit. Eine AUC von 0,5 ist die "Basislinie". Dies ist wie die Verwendung einer Münze, um festzustellen, ob der Baum leben wird oder nicht. Alles über 0,5 liefert Hinweise auf die Vorhersagefähigkeit. Eine AUC über 0,7 beginnt, eine anständige Vorhersagefähigkeit zu erreichen. Über 0,9 ist fantastisch.
* Sie können auch nach der Verwirrungsmatrix fragen. Dies ist eine Tabelle der beobachteten Ergebnisse gegenüber den vorhergesagten Ergebnissen. Diese Tabelle ist im Wesentlichen das, was Sie beim Speichern der Vorhersageformel berücksichtigt haben. Auf diese Weise können Sie feststellen, wo bei Ihrem Modell Probleme auftreten. Hat es Probleme, tote Bäume zu klassifizieren? Oder hat es Probleme mit nur lebenden Bäumen? Oder beides?
Vergessen Sie nicht, die Daten zu bewerten, auf denen das Modell basiert. Wie "ausgewogen" sind die Daten zwischen lebenden und toten Bäumen? Wenn zum Beispiel nur 1% der Bäume tot sind, wäre ein gutes Vorhersagemodell zu sagen, dass alle Bäume leben. 99% Genauigkeit! Nicht sehr hilfreich. Aus diesem Grund kann es hilfreich sein, eine Antwort zu haben, die nahezu ausgeglichen ist.
Enthielt das Modell nur Haupteffekte? Würden Interaktionen helfen? Was ist mit quadratischen Begriffen? Sind die Daten "reich" genug, um ein Modell mit diesen Begriffen höherer Ordnung zu unterstützen (dies ist eine gute Frage, wenn diese Begriffe höherer Ordnung auch bereits im Modell enthalten sind!).
Ich bin sicher, andere können weitere Dinge hinzufügen, um zu helfen, aber hier beginnt Ihr Spaß WIRKLICH! Viel Glück!
Betreff: Nominal Logistic Regression Frage zu: Save Probability FormulaIch bin ein bisschen verwirrt ... Woher haben Sie die Daten, um das Modell zu erstellen? Der Grund, warum die meisten Modelle nicht wirklich gut vorhersagen, ist, dass die zur Erstellung des Modells verwendeten Daten die zukünftigen Bedingungen NICHT repräsentativ darstellten. Aus diesem Grund ist die Planung der Datenerfassung viel wichtiger als die Datenanalyse. Obwohl ich sagen werde, dass das eine schwierige Situation ist. In 25 Jahren können sich viele Dinge ändern, die erwartet werden konnten oder nicht.
Betreff: Nominal Logistic Regression Frage zu: Save Probability FormulaDan, ich habe die Verwirrungsmatrix ausgeführt und sie hat gezeigt, dass das Modell die toten Bäume anständig vorhersagt und 3/4 von ihnen korrekt als tot vorhersagt.Aber es war schrecklich, die lebenden Bäume vorherzusagen und 63% von ihnen als tot vorherzusagen.Die Verteilung von lebenden und toten Bäumen liegt bei 45%, 55%, also ziemlich ausgewogen.Warum sollte das Modell gute Arbeit leisten, um die toten Bäume vorherzusagen, aber nicht die lebenden Bäume? - Mark
Betreff: Nominal Logistic Regression Frage zu: Save Probability FormulaDans Kommentare sind relevant, aber eine Sache, die Sie überprüfen sollten, ist, dass die Vorhersagen (lebend oder tot) auf einem Schwellenwert von 50% für die Klassifizierung der Bäume basieren.Wenn die AUC (aus der ROC-Kurve) hoch ist (näher an 1 als an 0,5), führt die Verwendung eines anderen Schwellenwerts für die Klassifizierung der Bäume wahrscheinlich zu besseren Vorhersagen.Dies gilt insbesondere dann, wenn die Daten sehr unausgewogen sind (dh wenn nur sehr wenige tote Bäume vorhanden sind), ist es wahrscheinlich, dass die meisten aus der logistischen Regression geschätzten Wahrscheinlichkeiten recht niedrig sind, was zur Standardvorhersage "nicht tot" führt. ).Es gibt ein nettes Add-In, das Sie verwenden können (suchen Sie einfach danach), das Verwirrungsmatrizen für alternative Cut-Off-Klassifizierungswahrscheinlichkeiten erzeugt.
Auf andere Sache fiel mir Ihre Beschreibung auf.Es hört sich so an, als wären dies zensierte Daten - nach 25 Jahren sind die lebenden Bäume wahrscheinlich nicht alle von derselben Gesundheit.Wenn Umweltbedingungen zum Baumtod beitragen, sind wahrscheinlich auch die überlebenden Bäume betroffen, aber noch nicht tot.Wenn Sie ein Maß für den Zeitpunkt haben, zu dem die Bäume starben, können Sie eine Überlebensanalyse durchführen, bei der die abhängige Variable der Zeitpunkt des Todes ist und zensierte Daten für die Analyse verwendet werden können.
Betreff: Nominal Logistic Regression Frage zu: Save Probability FormulaDale kann recht haben. Unter der Annahme, dass die Grenzwerte keine große Rolle spielen, ist Ihr Modell darauf ausgerichtet, Dead vorherzusagen. Dies scheint darauf hinzudeuten, dass in Ihrem Modell wahrscheinlich etwas fehlt, das auf einen lebenden Baum hinweist. Ich kann dir nicht sagen, was das ist. Ich bin auch nicht ganz sicher, ob meine Aussage richtig ist. Hier ist es notwendig, die Daten zu betrachten und Fachkenntnisse zu haben.
Betreff: Nominal Logistic Regression Frage zu: Save Probability FormulaDan, danke, dass du dich bei mir gemeldet hast. Zunächst vielen Dank für die Vorschläge zur ROC und zur Verwirrungsmatrix (ungerader Name). Sie waren sehr hilfreich. Mein bestes Modell produzierte einen ROC von 0,798, was ziemlich anständig war. Dies war natürlich eine Vorhersage der Gesamtzahl lebender und toter Bäume 25 Jahre später, nicht der toten oder lebendigen Vorhersagen für einzelne Bäume, die, wie unten beschrieben, bei 63% lagen. Die 2020 Bäume waren über den Zeitraum von 25 Jahren etwa 1/3 lebend und 2/3 tot. Obwohl nicht 50/50 ausgeglichen, aber nicht zu schief. Ich nahm Dales Vorschlag an und spielte herum, um die Vorhersageschwelle (auf 0,5 eingestellt) anzupassen, mit der einzelne Bäume als lebend oder tot klassifiziert / vorhergesagt wurden. Durch Einstellen der Schwelle auf 0,5 + 0,284 konnte ich die korrekten Vorhersageprozentsätze für lebende und tote Bäume auf 63% ausgleichen, obwohl die Anzahl der korrekten Vorhersagen tatsächlich geringfügig (4%) von der ursprünglichen stark verzerrten Vorhersage in Richtung toter Vorhersagen abnahm, die sich aus einer Vorhersageschwelle von 0,5 ergab. Sie könnten denken, dass die Baumsterblichkeitsrate von 67% über 25 Jahre wirklich hoch war. Es wäre unter normalen Bedingungen. Die hohe Sterblichkeitsrate war darauf zurückzuführen, dass das Gebiet, in dem ich die ungefähr 10.000 Bäume verfolgte, im Zeitraum von 25 Jahren achtmal verbrannt wurde. --Kennzeichen
