Frage zur nominalen logistischen Regression bezüglich der Save-WahrscheinlichkeitsformelIch versuche, ein Modell zu entwickeln, das anhand bestimmter Umweltmerkmale vorhersagt, ob ein Baum innerhalb von 25 Jahren überlebt oder abstirbt. Ich habe ein nominales logistisches Regressionsmodell verwendet, dessen Chi-Quadrat-Wert für jedes Merkmal < 0,0001 war. Dies deutet darauf hin, dass die Umweltmerkmale als gute Prädiktoren dienen könnten. Um die Vorhersagegenauigkeit zu überprüfen, habe ich die Option „Wahrscheinlichkeitsformel speichern“ ausgewählt. Dadurch wurden der Tabelle mehrere Spalten hinzugefügt, darunter eine letzte Spalte mit der Wahrscheinlichkeit „Überlebend“ oder „Abgestorben“. Die Vorhersagen waren katastrophal. Das Modell sagte voraus, dass nach 25 Jahren insgesamt nur 140 Bäume überleben würden, tatsächlich waren es aber etwa 1000. Darüber hinaus waren viele der 140 vorhergesagten Bäume abgestorben. Meine Frage ist daher: Warum wichen die Vorhersagen so stark von den tatsächlichen Überlebensdaten ab?
Verbraucher- und MarktforschungInhaltsorganisationDatenexploration und -visualisierungErgebnisse teilen und kommunizierenBetreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelJa, das wusste ich, aber es ist nicht die typische schrittweise Darstellung von Überlebenskurven.Außerdem liefert diese Option die mittlere Überlebenszeit für jede Kategorie.Danke für all eure Aufmerksamkeit und Ratschläge!
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelTatsächlich KÖNNEN Sie mehr als eine Gruppe mit Life Distribution darstellen.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelTut mir leid, Dale.Die Spalte Anzahl war die Anzahl der Bäume, die in diesem Zeitraum starben.Der Grund, warum Count nicht annähernd 10.000 ergibt, liegt darin, dass dies Daten von nur einer der drei Verbrennungseinheiten waren.Ich habe herausgefunden, wie man die Überlebenskurven für alle 7 Gruppen in einem Diagramm erhält.Nachdem Sie Reliability and Survival ausgewählt haben, wählen Sie Survival (statt Life Distribution).Dadurch werden die Überlebenskurven für alle 7 Gruppen in einem Diagramm dargestellt.Die Survival-Option erwartet, dass die Datenspalte (in diesem Fall Anzahl) die Anzahl der Einheiten auflistet, die in jedem Zeitraum gestorben oder ausgefallen sind.Sehr raffiniert.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelDie von Ihnen angehängte Datentabelle enthält keine Daten zur Anzahl der lebenden und toten Bäume in jedem Zeitraum (ich bin mir nicht sicher, was "Count" darstellt, aber es berücksichtigt nicht 10.000 Bäume).Ich kann also nicht versuchen, dieses Bild aus Ihren Daten zu gewinnen.Aber wenn Sie ein Überlebensdiagramm für jede Gruppe separat haben und sie in demselben Diagramm haben möchten, können Sie "Diagramm kopieren" verwenden, um ein Diagramm zu kopieren und in das andere einzufügen, und sie sollten überlagert werden.Möglicherweise gibt es eine Möglichkeit, die Überlebensanalyse automatisch durchzuführen, aber ich kann aus der von Ihnen beigefügten Tabelle nicht entnehmen, wie Ihre Daten aussehen.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelOk, ich glaube, ich habe herausgefunden, wie ich Daten mit einer Häufigkeitsspalte eingeben kann, die es mir ermöglicht, die Überlebensanalyse durchzuführen.Nach Auswahl der Option „Gruppen vergleichen“ zeigen die Ergebnisse die Sterblichkeitskurve und auch die mittleren Überlebenszeiten für die beiden Gruppen, letzteres, wonach ich gesucht habe.Wenn ich die Option „Lebensverteilung“ auswähle, zeigen die Ergebnisse die individuellen Lebensüberlebenskurven für jede Gruppe in separaten Diagrammen.Gibt es eine Möglichkeit, die Überlebenskurven für beide Gruppen in einem einzigen Diagramm zu erhalten? (Ich weiß, dass ich die beiden Überlebenskurven leicht in einem einzigen Diagramm anzeigen kann, indem ich die Daten in Excel kopiere, aber es scheint, als sollte ich dies auch auf JMP tun können.) Irgendwelche Vorschläge?FYI Ich habe die Datentabelle enthalten.Gibt es eine Möglichkeit, die Ergebnisse zu erhalten, um die Überlebenskurven in einem einzigen Diagramm anzuzeigen?Danke für die Vorschläge.--Mark
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelWie würde ich eine Tabelle erstellen, um die mittleren oder mittleren Überlebenszeiten für sieben Baumgruppen über einen Zeitraum von 25 Jahren zu berechnen?Es handelt sich um fast 10.000 Bäume, und ich möchte nicht für jeden Baum die Todeszeit eingeben.Was ich für jede Gruppe habe, ist die Anzahl der noch lebenden Bäume für jeden der 25 Zeiträume sowie die Anzahl der Bäume, die in jedem Zeitraum gestorben sind.Alle Gruppen haben nach 25 Jahren noch Bäume (manche wenige, manche viele), also muss ich auch die Zensur in die Tabelle einbauen.Ist es möglich, mit den oben genannten Daten eine Überlebensanalysetabelle zu erstellen?Ich hoffe es, da die Aussicht, die Überlebenszeit für jeden der 10.000 Bäume eingeben zu müssen, ziemlich gering ist.Vielen Dank für die vorherigen Kommentare und Vorschläge.Sie waren sehr hilfreich! – Mark
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelDan, danke, dass du dich bei mir gemeldet hast. Zunächst vielen Dank für die Vorschläge zu ROC und Verwirrungsmatrix (ungerader Name). Sie waren sehr hilfreich. Mein bestes Modell produzierte einen ROC von 0,798, was ziemlich anständig war. Natürlich war dies die Vorhersage der Gesamtzahl lebender und toter Bäume 25 Jahre später, nicht die Vorhersagen für tot oder lebendig für einzelne Bäume, die, wie unten beschrieben, bei etwa 63 % lagen. Die Bäume im Jahr 2020 waren über den Zeitraum von 25 Jahren zu etwa 1/3 lebend und zu 2/3 tot. Zwar nicht 50/50 ausgewogen, aber dennoch nicht zu verzerrt. Ich nahm Dales Vorschlag und spielte herum, um den Vorhersageschwellenwert (auf 0,5 eingestellt) anzupassen, der verwendet wird, um einzelne Bäume als lebend oder tot zu klassifizieren/vorherzusagen. Durch Einstellen des Schwellenwerts auf 0,5 + 0,284 konnte ich die korrekten Vorhersageprozentsätze für lebende und tote Bäume erhalten, die bei 63 % ausgeglichen waren, obwohl die Anzahl der korrekten Vorhersagen tatsächlich leicht zurückging (4 %) gegenüber den ursprünglichen, stark in Richtung toter Vorhersagen verzerrten Vorhersagen, die sich aus einem Vorhersageschwellenwert von 0,5 ergaben. Man könnte denken, dass die Baumsterblichkeitsrate von 67 % über 25 Jahre wirklich hoch war. Es wäre unter normalen Bedingungen. Die hohe Sterblichkeitsrate war darauf zurückzuführen, dass das Gebiet, in dem ich die ungefähr 10.000 Bäume verfolgte, in den 25 Jahren achtmal niedergebrannt wurde. --Markieren
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelDale mag Recht haben. Aber unter der Annahme, dass die Grenzwerte keine große Rolle spielen, ist Ihr Modell darauf ausgerichtet, Deads vorherzusagen. Das scheint darauf hinzudeuten, dass Ihrem Modell wahrscheinlich etwas fehlt, das auf einen lebenden Baum hinweist. Ich kann dir nicht sagen, was das ist. Ich bin mir auch nicht ganz sicher, ob meine Aussage richtig ist. Hier ist es notwendig, sich die Daten anzusehen und Kenntnisse auf dem Gebiet zu haben.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelDans Kommentare sind relevant, aber eine Sache, die Sie überprüfen sollten, ist, dass die Vorhersagen (lebend oder tot) auf einer 50-%-Schwelle für die Klassifizierung der Bäume basieren.Wenn die AUC (aus der ROC-Kurve) hoch ist (näher an 1 als an 0,5), dann ist es wahrscheinlich, dass die Verwendung eines anderen Schwellenwerts zum Klassifizieren der Bäume zu besseren Vorhersagen führt.Dies gilt insbesondere, wenn die Daten sehr unausgeglichen sind (d. h. wenn es nur sehr wenige tote Bäume gibt, dann ist es wahrscheinlich, dass die meisten der aus der logistischen Regression geschätzten Wahrscheinlichkeiten ziemlich niedrig sind, was zu der Standardvorhersage von „nicht tot“ führt. ).Es gibt ein nettes Add-In, das Sie verwenden können (einfach danach suchen), das Verwirrungsmatrizen für alternative Wahrscheinlichkeiten der Cut-Off-Klassifizierung erzeugt.
Ansonsten ist mir deine Beschreibung aufgefallen.Es hört sich so an, als wären dies zensierte Daten - nach 25 Jahren sind die Bäume, die leben, wahrscheinlich nicht alle gleich gesund.Wenn Umweltbedingungen zum Baumsterben beitragen, sind die überlebenden Bäume wahrscheinlich ebenfalls betroffen, aber noch nicht tot.Wenn Sie ein Maß für die Zeit haben, zu der die Bäume starben, können Sie eine Überlebensanalyse versuchen, bei der die abhängige Variable die Todeszeit ist und zensierte Daten in der Analyse verwendet werden können.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelDan, ich habe die Confusion Matrix laufen lassen und sie zeigte, dass das Modell die toten Bäume anständig vorhersagte und 3/4 von ihnen korrekt als tot vorhersagte.Aber es war schrecklich, die lebenden Bäume vorherzusagen und 63% von ihnen als tot vorherzusagen.Die Verteilung von lebenden und toten Bäumen beträgt etwa 45 %, 55 %, also ziemlich ausgewogen.Warum sollte das Modell anständige Arbeit leisten, indem es die toten Bäume vorhersagt, aber nicht die lebenden Bäume? - Mark
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelIch bin etwas verwirrt ... Woher haben Sie die Daten, um das Modell zu erstellen? Der Grund, warum die meisten Modelle keine guten Vorhersagen machen, ist, dass die Daten, die zur Erstellung des Modells verwendet wurden, NICHT REPRÄSENTATIV für die zukünftigen Bedingungen waren. Aus diesem Grund ist die Planung der Datenerhebung viel wichtiger als die Datenanalyse. Obwohl ich sagen werde, dass das eine schwierige Situation ist. Viele Dinge können sich in 25 Jahren ändern, die vorhersehbar oder nicht vorhersehbar waren.
Betreff: Frage zur nominellen logistischen Regression bezüglich der Save-Probability-FormelSie können ein statistisch signifikantes Modell haben, das keine Vorhersagen macht. Statistische Signifikanz sagt Ihnen, dass diese signifikanten Begriffe helfen, die Antwort zu erklären, garantieren jedoch keine gute Anpassung.
Sehen Sie sich zum Beispiel bei einer kontinuierlichen Antwort dieses Bild an:
Das Modell ist statistisch signifikant, würde aber eindeutig nicht gut vorhersagen.
Mit einer nominalen logistischen Regression kann es schwierig sein, festzustellen, warum das Modell nicht gut passt. Ein paar Dinge, die Ihnen helfen können, die Vorhersagefähigkeit zu bestimmen, anstatt die Tabelle zu "beäugen".
* Sie können nach der ROC-Kurve fragen. Die Fläche unter der Kurve (AUC) ist ein Hinweis auf die Vorhersagefähigkeit. Eine AUC von 0,5 ist die „Basislinie“. Das ist, als würde man mit einer Münze bestimmen, ob der Baum leben wird oder nicht. Alles über 0,5 liefert einen Beweis für die Vorhersagefähigkeit. AUC über 0,7 beginnt, eine anständige Vorhersagefähigkeit zu erreichen. Über 0,9 ist fantastisch.
* Sie können auch nach der Konfusionsmatrix fragen. Dies ist eine Tabelle mit beobachteten Ergebnissen im Vergleich zu vorhergesagten Ergebnissen. Diese Tabelle ist im Wesentlichen das, was Sie beim Speichern der Vorhersageformel in Betracht gezogen haben. Dies kann Ihnen helfen, festzustellen, wo Ihr Modell beginnt, Probleme zu haben. Hat es Probleme, tote Bäume zu klassifizieren? Oder hat es nur Probleme mit lebenden Bäumen? Oder beides?
Vergessen Sie nicht, die Daten zu bewerten, auf denen das Modell aufgebaut wurde. Wie "ausgeglichen" sind die Daten zwischen lebenden und toten Bäumen? Wenn zum Beispiel nur 1 % der Bäume tot sind, wäre ein großartiges Vorhersagemodell zu sagen, dass alle Bäume leben. 99% Genauigkeit! Allerdings nicht sehr hilfreich. Aus diesem Grund kann es hilfreich sein, eine Antwort zu haben, die ziemlich ausgeglichen ist.
Enthält das Modell nur Haupteffekte? Würden Interaktionen helfen? Was ist mit quadratischen Termen? Sind die Daten "reich" genug, um ein Modell mit diesen Termen höherer Ordnung zu unterstützen (dies ist eine großartige Frage, wenn diese Terme höherer Ordnung auch bereits im Modell enthalten sind!).
Sie könnten auch eine andere Modellierungstechnik ausprobieren. Vielleicht wäre ein Partitions- oder Baummodell eine gute Sache zum Ausprobieren. Es gibt auch andere Werkzeuge.
Ich bin sicher, andere können noch mehr Dinge hinzufügen, um zu helfen, aber hier beginnt Ihr Spaß WIRKLICH! Viel Glück!
