Domanda sulla regressione logistica nominale relativa alla formula della probabilità di salvataggioSto cercando di sviluppare un modello per prevedere se un albero vivrà o morirà in un periodo di 25 anni, in base ad alcuni attributi ambientali associati a ciascun albero. Ho eseguito il modello di regressione logistica nominale, che ha mostrato che la probabilità > Chi quadrato per ciascun attributo era < 0,0001, il che sembrerebbe suggerire che gli attributi ambientali potrebbero essere utilizzati come buoni predittori. Volendo verificare l'accuratezza delle previsioni, ho selezionato l'opzione "Salva formula di probabilità". Questo ha aggiunto diverse colonne alla tabella, inclusa l'ultima colonna, che forniva una previsione (più probabile), vivo o morto. Le previsioni erano pessime. Il modello prevedeva che un totale di 140 alberi sarebbero stati vivi dopo 25 anni, quando in realtà il numero era di circa 1000. Non solo, ma molti dei 140 alberi previsti come vivi erano in realtà morti. Quindi, la mia domanda è: perché le previsioni non erano nemmeno lontanamente vicine ai dati reali di sopravvivenza/morte?
Ricerca sui consumatori e sul mercatoOrganizzazione dei contenutiEsplorazione e visualizzazione dei datiCondivisione e comunicazione dei risultatiOggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioSì, lo sapevo, ma non è la tipica rappresentazione graduale delle curve di sopravvivenza.Inoltre, questa opzione fornisce il tempo medio di sopravvivenza per ogni categoria.Grazie per tutta l'attenzione e i consigli!
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioIn realtà, PUOI tracciare più di un gruppo con Life Distribution.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioMi dispiace, Dale.La colonna Count era il numero di alberi morti durante quel periodo di tempo.Il motivo per cui Count non arriva a quasi 10.000 è perché si trattava di dati provenienti da una sola delle tre unità di masterizzazione.Ho scoperto come ottenere le curve di sopravvivenza per tutti e 7 i gruppi su un grafico.Dopo aver selezionato Affidabilità e Sopravvivenza, seleziona Sopravvivenza (invece di Distribuzione Vita).Questo metterà le curve di sopravvivenza per tutti e 7 i gruppi su un grafico.L'opzione Sopravvivenza prevede che la colonna dei dati (Conteggio in questo caso) indichi il numero di unità morte o fallite in ciascun periodo di tempo.Molto elegante.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioLa tabella dei dati che hai allegato non contiene dati sul numero di alberi vivi e morti in ciascun periodo di tempo (non sono sicuro di cosa rappresenti "Conteggio", ma non tiene conto di 10.000 alberi).Quindi, non posso tentare di ottenere quell'immagine dai tuoi dati.Ma se hai un grafico di sopravvivenza per ogni gruppo separatamente e li vuoi sullo stesso grafico, puoi usare "copia grafico" per copiare e incollare un grafico nell'altro e dovrebbero essere sovrapposti.Potrebbe esserci un modo per fare in modo che l'analisi di sopravvivenza lo faccia automaticamente, ma non posso dire come sono i tuoi dati dalla tabella che hai allegato.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioOk, penso di aver capito come inserire i dati con una colonna di frequenza che mi consenta di eseguire l'analisi di sopravvivenza.Dopo aver selezionato l'opzione "confronta gruppi", i risultati mostrano la curva di mortalità e anche i tempi medi di sopravvivenza per i due gruppi, quest'ultimo che è quello che stavo cercando.Quando seleziono l'opzione "distribuzione della vita", i risultati mostrano le curve di sopravvivenza della vita individuale per ciascun gruppo in grafici separati.C'è un modo per ottenere le curve di sopravvivenza per entrambi i gruppi su un singolo grafico? (So che posso mostrare facilmente entrambe le curve di sopravvivenza su un singolo grafico copiando i dati in Excel, ma sembra che dovrei essere in grado di farlo anche su JMP.) Qualche suggerimento?Cordiali saluti, ho incluso la tabella dei dati.C'è un modo per ottenere i risultati per mostrare le curve di sopravvivenza su un singolo grafico?Grazie per i suggerimenti.--Mark
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioCome potrei impostare una tabella per calcolare i tempi di sopravvivenza medi o mediani per sette gruppi di alberi in un periodo di 25 anni.Sono coinvolti quasi 10.000 alberi e non voglio inserire il tempo di morte per ogni albero.Quello che ho per ciascun gruppo è il numero di alberi ancora vivi per ciascuno dei 25 periodi di tempo, nonché il numero di alberi che sono morti in ciascun periodo di tempo.Tutti i gruppi hanno alberi ancora vivi dopo 25 anni (alcuni pochi, altri molti), quindi dovrò incorporare anche la censura nella tabella.È possibile creare una tabella di analisi della sopravvivenza utilizzando i dati di cui sopra?Lo spero poiché la prospettiva di dover inserire il tempo di sopravvivenza per ciascuno dei 10.000 alberi è piuttosto scarsa.Grazie mille per i commenti e i suggerimenti precedenti.Sono stati molto utili! - Mark
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioDan, grazie per avermi richiamato. Innanzitutto, grazie mille per i suggerimenti ROC e matrice di confusione (nome strano). Sono stati molto utili. Il mio modello migliore ha prodotto un ROC di 0,798, che era abbastanza decente. Ovviamente questo prevedeva il numero complessivo di alberi vivi e morti 25 anni dopo, non le previsioni morte o vive per i singoli alberi, che come descritto di seguito risultavano intorno al 63%. Gli alberi del 2020 erano circa 1/3 vivi e 2/3 morti nel periodo di 25 anni. Sebbene non sia bilanciato al 50/50, non è ancora troppo distorto. Ho preso il suggerimento di Dale e ho giocato con la regolazione della soglia di previsione (impostata a 0,5) utilizzata per classificare/prevedere i singoli alberi come vivi o morti. Regolando la soglia a 0,5 + 0,284, sono stato in grado di ottenere le percentuali di previsione corrette per gli alberi vivi e morti bilanciati al 63%, sebbene il numero di previsioni corrette sia effettivamente diminuito leggermente (4%) rispetto alle previsioni originali fortemente distorte verso le morti risultanti da una soglia di previsione di 0,5. Potresti pensare che il tasso di mortalità degli alberi del 67% in 25 anni sia stato davvero alto. Sarebbe in condizioni normali. L'alto tasso di mortalità era dovuto al fatto che l'area in cui stavo monitorando i circa 10.000 alberi è stata bruciata 8 volte nell'arco di 25 anni. --Segno
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioDale potrebbe avere ragione. Ma supponendo che i tagli non abbiano un ruolo importante, il tuo modello è orientato verso la previsione di Dead. Ciò sembra indicare che c'è qualcosa che probabilmente manca nel tuo modello che è indicativo di un albero vivo. Non posso dirti cosa sia. Inoltre, non sono del tutto sicuro che la mia affermazione sia corretta. È qui che è necessario guardare i dati e avere una conoscenza del campo.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioI commenti di Dan sono rilevanti, ma una cosa che dovresti controllare è che le previsioni (vive o morte) si basano su una soglia del 50% per classificare gli alberi.Se l'AUC (dalla curva ROC) è alta (più vicina a 1 che a 0,5), è probabile che l'utilizzo di un valore di soglia diverso per classificare gli alberi si traduca in previsioni migliori.Ciò è particolarmente vero se i dati sono molto sbilanciati (ovvero, se ci sono pochissimi alberi morti, allora è probabile che la maggior parte delle probabilità stimate dalla regressione logistica sia piuttosto bassa, risultando nella previsione predefinita di "non morto" ).C'è un bel componente aggiuntivo che puoi usare (basta cercarlo) che produrrà matrici di confusione per probabilità di classificazione di cut-off alternative.
Un'altra cosa mi ha colpito della tua descrizione.Sembra che questi siano dati censurati: dopo 25 anni, gli alberi che sono vivi probabilmente non hanno tutti la stessa salute.Se le condizioni ambientali contribuiscono alla morte degli alberi, probabilmente anche gli alberi sopravvissuti ne sono colpiti, ma non sono ancora morti.Se si dispone di una misura dell'ora in cui gli alberi sono morti, è possibile provare un'analisi di sopravvivenza, in cui la variabile dipendente è l'ora della morte e i dati censurati possono essere utilizzati nell'analisi.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioDan, ho eseguito Confusion Matrix e ha mostrato che il modello stava prevedendo in modo decente gli alberi morti, prevedendo correttamente 3/4 di loro come morti.Ma stava andando male prevedere gli alberi vivi, prevedendo che il 63% di loro fosse morto.La distribuzione di alberi vivi e morti è di circa il 45%, 55%, quindi abbastanza ben bilanciata.Perché il modello farebbe un buon lavoro prevedendo gli alberi morti ma non quelli vivi? -- Mark
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioSono un po' confuso... Dove hai preso i dati per creare il modello? Il motivo per cui la maggior parte dei modelli in realtà non prevede bene è che i dati utilizzati per creare il modello NON erano RAPPRESENTATIVI delle condizioni future. Questo è il motivo per cui pianificare la raccolta dei dati è molto più importante dell'analisi dei dati. Anche se dirò che è una situazione difficile. Molte cose possono cambiare in 25 anni che potrebbero o non erano previste.
Oggetto: domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggioPuoi avere un modello statisticamente significativo che fa un pessimo lavoro di previsione. La significatività statistica ti sta dicendo che quei termini significativi AIUTANO a spiegare la risposta, ma non garantiscono un buon adattamento.
Ad esempio, con una risposta continua, guarda questa immagine:
Il modello è statisticamente significativo, ma chiaramente non prevede bene.
Determinare perché il modello non si adatta bene può essere difficile con una regressione logistica nominale. Alcune cose che possono aiutarti a determinare l'abilità predittiva piuttosto che "osservare" il tavolo.
* Puoi richiedere la curva ROC. L'area sotto la curva (AUC) è un'indicazione della capacità predittiva. Un AUC di 0,5 è la "linea di base". È come usare una moneta per determinare se l'albero vivrà o meno. Qualsiasi valore superiore a 0,5 inizia a fornire prove di capacità predittive. L'AUC superiore a 0,7 sta iniziando a raggiungere una discreta capacità predittiva. Sopra 0,9 è fantastico.
* Puoi anche chiedere la matrice di confusione. Questa è una tabella dei risultati osservati rispetto ai risultati previsti. Questa tabella è essenzialmente ciò che stavi considerando salvando la formula di previsione. Questo può aiutarti a determinare dove il tuo modello sta iniziando ad avere problemi. Ha problemi a classificare gli alberi morti? O ha problemi solo con alberi vivi? O entrambi?
Non dimenticare di valutare i dati su cui è stato costruito il modello. Quanto sono "bilanciati" i dati tra alberi vivi e alberi morti? Ad esempio, se solo l'1% degli alberi è morto, un ottimo modello predittivo sarebbe dire che tutti gli alberi sono vivi. Precisione del 99%! Non molto utile però. Per questo motivo può essere utile avere una risposta abbastanza vicina all'equilibrio.
Il modello conteneva solo gli effetti principali? Le interazioni aiuterebbero? E i termini quadratici? I dati sono abbastanza "ricchi" da supportare un modello con questi termini di ordine superiore (questa è un'ottima domanda se anche quei termini di ordine superiore sono già nel modello!).
Potresti anche provare una tecnica di modellazione diversa. Forse una partizione o un modello ad albero sarebbe una buona cosa da provare. Ci sono anche altri strumenti.
Sono sicuro che altri possono aggiungere altre cose per aiutare, ma è qui che inizia DAVVERO il tuo divertimento! Buona fortuna!
