354119_it-IT

liliconcom

Domanda di regressione logistica nominale relativa alla formula della probabilità di salvataggio

Sto cercando di sviluppare un modello per prevedere se un albero vivrà o morirà per un periodo di 25 anni, dati alcuni attributi ambientali associati a ciascun albero.Ho eseguito il modello di regressione logistica nominale, che ha mostrato che il Prob> ChiSq per ogni attributo era <0,0001, il che sembra suggerire che gli attributi ambientali potrebbero essere usati come buon predittore.Volendo vedere quanto fossero buone una previsione, ho selezionato l'opzione Salva formula di probabilità.Ciò ha aggiunto diverse colonne alla tabella, inclusa la colonna finale, che forniva una previsione (Molto probabile), Live o Dead.Le previsioni erano terribili.Il modello prevedeva che un totale di 140 alberi sarebbero stati vivi dopo 25 anni, quando in realtà il numero era di circa 1000.Non solo, ma molti dei 140 alberi vivi previsti in realtà erano morti.Quindi, la mia domanda è: perché le previsioni non erano nemmeno vicine ai dati effettivi di Live / Dead?

AnalyticsTabella datiOggetto: Domanda di regressione logistica nominale relativa a: Formula di probabilità di salvataggio

Puoi avere un modello statisticamente significativo che fa un cattivo lavoro di previsione. La significatività statistica indica che quei termini significativi AIUTANO a spiegare la risposta, ma non garantiscono una buona corrispondenza.

 

Ad esempio, con una risposta continua, guarda questa immagine:

Il modello è statisticamente significativo, ma chiaramente non prevederebbe bene.

Determinare il motivo per cui il modello non si adatta bene può essere difficile con una regressione logistica nominale. Alcune cose che possono aiutarti a determinare l'abilità predittiva piuttosto che "dare un'occhiata" alla tabella.

 

* Puoi richiedere la curva ROC. L'Area sotto la curva (AUC) è un'indicazione della capacità predittiva. Una AUC di 0,5 è la "linea di base". È come usare una moneta per determinare se l'albero vivrà o meno. Qualsiasi valore superiore a 0,5 inizia a fornire la prova dell'abilità predittiva. L'AUC superiore a 0,7 sta iniziando a raggiungere una discreta capacità predittiva. Sopra 0.9 è fantastico.

* Puoi anche richiedere la matrice di confusione. Questa è una tabella dei risultati osservati rispetto ai risultati previsti. Questa tabella è essenzialmente ciò che stavi considerando salvando la formula di previsione. Questo può aiutarti a determinare dove il tuo modello sta iniziando ad avere problemi. Ha problemi a classificare gli alberi morti? O ha problemi solo con alberi vivi? O entrambi?

 

Non dimenticare di valutare i dati su cui è stato costruito il modello. Quanto sono "bilanciati" i dati tra alberi vivi e morti? Ad esempio, se solo l'1% degli alberi è morto, un ottimo modello predittivo sarebbe dire che tutti gli alberi sono vivi. Precisione del 99%! Non molto utile però. Per questo motivo può essere utile avere una risposta abbastanza vicina all'equilibrata.

Il modello conteneva solo gli effetti principali? Le interazioni aiuterebbero? E i termini quadratici? I dati sono "ricchi" abbastanza per supportare un modello con questi termini di ordine superiore (questa è un'ottima domanda se anche quei termini di ordine superiore sono già nel modello!).

 

Sono sicuro che gli altri possono aggiungere più cose per aiutare, ma è qui che inizia VERAMENTE il tuo divertimento! Buona fortuna!

 

Oggetto: Domanda di regressione logistica nominale relativa a: Formula di probabilità di salvataggio

Sono un po 'confuso ... Dove hai preso i dati per creare il modello? Il motivo per cui la maggior parte dei modelli in realtà non prevede bene è che i dati utilizzati per creare il modello NON erano RAPPRESENTANTI delle condizioni future. Questo è il motivo per cui pianificare la raccolta dei dati è molto più importante dell'analisi dei dati. Anche se dirò che è una situazione difficile. Molte cose possono cambiare in 25 anni che potevano o non erano previste.

Oggetto: Domanda di regressione logistica nominale relativa a: Formula di probabilità di salvataggio

Dan, ho eseguito la Confusion Matrix e ha mostrato che il modello stava facendo una previsione decente degli alberi morti, prevedendo correttamente 3/4 di loro come morti.Ma era terribile prevedere gli alberi vivi, prevedendo che il 63% di loro sarebbero morti.La distribuzione di alberi vivi e morti è di circa il 45%, 55%, quindi abbastanza ben bilanciata.Perché il modello dovrebbe fare un lavoro decente prevedendo gli alberi morti ma non gli alberi vivi? - Mark

Oggetto: Domanda di regressione logistica nominale relativa a: Formula di probabilità di salvataggio

I commenti di Dan sono rilevanti, ma una cosa che dovresti controllare è che le previsioni (vivi o morti) si basano su una soglia del 50% per la classificazione degli alberi.Se l'AUC (dalla curva ROC) è alta (più vicina a 1 che a 0,5), è probabile che l'utilizzo di un valore di soglia diverso per la classificazione degli alberi risulti in previsioni migliori.Ciò è particolarmente vero se i dati sono molto sbilanciati (cioè, se ci sono pochissimi alberi morti, allora è probabile che la maggior parte delle probabilità stimate dalla regressione logistica saranno piuttosto basse, risultando nella previsione predefinita di "non morto" ).C'è un simpatico add-in che puoi usare (basta cercarlo) che produrrà matrici di confusione per probabilità di classificazione di cut-off alternative.

 

D'altra parte mi ha colpito della tua descrizione.Sembra che si tratti di dati censurati: dopo 25 anni, gli alberi che sono vivi probabilmente non hanno tutti la stessa salute.Se le condizioni ambientali contribuiscono alla morte degli alberi, probabilmente anche gli alberi sopravvissuti sono colpiti, ma non ancora morti.Se disponi di una misura del tempo in cui gli alberi sono morti, puoi provare un'analisi di sopravvivenza, in cui la variabile dipendente è l'ora della morte e nell'analisi possono essere utilizzati dati censurati.

Oggetto: Domanda sulla regressione logistica nominale relativa alla formula della probabilità di salvataggio

Dale potrebbe avere ragione. Ma supponendo che le interruzioni non giochino un ruolo importante, il tuo modello è prevenuto verso la previsione di Dead. Ciò sembra indicare che c'è qualcosa che probabilmente manca dal tuo modello che è indicativo di un albero vivo. Non posso dirti cosa sia. Inoltre, non sono completamente sicuro che la mia affermazione sia corretta. È qui che è necessario guardare i dati e avere conoscenza del campo.

Oggetto: Domanda sulla regressione logistica nominale relativa alla formula della probabilità di salvataggio

Dan, grazie per essere tornato da me. Innanzitutto, grazie mille per i suggerimenti ROC e matrice di confusione (nome dispari). Sono stati molto utili. Il mio miglior modello ha prodotto un ROC di 0,798, che era abbastanza decente. Ovviamente questo prevedeva il numero complessivo di alberi vivi e morti 25 anni dopo, non le previsioni vive o morte per i singoli alberi, che come descritto di seguito risultavano intorno al 63%. Gli alberi del 2020 erano circa 1/3 vivi e 2/3 morti nel periodo di 25 anni. Sebbene non sia bilanciato al 50/50, ancora non troppo sbilanciato. Ho seguito il suggerimento di Dale e ho giocato a regolare la soglia di previsione (impostata su 0,5) utilizzata per classificare / prevedere i singoli alberi come vivi o morti. Regolando la soglia a 0,5 + 0.284, sono stato in grado di ottenere le percentuali di previsione corrette per alberi vivi e morti bilanciati al 63%, sebbene il numero di previsioni corrette in realtà sia leggermente diminuito (4%) rispetto all'originale, fortemente inclinato verso previsioni morte risultanti da una soglia di previsione 0,5. Si potrebbe pensare che il tasso di mortalità degli alberi del 67% in 25 anni fosse davvero alto. Sarebbe in condizioni normali. L'alto tasso di mortalità era dovuto al fatto che l'area in cui stavo monitorando i circa 10.000 alberi è stata bruciata 8 volte in un periodo di 25 anni. --Marchio