703616_it-IT

liliconcom

Dati nominali mancanti

CIAO. Sto realizzando un progetto di classe in cui devo prevedere il prezzo in base a una serie di variabili predittive per un set di dati sugli alloggi. Ho ripulito tutte le mie righe numeriche, eliminando i valori anomali, ora la mia domanda coinvolge due colonne: parking_options e Laundry_options. All'interno di queste due colonne sono presenti circa 218.000 valori mancanti per le righe. La mia domanda è cosa fare con i dati nominali mancanti. È una buona parte del set di dati (su 384.000) e non voglio eliminare completamente queste righe. So che a volte i dati vengono lasciati vuoti di proposito ma non credo che sia il mio caso. Ci sono alcune grandi case che hanno valori nulli in Laundry_options e Parking_options quindi non penso che dovrei semplicemente dare per scontato che questi valori nulli significhino divieto di parcheggio e lavanderia.

Esplorazione e visualizzazione dei datifinestreRi: Dati nominali mancanti

Penso che tu abbia due opzioni fondamentali. Il primo è adottare/richiamare la funzionalità "informative mancanti" in JMP. Di seguito è riportato un collegamento alla spiegazione delle funzionalità nella documentazione di JMP: Informativa mancante in JMP . Ma questo significa che pensi o almeno sei disposto a presumere che ci sia qualche "informazione" nel fatto che mancano le osservazioni. Supponiamo che le persone non siano disposte a fornire una risposta a qualcosa per problemi di privacy o per qualche altro motivo comune tra le osservazioni mancanti. Essenzialmente JMP tratta i "mancanti" come un livello aggiuntivo per la variabile predittiva nominale. La seconda opzione è semplicemente stringere i denti e seguire solo le osservazioni che hanno tutti i valori delle variabili predittive. Hai ancora circa 166.000 osservazioni su cui lavorare. Infine, proverei entrambi i percorsi e confronterei le conclusioni pratiche raggiunte da ciascuno. Se ci sono poche conclusioni pratiche che differiscono, allora la "mancanza" non ha influito sulle decisioni finali.

Ri: Dati nominali mancanti

Quando si usa informativo mancante , significa che tutte le righe con mancante i dati appartengono allo stesso "gruppo" - dal punto di vista di informazione : che è sempre lo stesso "motivo" per cui mancano le informazioni?

cioè NON:
- mancante perché la metà di loro non ha né la lavanderia né il parcheggio e non vuole dirlo e la metà di loro è ultra ricca, ha 5 parcheggi e 3 lavanderie e non vuole dirlo.

Ri: Dati nominali mancanti

Tipo. Anche nel secondo scenario c’è un filo conduttore, la riluttanza a rispondere per qualsiasi motivo. Ecco perché usare l'informazione mancante è una specie di atto di fede. E perché ho suggerito di adattare il modello con e senza informazioni mancanti per vedere se le conclusioni pratiche sono diverse tra ciascuna analisi.

Ri: Dati nominali mancanti

Come persona che insegna queste cose, ho un paio di commenti, oltre ai validi consigli di P_Bartell.Dovresti provare sia con che senza informazioni mancanti.Sulla stessa linea, dovresti indagare graficamente come le case con quei dati mancanti si confrontano con le case con dati completi riguardo alla variabile dipendente che stai cercando di prevedere (presumibilmente un prezzo?).In altre parole, se i prezzi delle case senza opzioni di lavanderia si comportano in modo simile alle case con quelle opzioni (per comportamento si intende il rapporto con cose come la metratura), allora forse quelle opzioni non sono così importanti e si può "stringere i denti" come P_Bartell lo mette.Tuttavia, stringere i denti può significare ignorare quella variabile piuttosto che ignorare le osservazioni con dati mancanti.Le opzioni di lavanderia potrebbero non essere così importanti e il motivo per cui questa variabile manca potrebbe essere casuale (questo è ciò su cui indagherà "informazione mancante", ma lo integrerei con un'ulteriore indagine grafica.

 

L'altra cosa che ho notato è il tuo commento che ha eliminato "i valori anomali".Mi rendo conto che alcune persone insegnano alle persone a farlo e alcuni testi addirittura istruiscono le persone a farlo.Non lo faccio.Penso che sia una cattiva abitudine sbarazzarsi dei dati.A meno che i valori anomali non sembrino errori, fanno parte dei tuoi dati e non penso che dovresti mai sbarazzartene senza ulteriori giustificazioni.È molto meglio utilizzare una misura invariante rispetto ai valori anomali (ad esempio la mediana anziché la media, che è possibile indagare utilizzando la regressione quantile) piuttosto che eliminare i valori anomali.

Ri: Dati nominali mancanti

Storicamente, tutte le grandi scoperte sono iniziate con valori anomali. I risultati non erano attesi. Buttarli via significa che non puoi scoprire qualcosa di nuovo. Il modello potrebbe spiegare questi risultati marginali.

Ri: Dati nominali mancanti

Punti eccellenti aggiunti da @dale_lehman sugli outlier.
E da aggiungere al commento di @Mark_Bailey , in presenza di valori anomali è possibile scegliere modelli meno influenzati da valori anomali, come metodi basati su alberi (Boosted Tree, Decision Tree, Random Forest, ...) o aggiungere regolarizzazione al modello lineare (ad esempio regressione LASSO).

Puoi anche giocare con parametri diversi o soluzioni alternative, come la pesatura per ridurre l'influenza dei valori anomali sul tuo modello.