A volte il vuoto è significativo. Se un richiedente di prestito lascia vuoti i suoi campi di debito e di stipendio, non credi che il vuoto sia significativo? Se un candidato di lavoro lascia questo campo di lavoro precedente vuoto, non credi che il vuoto sia significativo? Se un candidato politico compila un modulo che ha un campo vuoto per l'ultimo crimine condannato, quel vuoto è sperabilmente positivo. I valori mancanti sono anche valori - sono solo più difficili da sistemare nei nostri metodi statistici. Non puoi fare aritmetica su di loro per trovare mezzi. Ma puoi ancora usarli in modi pratici.
Alcuni set di dati sono pieni di valori mancanti. I metodi standard devono abbandonare un'intera osservazione se manca una delle X. Se si modella con un sacco di variabili e manca l'una o l'altra delle variabili, si può finire con nessun dato da stimare con. Inoltre, anche se si ottengono abbastanza dati, quella parte dei dati potrebbe essere un campione distorto dei dati ogni volta che il meccanismo per rendere i valori mancanti è correlato alla risposta. I risultati sono di parte.
Un approccio per risolvere il problema è imputazione - si stimano i valori mancanti, o in alcuni casi si fornisce una distribuzione dei valori mancanti, producendo una distribuzione di risposte. L'imputazione è una ricca area di statistica con una vasta letteratura. Alcuni tipi di imputazione sono facili: come stimare i valori mancanti prevedendoli da tutte le variabili X che non mancano. Altri tipi sono difficili e implicano entrare nel meccanismo del perché mancano i valori.
Ma supponiamo di essere solo dei minatori di dati: vogliamo solo qualcosa di semplice da introdurre in grandi modelli predittivi per recuperare tutte quelle osservazioni che altrimenti dovremmo eliminare.
Supponiamo inoltre che i valori mancanti siano informativi. Quando si studiano i dati per prevedere se un prestito è cattivo e il richiedente il prestito lascia il suo reddito oi suoi debiti correnti mancanti, probabilmente è meglio presumere che il candidato sia evasivo qui per un motivo. L'atto di lasciare il campo mancante è un indizio forte sul rischio di un prestito al richiedente.
Invece di cercare di prevedere il campo mancante, lo codificheremo. Se il campo è categorico, consideriamo semplicemente mancante come un'altra categoria. Se il campo è continuo, dobbiamo fare qualcos'altro. Per quella variabile, creiamo due colonne nella matrice di disegno per ciascun regressore continuo X:
X Continuo = if (IsMissing (x), x, xbar)X mancante = IsMissing (x)
La prima colonna è solo X tranne quando manca X, nel qual caso sostituiamo la media di quella X. La seconda colonna è l'indicatore mancante.
Ciascuna di queste colonne di progettazione ha un parametro stimato per questo. La prima colonna sarà la stima di tutte le X non mancanti. Il secondo sarà il quanto la Y prevista deve cambiare se manca X, in cui il cambiamento viene misurato da ciò che una media X potrebbe prevedere per Y.
Questa codifica a valore mancante è stata utilizzata come metodo pratico da molto tempo. Nel JMP , è stato introdotto con la nuova piattaforma Neural in JMP 10. Ora con JMP 11 , lo stiamo introducendo per la maggior parte delle altre piattaforme Fit Model.
In passato, abbiamo supportato il data mining che si adatta principalmente alle piattaforme Neural e Partition, che mancavano di gestione dei valori. Le piattaforme di modellazione regolari hanno sofferto quando c'erano molti valori mancanti nei dati. Ora abbiamo un'opzione "Informative Missing" che specifica l'uso del sistema di codifica del valore mancante ogni volta che una covariata continua ha valori mancanti e utilizza anche un livello di valore mancante per la mancanza categoriale.
La directory di esempio ha un set di dati chiamato Equity che è un esempio di modellazione predittiva standard con molti valori mancanti. Ad esempio, la colonna DEBTINC ha il 22% dei suoi valori mancanti.
Senza la mancanza di informazioni, l'adattamento logistico utilizza solo 3364 delle 5.960 osservazioni. Tuttavia, con la mancanza di informazioni, tutti i dati sono adatti. Senza Mancato Informativo, il Rsquare era .23, ma con Mancato Informativo, il Rsquare è .45. Stiamo adattando molte più osservazioni e ci stiamo adattando molto meglio.
Si noti nei report che molti dei regressori continui hanno due parametri: ad esempio, MORTDUE o Mean se Missing e MORTDUE è mancante. Se la stima dei parametri sull'indicatore "Manca" termine non è significativo, quindi l'utilizzo di imputazione per la media avrebbe funzionato. Ma se il valore è significativo, i valori mancanti stanno dicendo qualcosa di diverso rispetto al valore medio.
Potresti fare questa tecnica prima con un sacco di sforzi per far regredire le colonne delle formule. Con JMP 11, devi solo fare clic su una voce di menu chiamata "Mancanti informativi".
Ora le piattaforme Fit Model sono pronte per unire le tradizionali piattaforme predittive per creare modelli predittivi. Tra l'altro, Informative Missing è nella piattaforma Fit Model in JMP 11 per le personalità più idonee.
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
Caro Martin,
Ho passato nuovamente il file Bands Data.jmp e ho usato le due formule di colonna per rendere mancanti le variabili continue in media di dati registrati di colonne, e ho aggiunto la colonna Indicatore di 0/1 per specificare I dati mancanti / non mancati di mancare, e ri ha eseguito le regressioni con le 2 nuove colonne e confrontato con la regressione dei dati originali con valori mancanti.
È ancora un modo prolisso di farlo rispetto a JMP Pro, ma almeno funziona per me.
I migliori saluti,
David
Ciao David,
il file campione che hai citato non è stato allegato. Tuttavia la formula dovrebbe funzionare e ora è necessario aggiungere entrambe le nuove colonne alla regressione anziché quella originale. Se la mancanza di informazioni risulta essere informativa, la colonna dell'indicatore dovrebbe risultare significativa. Nell'opportuna opzione mancante nelle nuove versioni di JMP, l'output verrà generato in modo che la variabile significativa venga visualizzata come "Col 1 o significa se manca" o Manca 1 "come si può vedere nella schermata di John o nel finale rapporto.
Spero che sia d'aiuto,
balestruccio
Ciao Martin,
In JMP7 creo la X continua con valori di media (x) di colonna usando ColMean (x) in:
IfMissing (x) => Colmean (x);
=> X
E X mancante = IsMissing (x)
Laborioso, ma funziona per rivelare l'effetto dei valori dei dati mancanti su Bands? (Y)
David
Ciao David,
come descritto da John nella parte centrale, è possibile creare nuove colonne formula per ciascuna delle variabili che si verificano. Hai appena aggiunto per una variabile continua due nuove colonne formula (fai clic con il tasto destro sulla nuova colonna e seleziona la formula):
X Continuo = if (IsMissing (x), xbar, x)
e seconda colonna solo l'indicatore:
X mancante = IsMissing (x)
Si prega di essere consapevoli del fatto che credo nella formula del blog di John è un bug in quanto ha x come conseguenza della mancanza e altro xbar. Penso che questo dovrebbe essere cambiato come nella formula che ho sopra, come si desidera aggiungere la media della colonna nel caso in cui ci sia una variabile mancante. Btw. puoi cambiare la media della colonna in base a qualsiasi formula di imputazione che ritieni appropriata, poiché non sempre la media indica l'imputazione migliore (ma questo è un argomento separato per se stesso).
Ora hai due colonne e puoi aggiungere queste due al posto della disordinata colonna originale alla tua regressione come fattori.
Poiché questo può essere un notevole sforzo nel caso in cui si disponga di molti predittori a partire da JMP 11, questa opzione è stata inclusa.
C'è qualche ragione specifica per cui non è possibile aggiornare la licenza a una versione JMP più recente (JMP 13.1 corrente)? Vi è stato aggiunto molto di più che aiuta a modellare i dati disordinati che potreste voler dare un'occhiata.
Saluti,
balestruccio
Molto utile.
Voglio capire come funziona l'Informative Missing Works, ma sono limitato dal fatto che JMP7 / 8 è il mio software con licenza.
Sto cercando di eseguire il modello Robert Anderson Partition di Bands_Data.jmp utilizzando solo JMP7 per replicare l'approccio.
Ciò sarebbe stato di grande aiuto quando si trattava di dati di regressione assicurativa e di produzione con molti valori di dati mancanti che ostacolano la regressione stepwise.
David Ashling
0783 400 6111
