da John Sall, co-fondatore e vicepresidente esecutivo, SAS
E se ti dicessi che aggiungendo una funzione molto semplice, potresti adattare molti modelli in modo più accurato rispetto a prima? Allo stesso tempo, potrei mostrarti che le tue risposte precedenti erano molto di parte, ma quelle nuove erano molto meno prevenute. Inoltre, anziché integrare semplicemente i dati non mancanti, è possibile utilizzare tutti i dati, facendo previsioni anche quando mancano i regressori.
Questa grande opportunità arriva quando la mancanza di dati è predittiva. Si consideri la tabella di dati di esempio JMP Equity.jmp, che contiene i dati di default del mutuo per la casa. La risposta è se il cliente è inadempiente sul prestito. Uno dei regressori è debred , che è il rapporto tra debito e reddito. debred manca per gran parte dei dati. I valori mancanti sono predittivi se il cliente è inadempiente sul prestito?
Se si adatta il solito modello con tutte e 12 le altre variabili come regressori, la RSquare è .23, ma questo è solo su 3.364 delle 5.960 righe. Non posso prevedere la risposta quando manca uno dei regressori.
Supponiamo che io mi adatti al modello usando la mancanza di debred come variabile indicatore. Il valore RSquare in questo modello a regressione singola è migliore (.25) e utilizzo tutte le 5.960 righe per prevedere a prescindere dalla mancanza di dati. Quindi la mancanza può essere predittiva, informativa e persino sovraperformare i regressori regolari.
La nuova idea è quella di creare non solo le variabili dell'indicatore del valore mancante, ma anche di rendere i regressori originali utili senza scartare file di dati mancanti.
In JMP Pro 11, la finestra di lancio di Fit Model include una nuova voce di menu triangolare rossa denominata "Mancata informazione". Sebbene la funzione sia solo in JMP Pro, è possibile, con qualche sforzo, raggiungere lo stesso obiettivo aggiungendo colonne formula ai dati tabella, come descritto in questo articolo.
Un modo tradizionale per farlo è con l'imputazione. Si stimano i valori mancanti. Un metodo di imputazione standard prevede la previsione di valori per una variabile mancante utilizzando tutte le altre variabili nel modello non mancanti. Quando mancano valori nei dati, la piattaforma Multivariata supporta l'imputazione con l'opzione "Imputa dati mancanti". E ci sono altri approcci di imputazione.
Informativo La codifica di regressione mancante è molto più semplice dell'imputazione e anche più potente. Per ogni variabile continua nel modello che ha valori mancanti, si sostituiscono due variabili. La prima variabile sostituisce un valore medio per i dati mancanti nella colonna. L'altra variabile è un indicatore di valore mancante - 1 se manca la colonna originale, 0 altrimenti.
Ad esempio, in Equity.jmp, creo due nuove variabili con le formule per il regressore continuo chiamato debred . Ecco lo script per la creazione di due nuove variabili con formule:
Nuova colonna ( "DEBTINC O significa se manca" , Numerico, continuo,
Formula( Se ( Manca (: DEBTINC), 33.78 , : DEBTINC))
);
Nuova colonna ( "DEBTINC è mancante" , Numerico, continuo,
Formula( Se ( Manca (: DEBTINC), 1, 0))
);
“ 33.78 "Nella formula è la media di debred , anche se può essere qualsiasi valore che ti piace.
Ora invece di usare debred nel modello, si usano le due nuove variabili formula DEBTINC O Significa se manca e DEBTINC è mancante . Il predittore aggiuntivo - la variabile indicatore - può essere fortemente predittivo della risposta. In questo esempio, l'atto di lasciare il campo mancante è un indizio forte sul rischio di un prestito al richiedente.
Con questi due nuovi predittori, hai due variabili che non mancano mai, quindi possono essere utilizzate in tutti i dati. La variabile dell'indicatore del valore mancante potrebbe essere importante nell'adattamento, dando così la possibilità di migliorare l'adattamento.
E l'altro nuovo regressore, DEBTINC O Significa se manca ? Sembra essere un modo primitivo di imputare debred usando solo la media. Sostituire i valori mancanti con la media non influenza la stima di quella variabile. Piuttosto, il parametro per l'indicatore del valore mancante stima la differenza tra la previsione e il valore medio di quel regressore.
È possibile sostituire zero anziché la media mancante debred . Il parametro calcola quindi la differenza tra la previsione e lo zero per quella covariata. Il valore di plug-in per la mancanza interessa solo l'interpretazione della stima del parametro indicatore.
Questa tecnica non è un'imputazione. Non si sostituisce alcun valore previsto per i valori mancanti. Invece, costruisci un sistema di codifica per recuperare le informazioni quando mancano i regressori. Inoltre, si utilizzano valori mancanti per il loro valore predittivo. Si presume che con un valore mancante non ci sia un evento casuale, ma per qualche motivo che potrebbe avere un valore predittivo. Questo è il motivo per cui chiamiamo codifica della codifica "Informative Missing" della tecnica di codifica.
La Tabella 1 mostra le drammatiche differenze tra l'uso dell'imputazione e l'assenza di informazioni per i dati Equity.jmp.
Tabella 1. Confronto tra Imputation e Missing informativo
Metodo | Numero di osservazioni utilizzate | Rsquare |
Vecchio modello completo con esclusione mancante per riga | 3.364 | 23,2% |
| Manca il modello a variabile singola con DEBTINC | 5.960 | 25,6% |
| Nuovo modello completo con informazioni mancanti | 5.960 | 45,6% |
La figura 1 mostra che le variabili dell'indicatore del valore mancante sono molto significative, con DEBTINC è mancante essere più significativo di qualsiasi altro regressore nel modello.
[Immagine mancante]
Figura 1. Stime dei parametri ordinati per significato
Come dimostrato qui, è possibile creare colonne formula (o trasformazioni) per regredire con. Con JMP Pro 11, devi solo selezionare l'opzione di menu "triangolo mancante informativo" in Fit Model. Un'altra opzione è il download del componente aggiuntivo "Informative Missing Coding" dal Scambio file JMP .
Mancanza può essere tuo amico se lo tratti come prezioso.
