John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall spiega perché non dobbiamo aver paura dei dati fantasma.
Dati quantitativi e qualitativi. Dati numerici e di carattere. Espressione e dati di testo non strutturati. Questi sono tutti i tipi di dati che potresti già conoscere e sapere come comportarti.
Ma c'è un'altra categoria di dati di cui forse non hai ancora sentito parlare: dati fantasma . E no, non è qualcosa che ho inventato per Halloween.
John Sall, co-fondatore e vicepresidente esecutivo di SAS, ha pensato ai dati fantasma, che sono dati che in realtà non sono presenti. Dice che dovremmo capire e apprezzare i dati dei fantasmi.
Nel suo ruolo di capo della divisione JMP di SAS, parla con i clienti e aiuta a sviluppare il software. Legge e pensa molto su dati, statistiche e tecnologia. Potresti aver letto il suo i post del blog di perché le statistiche sono essenziali e perché il computer desktop non è morto . È membro della American Statistical Association e dell'American Association for the Advancement of Science. E lui è un oratore principale a Discovery Summit 2017 a St. Louis , dove parlerà dei dati dei fantasmi. Continua a leggere per le sue risposte alle mie domande sui dati dei fantasmi (inclusa una domanda sciocca).
Parlami dei dati dei fantasmi.
I dati Ghost sono tutti i dati che non ci sono e ci sono molti tipi. Ad esempio, ci sono dati virtuali, che non sono lì finché non li guardi. Sembra abbastanza reale in superficie, ma si materializza solo se necessario. Ci sono dati sparsi, la cui assenza implica uno zero. La sparsità è un fattore chiave per l'attivazione computazionale in diversi tipi di analisi. Mancano anche i dati Questi dati hanno uno slot per contenere un valore, ma quel valore è sconosciuto, quindi lo slot è vuoto. Un altro tipo di dati fantasma è costituito da dati fittizi, ovvero dati costituiti. Questo tipo di dati è importante per la simulazione, per rispondere "Che cosa succede se?". Esistono più tipi di dati fantasma, ma questi quattro sono importanti per l'analisi dei dati in JMP .
Dovremmo avere paura dei dati fantasma?
Non c'è bisogno di avere paura dei dati fantasma. Sono solo dati che non ci sono. È naturale come i dati reali. Proprio come apprezziamo i dati che abbiamo, abbiamo anche bisogno di un apprezzamento dei dati che non ci sono. Dobbiamo sapere come gestirlo, sapere come modellarci e metterlo al lavoro. Gestire correttamente i dati dei ghost è molto importante.
Qual è un modo per gestire i dati fantasma?
Diamo un'occhiata ai dati mancanti. In passato, abbiamo saltato le righe in cui mancava una delle variabili di analisi. Il problema è che questo metodo introduce pregiudizi nei risultati se i valori mancanti non erano completamente casuali. Ora, incorporiamo i valori mancanti direttamente nel modello, supponendo che la mancanza sia predittiva. Questo si chiama "mancanza di informazioni". I dati sui mutui per gli anni precedenti alla crisi finanziaria del 2008 sono un buon esempio di mancanza di informazioni. Quando si modella la probabilità di default di un mutuo, i risultati sono distorti se tutte le righe che hanno valori mancanti per variabili come "reddito" e "rapporto debito / reddito" sono state eliminate. Spesso il richiedente il prestito sapeva che fornire quei valori avrebbe comportato la mancata qualificazione per il prestito, quindi i valori sono stati omessi. Nella tabella dei dati che forniamo con i nostri dati campione, la mancanza di rapporto debito / reddito è il più importante fattore predittivo del default ipotecario.
Se volessi andare come dati fantasma per Halloween, come sarebbe il tuo costume?
O l'Uomo Invisibile, o Harry Potter che usa il mantello dell'invisibilità o una versione metamateriale di esso.
@jon_stallings Mentre ci sono molte strategie nel DOE per gestire i dati fantasma ... Penso al blocco come mezzo per gestire una fonte di un fattore in agguato all'interno della conduzione di un esperimento ... la mancanza è vista anche DOPO l'esecuzione di esperimenti progettati ... quante volte vediamo valori di risposta mancanti a causa di tutti i tipi di cause nel DOE?
Grazie per il tuo commento, Jon!
Questo è il motivo per cui ogni analista di dati ha bisogno di formazione nella progettazione di esperimenti. L'intero punto di randomizzazione è quello di mitigare l'impatto dei dati fantasma.
