Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Dati virtuali, sparsi, mancanti o simulati: sono dati fantasma. Non farti spaventare, dice John Sall. Impara come affrontarlo.
I dati sono ovunque e la velocità, il volume e la varietà presentano sfide crescenti per lo scienziato o l'ingegnere che sta cercando di fare scoperte statistiche.
Ma c'è un altro tipo di dati che John Sall , vice presidente esecutivo e co-fondatore di SAS, ritiene che gli esploratori di dati dovrebbero essere a conoscenza di: dati fantasma - dati che non ci sono.
I dati dei fantasmi erano l'argomento del discorso chiave di John su Discovery Summit 2017 a St. Louis, MO. John guida il team di sviluppo di JMP e rimane il principale architetto di software di rilevamento statistico del desktop .
Dice che gli scienziati e gli ingegneri si occupano spesso di quattro tipi di dati fantasma. Ecco cosa sono e cosa fare con loro.
1. Dati virtuali
I dati virtuali sono dati che non ci sono finché non li cerchi o ne hai bisogno. Questo tipo di dati fantasma è utile perché non ingombra la tabella dei dati. Due esempi sono le colonne di trasformazione e i join virtuali in JMP . Trasforma colonne per materializzare una versione trasformata di una colonna (ad esempio, prendendo una trasformazione log o un rapporto di due colonne) giusto in tempo per produrre un grafico senza dover effettivamente produrre la nuova colonna. Ciò mantiene la tabella dei dati pulita e salva anche la memoria.
I Virtual Joins ti permettono di collegare tabelle per chiavi, che ti permettono di accedere alle colonne da una tabella ausiliaria da una tabella principale senza effettuare effettivamente il join. Questo aiuta con la manutenibilità della tabella e l'utilizzo della memoria, specialmente quando il join fisico coinvolge un caso di tabella di dati largo per altezza o alto per larghezza.
2. Dati sparsi
Dati sparsi è una situazione in cui la mancanza di esistenza di un punto di dati implica uno zero. È anche un tipo di dati fantasma che, se sfruttato in modo efficace, può essere saltato dagli algoritmi per accelerare notevolmente i calcoli. Un esempio di dati sparsi è la matrice del termine del documento (DTM) nell'analisi del testo. Il DTM è scarso in quanto le singole parole vengono utilizzate molto raramente in un corpus di documenti. (Mi sembra che qui ci sia uno scherzo su un corpus di dati fantasma.)
Metodi multivariati come Principal Components Analysis (PCA) possono trarre vantaggio da questa scarsità, e quando il metodo sparse viene scelto all'interno della piattaforma PCA in JMP, l'esecuzione di un'analisi su un DTM di 2000 parole va da 10 minuti a circa 1 secondo. I metodi sparsi sono in tutto JMP compresi PCA, analisi discriminante, Text Explorer e Modelli misti.
3. Dati mancanti
Molti scienziati e ingegneri riferiscono di aver a che fare con dati mancanti su base regolare. Questo tipo di dati fantasma sono dati che non conosciamo o non esistono. Ci sono molte ragioni per cui i dati potrebbero mancare - i sensori falliscono, le reti scendono o i soggetti si rifiutano di rispondere alle domande del sondaggio. Ma solo perché mancano i dati non significa che non possa essere utile. Molte delle piattaforme di modellazione in JMP possono trarre vantaggio da questa "mancanza" per costruire modelli migliori invece di semplicemente eliminare l'osservazione. La piattaforma Partition, Fit Model e Neural, ad esempio, possono tutti utilizzare la mancanza come predittore sfruttando qualcosa di noto come mancante informativo. Oltre a utilizzare la mancanza di informazioni nella modellazione, è anche possibile sfruttare due utilità di modellazione: Esplora valori anomali e valori mancanti. Con questi, è possibile modificare i valori presenti nei dati ma che dovrebbero essere considerati mancanti (come i codici di errore macchina) mancanti, in modo che non influiscano sulle previsioni del modello. Oppure puoi anche imputare valori mancanti per fare stime su quali valori potrebbero essere. Trascinando e trattando i valori mancanti in modo appropriato, non finisci per perdere le intuizioni chiave.
4. Fingere i dati
L'ultimo tipo di dati fantasma sono i dati che creiamo. I dati simulati o simulati possono essere utilizzati per testare ipotesi, determinare se un progetto sperimentale ha abbastanza potere per rilevare una risposta o aiutare a rendere un processo robusto alla variazione del fattore. Gli strumenti di simulazione per creare dati per rispondere a domande chiave si trovano in vari luoghi in JMP. Il profiler ha la simulazione Monte Carlo integrata. È possibile utilizzare l'opzione di simulazione delle risposte nelle piattaforme DOE di JMP insieme alle dimensioni dell'effetto atteso e alla stima dell'errore per vedere se hai un numero sufficiente di esecuzioni nell'esperimento per rilevare un effetto. È possibile utilizzare le funzioni di simulazione del tasto destro del mouse in JMP Pro scavare più a fondo in questa analisi di potenza o MCMC in Hierarchical Bayes per esaminare ogni singolo soggetto e in che modo differiscono dagli altri in base alla loro struttura delle preferenze.
Per scienziati e ingegneri che esplorano i dati, John ha questa guida: "Siamo detective nel mondo dei dati. Dobbiamo imparare a lavorare bene con quello che non c'è, i dati dei fantasmi. Se non lo facciamo, potremmo essere inefficienti, potremmo giungere a conclusioni sbagliate, o potremmo perdere le scoperte. "
Puoi guardare a registrazione del discorso di Giovanni qui nella comunità utente JMP.
