Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtuelle, spärliche, fehlende oder vorgetäuschte Daten – es sind Geisterdaten. Lassen Sie sich davon nicht erschrecken, sagt John Sall. Erfahren Sie, wie Sie damit umgehen.
Daten sind überall und ihre Geschwindigkeit, Menge und Vielfalt stellen Wissenschaftler oder Ingenieure, die statistische Entdeckungen machen wollen, vor zunehmende Herausforderungen.
Aber es gibt noch eine ganz andere Art von Daten John Sall , Executive Vice President und Mitbegründer von SAS, ist der Meinung, dass Datenforscher Folgendes beachten sollten: Geisterdaten – Daten, die nicht vorhanden sind.
Geisterdaten waren das Thema von Johns Keynote bei Entdeckungsgipfel 2017 in St. Louis, MO. John leitet das JMP-Entwicklungsteam und bleibt der Hauptarchitekt des Desktop-Software zur statistischen Ermittlung .
Er sagt, dass Wissenschaftler und Ingenieure oft mit vier Arten von Geisterdaten zu tun haben. Hier erfahren Sie, was sie sind und was man mit ihnen machen kann.
1. Virtuelle Daten
Virtuelle Daten sind Daten, die erst dann vorhanden sind, wenn Sie danach suchen oder sie benötigen. Diese Art von Geisterdaten ist nützlich, da sie Ihre Datentabelle nicht überladen. Zwei Beispiele sind Transformationsspalten und virtuelle Joins JMP . Mit Transformationsspalten können Sie eine transformierte Version einer Spalte (z. B. durch eine logarithmische Transformation oder ein Verhältnis von zwei Spalten) gerade rechtzeitig materialisieren, um ein Diagramm zu erstellen, ohne die neue Spalte tatsächlich erstellen zu müssen. Dies hält die Datentabelle sauber und spart außerdem Speicher.
Mit virtuellen Joins können Sie Tabellen über Schlüssel verknüpfen, sodass Sie von einer Haupttabelle aus auf Spalten einer Hilfstabelle zugreifen können, ohne den Join tatsächlich durchzuführen. Dies hilft bei der Wartbarkeit von Tabellen und der Speichernutzung, insbesondere wenn es sich bei der physischen Verknüpfung um einen Datentabellenfall „Wide-by-Tall“ oder „Tall-by-Wide“ handelt.
2. Spärliche Daten
Bei spärlichen Daten handelt es sich um eine Situation, in der das Fehlen eines Datenpunkts eine Null impliziert. Es handelt sich außerdem um eine Art Geisterdaten, die, wenn sie effektiv genutzt werden, von Algorithmen übersprungen werden können, um Berechnungen erheblich zu beschleunigen. Ein Beispiel für spärliche Daten ist die Document Term Matrix (DTM) in der Textanalyse. Der DTM ist spärlich, da einzelne Wörter in einem Dokumentenkorpus sehr selten verwendet werden. (Ich habe das Gefühl, dass es sich hier um einen Witz über einen Korpus von Geisterdaten handelt.)
Multivariate Methoden wie die Hauptkomponentenanalyse (PCA) können sich diese Sparse-Methode zunutze machen, und wenn die Sparse-Methode innerhalb der PCA-Plattform in JMP ausgewählt wird, dauert die Ausführung der Analyse für ein DTM mit 2.000 Wörtern von 10 Minuten auf etwa 1 Sekunde. Sparse-Methoden gibt es in JMP, einschließlich PCA, Diskriminanzanalyse, Text Explorer und gemischten Modellen.
3. Fehlende Daten
Viele Wissenschaftler und Ingenieure berichten, dass sie regelmäßig mit fehlenden Daten zu kämpfen haben. Bei dieser Art von Geisterdaten handelt es sich um Daten, die wir nicht kennen oder die nicht existieren. Es gibt viele Gründe, warum Daten fehlen können – Sensoren versagen, Netzwerke fallen aus oder Probanden weigern sich, Umfragefragen zu beantworten. Aber nur weil Daten fehlen, heißt das nicht, dass sie nicht nützlich sein können. Viele der Modellierungsplattformen in JMP können dieses „Fehlen“ ausnutzen, um bessere Modelle zu erstellen, anstatt die Beobachtung einfach zu verwerfen. Beispielsweise können die Partition-Plattform, Fit Model und Neural das Fehlen als Prädiktor nutzen, indem sie etwas ausnutzen, das als informatives Fehlen bekannt ist. Neben der Verwendung informativer fehlender Informationen in Ihrer Modellierung können Sie auch zwei Modellierungsdienstprogramme nutzen: Ausreißer untersuchen und fehlende Werte. Mit diesen können Sie Werte, die in den Daten enthalten sind, aber als fehlend gelten sollten (z. B. Maschinenfehlercodes), in „fehlend“ ändern, damit sie die Modellvorhersagen nicht beeinflussen. Oder Sie können fehlende Werte sogar imputieren, um Schätzungen über mögliche Werte vorzunehmen. Indem Sie fehlende Werte selektieren und angemessen damit umgehen, verpassen Sie am Ende keine wichtigen Erkenntnisse.
4. Daten vortäuschen
Die letzte Art von Geisterdaten sind Daten, die wir erfinden. Vorgetäuschte oder simulierte Daten können verwendet werden, um Hypothesen zu testen, zu bestimmen, ob ein Experimentdesign über genügend Aussagekraft verfügt, um eine Reaktion zu erkennen, oder um dabei zu helfen, einen Prozess robust gegenüber Faktorvariationen zu machen. Simulationstools zum Erstellen von Daten zur Beantwortung wichtiger Fragen finden sich an verschiedenen Stellen in JMP. Der Profiler verfügt über eine integrierte Monte-Carlo-Simulation. Sie können die Option „Antworten simulieren“ in den DOE-Plattformen von verwenden JMP zusammen mit der erwarteten Effektgröße und der Fehlerschätzung, um zu sehen, ob Ihr Experiment über genügend Durchläufe verfügt, um einen Effekt zu erkennen. Sie können die Simulationsfunktionen mit der rechten Maustaste verwenden JMP Pro um tiefer in diese Machtanalyse oder MCMC in Hierarchical Bayes einzutauchen, um jedes einzelne Subjekt zu betrachten und wie es sich aufgrund seiner Präferenzstruktur von anderen Individuen unterscheidet.
Für Wissenschaftler und Ingenieure, die sich mit Daten befassen, hat John diesen Rat: „Wir sind Detektive in der Welt der Daten. Wir müssen lernen, gut mit dem umzugehen, was nicht vorhanden ist, den Geisterdaten. Wenn wir das nicht tun, sind wir möglicherweise ineffizient, kommen möglicherweise zu falschen Schlussfolgerungen oder verpassen Entdeckungen.“
Sie können sich eine ansehen Aufzeichnung von Johns Rede hier in der JMP User Community.
