John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall erklärt, warum wir keine Angst vor Geisterdaten haben müssen.
Quantitative und qualitative Daten. Numerische und Zeichendaten. Ausdruck und unstrukturierte Textdaten. Dies sind alles Arten von Daten, die Sie möglicherweise bereits kennen und mit denen Sie umgehen können.
Aber es gibt noch eine andere Datenkategorie, von der Sie vielleicht noch nichts gehört haben: Geisterdaten . Und nein, das habe ich mir nicht für Halloween ausgedacht.
John Sall, Mitbegründer und Executive Vice President von SAS, hat über Geisterdaten nachgedacht, also Daten, die in Wirklichkeit gar nicht vorhanden sind. Er sagt, wir sollten Geisterdaten verstehen und wertschätzen.
In seiner Rolle als Leiter der JMP-Abteilung von SAS spricht er mit Kunden und hilft bei der Entwicklung der Software. Außerdem liest und denkt er viel über Daten, Statistiken und Technologie nach. Vielleicht haben Sie ihn gelesen Blogeinträge um warum Statistiken so wichtig sind Und warum der Desktop-Computer nicht tot ist . Er ist Fellow der American Statistical Association und der American Association for the Advancement of Science.Und er ist Hauptredner bei Discovery Summit 2017 in St. Louis , wo er über Geisterdaten sprechen wird.Lesen Sie weiter, um seine Antworten auf meine Fragen zu Geisterdaten (einschließlich einer dummen Frage) zu erhalten.
Erzählen Sie mir von Geisterdaten.
Geisterdaten sind alle Daten, die nicht vorhanden sind, und es gibt viele Arten. Es gibt zum Beispiel virtuelle Daten, die erst dann vorhanden sind, wenn man sie betrachtet. Oberflächlich betrachtet sieht es recht real aus, wird aber nur bei Bedarf materialisiert. Es gibt spärliche Daten, deren Fehlen eine Null impliziert. Sparsity ist ein wichtiger rechnerischer Wegbereiter für verschiedene Arten von Analysen. Es fehlen auch Daten. Für diese Daten gibt es einen Slot, in dem ein Wert gespeichert werden kann. Da dieser Wert jedoch unbekannt ist, ist der Slot leer. Eine andere Art von Geisterdaten sind vorgetäuschte Daten, also erfundene Daten. Diese Art von Daten ist für die Simulation wichtig, um die Frage „Was wäre wenn?“ zu beantworten. Es gibt noch mehr Arten von Geisterdaten, aber diese vier sind für die Datenanalyse wichtig JMP .
Sollten wir Angst vor Geisterdaten haben?
Sie müssen keine Angst vor Geisterdaten haben. Es sind einfach Daten, die nicht vorhanden sind. Es ist so natürlich wie echte Daten. So wie wir die Daten, die wir haben, wertschätzen, brauchen wir auch eine Wertschätzung für Daten, die nicht vorhanden sind. Wir müssen wissen, wie man damit umgeht, wie man damit modelliert und wie man es in die Tat umsetzt. Der ordnungsgemäße Umgang mit Ghost-Daten ist sehr wichtig.
Wie kann man mit Geisterdaten umgehen?
Schauen wir uns die fehlenden Daten an. In der Vergangenheit haben wir die Zeilen übersprungen, in denen eine der Analysevariablen fehlte. Das Problem besteht darin, dass diese Methode zu Verzerrungen in den Ergebnissen führt, wenn die fehlenden Werte nicht völlig zufällig waren. Jetzt integrieren wir fehlende Werte direkt in das Modell, vorausgesetzt, dass das Fehlen prädiktiv ist. Dies wird als „fehlende Information“ bezeichnet. Hypothekendaten für die Jahre vor der Finanzkrise von 2008 sind ein gutes Beispiel für fehlende Informationen. Bei der Modellierung der Wahrscheinlichkeit eines Hypothekenausfalls sind die Ergebnisse verzerrt, wenn alle Zeilen, in denen Werte für Variablen wie „Einkommen“ und „Schulden-Einkommens-Verhältnis“ fehlen, weggelassen wurden. Oft wusste der Kreditantragsteller, dass die Angabe dieser Werte dazu führen würde, dass er nicht für den Kredit infrage kommt, und verzichtete daher auf die Werte. In der Datentabelle, die wir mit unseren Beispieldaten liefern, ist das Fehlen des Schulden-Einkommens-Verhältnisses der wichtigste Prädiktor für den Hypothekenausfall.
Wenn du zu Halloween als Geisterdaten auftreten wolltest, wie würde dein Kostüm aussehen?
Entweder der Unsichtbare oder Harry Potter, der den Umhang der Unsichtbarkeit benutzt, oder eine Metamaterial-Version davon.
Großartig – ich liebe den Hinweis auf die Krise von 2008!
@jon_stallings Zwar gibt es in der DOE viele Strategien, um mit Geisterdaten umzugehen … Ich stelle mir das Blockieren als ein Mittel vor, um mit einer Quelle eines lauernden Faktors bei der Durchführung eines Experiments umzugehen … das Fehlen wird auch NACH der Durchführung geplanter Experimente beobachtet ...wie oft sehen wir in der DOE fehlende Antwortwerte aus allen möglichen Gründen?
Danke für deinen Kommentar, Jon!
Aus diesem Grund benötigt jeder Datenanalyst eine Schulung in der Versuchsplanung. Der Sinn der Randomisierung besteht darin, die Auswirkungen von Geisterdaten abzuschwächen.
