Führen Sie „Spalten analysieren“ für alle Spalten aus.
Überprüfen Sie schnell, ob in der Spalte die meisten Werte fehlen
oder wenn die Werte größtenteils gleich sind (Sie können die Reihenfolge ändern, indem Sie auf die Kopfzeile klicken)
Wählen Sie einige der Spalten aus, in denen die meisten Werte gleich sind, und überprüfen Sie anhand der Verteilung und Teilmenge, wie sie aussehen
Da die Werte größtenteils gleich sind, sind sie für die weitere Analyse möglicherweise nicht so nützlich. Zu Demozwecken werden wir Hide&Exclude verwenden, um diese aus der Analyse zu entfernen.
Die nächste schnelle Überprüfung könnte darin bestehen, festzustellen, ob es fortlaufende Spalten gibt, die möglicherweise als Nominal- oder Ordinalzahl umcodiert werden sollten. Auch hier sind Distribution und Subsets gute schnelle Tools (zum Beispiel für die Suche nach Versionsnummern, ID-Nummern usw.). Diese Werte scheinen keine solchen Werte zu sein
Als nächstes prüfen wir, ob möglicherweise Neunen anstelle fehlender Werte verwendet werden. Dies scheint eine ganze Reihe solcher Spalten zu sein
„Spalten analysieren“ sucht nach den höchsten absoluten Neunen und verwendet diese als Neunen. Die Werte fallen dann nicht aufgrund von Quantilen oder Ähnlichem ab. Einige davon scheinen eine recht interessante Situation zu haben, in der es Werte gibt, die größer als Neunen sind. Auch hier verwenden wir Verteilung und Teilmenge, um sie detaillierter zu untersuchen
Die Verteilungen scheinen ganz gut zu sein:
Als nächstes erstellen wir eine Teilmenge mit diesen Spalten und schauen uns das genauer an. Diese 9999 Zeilen und fehlenden Werte erscheinen mir ziemlich verdächtig.
Zum Beispiel hat die Spalte 30N1_4X20_HFEPEAK*VA10U 55 9999 Werte, das kommt mir nicht ganz normal vor. Lassen Sie uns eine Übersichtstabelle dieser Spalte erstellen und nach N Zeilen sortieren.
Dies würde mehr Kenntnisse über den Prozess erfordern, aber wenn ich raten müsste, handelt es sich um fehlgeschlagene Messungen/fehlende Werte, obwohl sie nicht einmal annähernd den größten Werten in der Spalte entsprechen
Zu Demonstrationszwecken kommen wir zu dem Schluss, dass es sich dabei um fehlende Werte handelt, und verwenden „Set Nines Missing“, um sie auszuschließen OHNE Datenverlust. Nachdem wir Set Nines Missing verwendet haben, sollten wir Refresh Selected verwenden, um die zusammenfassenden Statistikberechnungen für diese Spalten zu aktualisieren
Vor:
Nach:
Als nächstes könnten wir einen Blick auf die Autokorrelation erster Ordnung werfen, um zu sehen, ob die Daten nicht zufällig sind und einige „zeilenbasierte“ Abhängigkeiten aufweisen. Es gibt einige Spalten mit hoher Autokorrelation, wobei die Startzeit offensichtlich ist. Wir wählen einige der Spalten mit hoher Autokorrelation aus und verwenden Zeitreihen, um zu sehen, was vor sich geht
Scheint, als ob es zeitbedingte Abhängigkeiten geben könnte.
Wir könnten noch einige Überprüfungen durchführen, z. B. nach Korrelationen suchen (wir sollten Ausreißer zuerst bereinigen, zum Beispiel mit Ausreißern erkunden) oder verwenden Modellgesteuerte multivariate Regelkarten um nach interessanten Mustern zu suchen, aber ich denke, wir haben genug, um zu zeigen, was mit Analyze-Spalten vorerst gemacht werden kann.
