In einem (n früherer Blogbeitrag Wir haben uns angesehen, schmutzige Daten in Kategorien aufzuräumen. Diesmal betrachten wir die Reinigung schmutziger Daten in Form von Ausreißern für durchgehende Spalten.
In der Industrie ist es nicht ungewöhnlich, dass sich die meisten Ihrer Werte in einem engen Bereich befinden (z. B. zwischen 0,1 und 0,7), wobei einige Werte weit außerhalb dieses Bereichs liegen (z. B. 99, der fehlende Wertcode). Einige der häufigsten Beispiele für Ausreißer sind:
• Fehlende Wertecodes, häufig eine Zeichenfolge von 9s.
• Offensichtlich falsch codierte, manuell eingegebene Werte, insbesondere wenn der Dezimalpunkt falsch platziert ist.
• Geräteausfälle, die dazu führen, dass ein Gerätefehlercode an der Stelle eingefügt wird, an der sich die Daten befinden sollen.
• Ungewöhnliche Ereignisse, wie z. B. ein elektrischer Kurzschluss, der einen Stromstoß oder einen Spannungsabfall verursacht.
• Long-tailed-Verteilungen, wie z. B. Time-to-Failure-Verteilungen, bei denen große Werte selten, aber real sein können.
• Kontaminationsausreißer, bei denen sich einige Elemente in eine Sammlung von Elementen eingeschlichen haben, von denen angenommen wurde, dass sie sauber waren.
Wenn wir nur ein paar Säulen zum Erkunden und Aufräumen hätten, wäre es sinnvoll, dies von Hand zu tun. Bei Dutzenden oder Tausenden von Spalten benötigen Sie jedoch etwas Hilfe. Die Funktion "Explore Ausreißer" in Cols-> Modeling Utilities ist das neue zu verwendende Werkzeug.
Der einfachste Ansatz besteht darin, einige Tail-Quantile zu erhalten und dann einen Maßstab des Interquantil-Bereichs über die Tail-Quantile hinaus zu messen. Das ANSUR Daten zur Anthopometrie liefert eine gute Abbildung; Es misst 131 Körpermaße von 3.982 Individuen. Bevor Sie diese Daten analysieren, müssen Sie zunächst Ausreißer prüfen und auf sie aufmerksam werden.
Explore Outliers berechnet zunächst für jede ausgewählte Variable die 10% - und 90% -Quantile, um eine gute Schätzung für den Bereich der meisten Daten zu ermitteln. Wenn es eine große Anzahl von Bindungen gibt, was bedeutet, dass die Quantile von 10% und 90% gleich sind, reicht der Nutzen weiter in den Schwanz, um einen Wert zu erhalten. Er multipliziert dann den Interquantilbereich mit 3 (dem Standard-Skalierungsfaktor 'Q') und sucht nach Werten, die weiter außerhalb der 10% - und 90% -Quantile liegen als das Dreifache des Interquantilbereichs. Dies ist ein ziemlich extremes Auswahlkriterium für Ausreißer, aber Sie interessieren sich wahrscheinlich zuerst für die entferntesten Ausreißer. Sie können die Quantile und den Multiplikator später anpassen, um empfindlicher zu sein.
Beim Standardscan der ANSUR-Daten wurden zwei Spalten mit einem Wert von -999 angezeigt. Dies ist mehr als drei interquantile Bereiche nach den Schwänzen von 10% und 90%. In diesem Fall ist es offensichtlich, dass es sich um Codes mit fehlenden Werten handelt, nicht um echte Daten.
Da die anderen 129 Variablen keine Ausreißer zeigten, können wir uns leichter auf die Spalten konzentrieren, die dies tun, indem Sie "Nur Spalten mit Ausreißern anzeigen" aktivieren. Wenn Sie diese Spalten in der Anzeige auswählen, werden die Spalten in der Datentabelle ausgewählt.
Als Nächstes müssen wir festlegen, welche Maßnahmen zu ergreifen sind, um diese Ausreißer anzugehen. Es gibt sechs Aktionsschaltflächen. Sie können die Zeilen auswählen und den Zeilenbefehl "Next Selected" verwenden, um die Datentabellenansicht für jede ausgewählte Zeile zu erweitern. Sie können die Zeilen einfärben, um hervorzuheben, dass die Zeile einen Ausreißer hatte. Sie können die Zellen so färben, dass sie beim Durchsuchen der Datentabelle (siehe unten) hervorgehoben werden. Sie können die Zeilen auch ausschließen, um sie von der Analyse zurückzuhalten.
Da die Ausreißer tatsächlich fehlende Daten darstellen, stellen die zwei verbleibenden Aktionen die naheliegende Auswahl dar. Entweder klicken Sie auf "Zu fehlenden Wertecodes hinzufügen", wodurch eine Spalteneigenschaft für fehlende Spalte für diese Spalte installiert wird, oder auf "Ändern" to missing ”, wodurch es zu einem Hardware (NAN) Wert wird, der den Wert ändert JMP erkennt immer als fehlend. Möglicherweise möchten Sie die vorherige Schaltfläche verwenden, wenn mehrere fehlende Wertecodes mit unterschiedlichen Bedeutungen vorhanden sind.
Wir prüfen auch auf High-Nines, da diese häufig als Codes für fehlende Werte verwendet werden, aber alle High-Nines sind nicht weit vom oberen Ende der Daten entfernt und repräsentieren daher wahrscheinlich keine fehlenden Werte.
Ausreißer liegen manchmal in einem multivariaten Sinn, was bedeutet, dass sie sich schön im Quantilbereich jeder Spalte befinden, die Daten jedoch in Clustern liegen und einige Punkte weit entfernt von anderen Punkten liegen. Am Beispiel der Fisher-Iris-Daten sehen wir, dass es wirklich drei Cluster gibt, die die drei Arten repräsentieren. Da die Arten weit voneinander entfernt sind, gibt es viele nahezu leere Räume, in denen ein Ausreißer von allen anderen Punkten entfernt sein kann, auch wenn dies kein eindeutiger Ausreißer ist. Wir haben die k-next-neighbour-Einrichtung, um diese Ausreißer zu finden. Für jeden Punkt wird die Entfernung dieses Punktes zum nächstgelegenen Punkt, dem zweitnächsten Punkt, dem drittnächsten Punkt usw. ermittelt. Hier identifizieren wir einen Punkt, der vom nächsten Punkt weit entfernt ist.
Betrachten wir diesen Punkt in einer Scatterplot-Matrix, sehen wir, dass dies in keiner der einzelnen Koordinaten ungewöhnlich ist, sondern weit von anderen Punkten entfernt ist. Es ist in sepal Breite weit entfernt, wenn man die Lage in Bezug auf die Länge des Blütenblattes und die Blütenblattbreite berücksichtigt. Wir kennen zufällig die Identitäten dieser Cluster und das ungewöhnliche Merkmal ist, dass es im Vergleich zu anderen Spezies eine sehr geringe Breite der Sepalpathen hat.
Um fortzufahren, könnten wir mehrere Ausreißer haben, dh die Punkte, die nicht weit von ihren nächsten Nachbarn entfernt sind, aber noch weit von den Daten entfernt sind. Hier ist der Abstand jedes Punktes von seinem dritten Nachbarn.
Wenn Sie die Scatterplot-Matrix der beiden blauen Ausreißer mit k = 3 betrachten, sehen Sie, dass sie nahe beieinander liegen, sich jedoch von den anderen Punkten trennen und sich auf die Sepal-Breite nach Sepal-Streudiagramm konzentrieren.
So können multivariate Ausreißer untersucht und berücksichtigt werden, um zu erkennen, was passiert. Ausreißer im k-nahen Sinne können in Kontaminationssituationen vorkommen, beispielsweise wenn eine Iris einer völlig separaten Art in die Fisher-Iris-Daten eingemischt und falsch identifiziert wurde.
Was bei Ausreißern zu tun ist, hängt von der Situation ab, obwohl einige Maßnahmen klar sind. Bei fehlenden Wertcodes sollten Sie eine Eigenschaft für den fehlenden Wertcode hinzufügen, damit die Analyseplattformen sie als fehlend behandeln. Wenn Sie ein falsches Dezimalzeichen haben, sollten Sie es korrigieren, wenn es sich um einen eindeutigen Fall handelt, oder es in einen fehlenden Wert ändern, wenn es nicht eindeutig ist.
Manchmal kann das Auffinden von Ausreißern zu wichtigen Entdeckungen führen. Sie sollten nicht automatisch als unpassender Schmutz behandelt werden.
Dieses Thema wurde auch angesprochen ein vorheriger Blogeintrag .
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
