Willkommen zurück zu meiner Blogserie über Ausreißer. Im die erste Folge Wir haben uns mit der Definition und visuellen Identifizierung von Ausreißern befasst. Im die zweite Folge Wir haben Quantile (über Box & Whisker-Diagramme) verwendet, um Ausreißer in einer Dimension zu identifizieren.
In dieser Episode untersuchen wir die Identifizierung von Ausreißern in mehreren Dimensionen anhand des Mahalanobis-Abstands. Wir werfen auch einen kurzen Blick auf T. 2 Dies ist eine einfache Erweiterung der Mahalanobis-Distanz.
Mehrdimensionale Ausreißer
Fig. 1 ist eine Reproduktion einer der Figuren aus Episode 1 und zeigt eine zweidimensionale Darstellung von 1.000 Datenpunkten mit einem deutlichen Ausreißer (markiert mit dem roten Quadrat):
Abbildung 1: 1.000 Datenpunkte in zwei Dimensionen, Ausreißer rot markiert
Das Streudiagramm in Abbildung 1 ermöglicht es uns, Ausreißer auf einfache Weise visuell in zwei Dimensionen zu bestimmen, selbst wenn der Ausreißer aus den univariaten Histogrammverteilungen nicht ersichtlich ist. Also, die Box & Whisker (Quantil) Techniken beschrieben in Episode 2 sind bei der Analyse mehrdimensionaler Daten nicht immer zuverlässig. Und visuell identifizierende Ausreißer (wie in Episode 1 ) wird mit zunehmender Anzahl von Dimensionen schwierig. Wie können wir diese mehrdimensionalen Ausreißer zuverlässiger erkennen?
Die Mahalanobis-Entfernung
Die Mahalanobis-Entfernung (D. M. ) gibt uns eine numerische Methode zur Identifizierung mehrdimensionaler Ausreißer. Es ist nach seinem Schöpfer, dem indischen Statistiker Prasanta Chandra Mahalanobis (1893-1972), benannt. Für weitere Informationen über Dr. Mahalanobis verweise ich Sie an dieser Wikipedia-Artikel .
ANZEIGE M. Das Diagramm für den in Abbildung 1 gezeigten Datensatz ist unten dargestellt:
Abbildung 2: Mahalanobis-Entfernungsdiagramm für 1.000 Datenpunkte aus Abbildung 1
Abbildung 2 zeigt alle Datenpunkte in Zeilenreihenfolge gegenüber D. M. auf der Y-Achse. Der Wert von D. M. Für jeden Punkt steht der standardisierte „Abstand“ jedes Punkts vom Schwerpunkt aller Datenpunkte. Der rote Datenpunkt hebt sich deutlich von den übrigen Punkten ab, sodass eine weitere Untersuchung als Ausreißer erforderlich wäre.
Wie funktioniert diese Berechnung?
Die allgemeine Methode
Nehmen wir an, wir haben eine zweidimensionale Verteilung von 1.000 Punkten. In jeder Dimension werden 999 der Punkte aus einer normalverteilten Population mit einem Mittelwert von Null und einer Standardabweichung von 1,0 gezogen. Dann habe ich einen Ausreißerpunkt als letzten Punkt in der Stichprobe hinzugefügt. Wenn wir ein XY-Streudiagramm erstellen, haben wir möglicherweise Folgendes:
Abbildung 3: Streudiagramm von 1.000 nicht korrelierten Datenpunkten mit einem markierten Ausreißer (rot)
Beachten Sie den roten Punkt von Interesse in Abbildung 3. Wir können den Mittelwert und die Standardabweichung der 1000-Punkte-Stichprobe in jeder Dimension leicht berechnen und den euklidischen Abstand vom roten Punkt zum Schwerpunkt der Punkte mithilfe des Satzes von Pythagoras berechnen. Für mehrdimensionale:
Tatsächlich können wir Kreise zeichnen, die auf dem Schwerpunkt zentriert sind und gleiche Abstände vom Schwerpunkt darstellen, wie in Abbildung 4 dargestellt:
Abbildung 4: Streudiagramm von 1.000 nicht korrelierten Datenpunkten mit äquidistanten Kreisen vom Schwerpunkt überlagert
In Abbildung 4 repräsentieren die Kreise Abstände von 1, 2, 3 und 4 Einheiten (vom kleinsten zum größten) zum Schwerpunkt der Punkte. Hier ist deutlich zu sehen, dass der Punkt in Rot am weitesten vom Schwerpunkt der Punkte entfernt ist. Sein Abstand wird durch "d" dargestellt.
Dies funktioniert gut, wenn wir ähnlich skalierte Verteilungen haben (dh dass die Standardabweichungen gleich sind).Was aber, wenn wir unterschiedliche Maßstäbe haben, wie in Abbildung 5 dargestellt?
Abbildung 5: Streudiagramm von 1.000 nicht korrelierten Datenpunkten mit unterschiedlichen Mitteln und Standardabweichungen in jeder Dimension.
Hier haben wir zwei Probleme. Erstens ist der Mittelwert der Punkte in der X3-Dimension ungleich Null. Das ist einfach zu beheben, indem nur der Mittelwert von allen Datenpunkten abgezogen wird.
Das zweite Problem ist, dass die Standardabweichung in der X3-Dimension viel größer ist als in der X1-Dimension. Dies macht eine Entfernungsberechnung überflüssig, es sei denn, wir können die Unterschiede ausgleichen. Dies ist auch leicht zu bewerkstelligen. Nachdem wir die mittlere Verschiebung von Null korrigiert haben, teilen wir einfach jede Dimension durch ihre Standardabweichung. Dies normalisiert sich auf etwaige Fehlanpassungen bei Standardabweichungen. Die mehrdimensionale Gleichung zur Bewertung dieser Entfernung lautet:
Dabei stehen m und s für den Mittelwert und die Standardabweichung in jeder Dimension. Wenn wir diese Berechnungen durchführen und die standardisierten Daten neu aufzeichnen, erhalten wir die folgende Abbildung:
Abbildung 6: Daten aus Abbildung 5 nach der Transformation zur Korrektur des Mittelwerts und der Standardabweichung jeder Dimension
Jetzt haben wir eine Möglichkeit, die Daten für Mittelwerte ungleich Null und für ungleiche Standardabweichungen anzupassen. Dies funktioniert gut, solange die Daten in jeder Dimension unabhängig voneinander sind (dh nicht korreliert). Wenn jedoch eine Korrelation wie in Abbildung 1 dargestellt ist, was tun wir dann?
Eine Möglichkeit, dies zu tun, besteht darin, Hauptkomponenten zu verwenden, um neue Achsen zu erstellen, die an den Trends in den Daten ausgerichtet sind, und dann die oben beschriebenen Operationen auszuführen. Dies erfordert jedoch viele Klicks. (Wenn Sie daran interessiert sind, wie dies funktionieren könnte, lesen Sie Anhang A.)
Glücklicherweise bietet uns Dr. Mahalanobis eine einfache und elegante Möglichkeit, diese Entfernung zu berechnen!
Mahalanobis-Gleichung zur Berechnung von Entfernungen
Dr. Mahalanobis 'elegante Gleichung zur Berechnung des D. M. ist:
wo:
ist ein Vektor von Werten der N Dimensionen des i th individuell beobachteter Datenpunkt.
N = Anzahl der interessierenden Dimensionen (oder Spalten).
T zeigt den Transponierungsvorgang an.
ist ein Vektor der Mittelwerte jeder der N interessierenden Dimensionen (oder Spalten).
S. -1 ist die Umkehrung der NxN-Kovarianzmatrix für alle Datenpunkte (verfügbar von der multivariaten Plattform in JMP).
Das Einfügen geeigneter Werte in die obige Gleichung ergibt das D. M. vom i th Zeigen Sie auf den Schwerpunkt aller Punkte im Datensatz. Wenn Sie daran interessiert sind, wie diese Berechnung funktioniert, wird in Anhang B ein kleines Beispielproblem behandelt.
Die Mahalanobis-Handlung in JMP
D. M. an sich nützt uns wenig. Es hat nur im Vergleich zu anderen Datenpunkten eine Bedeutung. Das Mahalanobis-Diagramm in JMP zeigt diese Ergebnisse.
Sie können das Mahalanobis-Diagramm erstellen, indem Sie unter Analyse / Multivariate Methoden / Multivariate die Spalten auswählen und dann in der roten Dropdown-Liste Ausreißeranalyse / Mahalanobis-Entfernung auswählen. Für den Beispieldatensatz von 1 ergibt dies:
Abbildung 7: Mahalanobis-Abstände für 1.000 Datenpunktproben (Wiederholung von Abbildung 2)
Hier sehen wir, dass der Datenpunkt in Zeile 1 der Datentabelle den größten Abstand hat (D. M. ), was anzeigt, dass es am weitesten vom Schwerpunkt aller 10 Datenpunkte entfernt ist. Die blaue Linie stellt eine 95% ige obere Konfidenzgrenze (UCL) dar, ob wir dem D glauben M. unterscheidet sich signifikant von Null. Der rote Punkt liegt deutlich über der UCL, sodass eine weitere Untersuchung als Ausreißer erforderlich ist.
Die Ausreißer sind jedoch nicht immer so offensichtlich zu erkennen, insbesondere bei kleinen Datenmengen. Im Beispiel in Anhang B zeige ich Beispielberechnungen für einen kleinen Datensatz (10 Datenpunkte in drei Dimensionen). Dieser Datensatz erzeugt ein D. M. Plot wie unten gezeigt:
Abbildung 8: Mahalanobis-Abstände für 10 Datenpunktproben in Anhang B.
Das D M. Die Handlung hat Punkt 1 als Ausreißer identifiziert. Wir sehen aber auch, dass D. M. denn Zeile 1 unterscheidet sich nicht allzu sehr von D. M. für Zeile 7! Warum ist das? Sie müssen auf die nächste Folge warten, um die Antwort auf diese Frage zu erhalten!
Ein kurzer Hinweis zu T. 2
JMP bietet auch eine Option für ein T. 2 Berechnung unter Analyse / Multivariate Methoden / Multivariate und dann Ausreißeranalyse. T. 2 ist einfach das Quadrat von D. M. . Einige Leute verwenden es gerne, um eine stärkere visuelle Trennung zwischen den Ausreißern und dem Großteil der Daten zu erzwingen, aber T. 2 enthält wirklich die gleichen Informationen wie D. M. .
Nächste Folge
In der nächsten Folge werden wir die Jackknife-Distanz behandeln, eine andere Sichtweise auf Ausreißer, die den Ausreißer aus dem obigen Beispieldatensatz hervorhebt.
Alle Beiträge in dieser Reihe auf anzeigen Ausreißer verstehen .
Anhang A: Verwenden von Hauptkomponenten zur Identifizierung von Ausreißern
Es wäre schön, wenn wir die Achsen in Abbildung 1 so drehen könnten, dass sie mit dem Datentrend übereinstimmen, ungefähr so:
Abbildung 9: Konzeptionelle Drehung der Achsen für einen zweidimensionalen Datensatz
Dann könnten wir die zuvor beschriebenen Techniken zur Standardisierung der Daten verwenden, um Ausreißer zu erkennen.
Eine Möglichkeit hierfür ist die Hauptkomponentenanalyse (PCA). PCA findet den Satz orthogonaler (zueinander senkrechter) Achsen, der am besten zu den Daten passt. Sie können so viele Hauptkomponenten haben, wie Sie ursprüngliche Dimensionen (Spalten) in Ihrem Datensatz haben. In JMP befindet sich PCA an zwei Stellen: entweder unter Analysieren / Multivariate Methoden / Hauptkomponenten oder unter Analysieren / Multivariate Methoden / Multivariate. Wählen Sie dann in der roten Dropdown-Liste neben Multivariate die Option Hauptkomponenten / Korrelationen. Das rote Dropdown-Menü bietet auch die Möglichkeit, die Hauptkomponenten wieder in der Datentabelle zu speichern. Sobald Sie dies getan haben, können Sie die oben beschriebenen Mittelwerte und Standardabweichungen mithilfe der Methoden korrigieren, um den Abstand vom Schwerpunkt zu bestimmen.
Anhang B: D. M. Berechnungen für einen Beispieldatensatz
Angenommen, wir haben einen Beispieldatensatz mit drei Spalten und 10 Zeilen:
Abbildung 10: Kleiner Beispieldatensatz für DM-Beispielberechnungen
In JMP können wir Analyse / Multivariate Methoden / Multivariate für diese drei Spalten ausführen, um die folgende Streudiagrammmatrix zu erstellen:
Abbildung 11: Streudiagramm-Matrix zum Beispiel Daten
In Abbildung 11 sehen wir, dass Daten in Zeile 1 (rot hervorgehoben) beim Vergleich in den X1-X2-Dimensionen als Ausreißer erscheinen, obwohl dies in X1-X3- oder X2-X3-Diagrammen nicht so klar ist.
Wir wollen die Mahalanobis-Entfernung für den ersten Punkt berechnen. Füllen Sie also die Vektoren und Matrizen im obigen D aus M. Gleichung beginnen wir mit dem Punkt von Interesse:
Die Mittelwerte jeder Spalte können auf verschiedene Arten gefunden werden. Verwenden wir Cols / Column Viewer und dann Show Summary:
Abbildung 12: Zusammenfassende Statistik zum Beispiel dreidimensionaler 10-Punkt-Datensatz
Der Vektor der Mittel wird also:
Als nächstes benötigen wir die Kovarianzmatrix, die unter Analyse / Multivariate Methoden zu finden ist. Wählen Sie die Kovarianzmatrix aus dem roten Dropdown-Dreieck aus:
Abbildung 13: Kovarianzmatrix zum Beispiel dreidimensionaler 10-Punkt-Datensatz
Wir brauchen auch die Umkehrung der Kovarianzmatrix S. -1 . JMP gibt uns diese Informationen nicht aus dem Menüsystem, aber wir können sie einfach wie folgt aus einem benutzerdefinierten Skript abrufen:
Abbildung 14: JMP-JSL-Skript zum Auffinden der Inversen einer Matrix
Das führt zu:
S. -1 =
Dann schließen wir einfach die Matrixgleichung an und lösen sie:
Die Mahalanobis-Entfernung (D. M. ) ist 2.814 für die in Zeile 1 des Beispieldatensatzes gezeigten Daten.
Abbildung 15: Mahalanobis-Diagramm zum Beispiel Datensatz (Wiederholung von Abbildung 8)
