Willkommen zurück zu meiner Blogserie über Ausreißer. In früheren Episoden haben wir uns Folgendes angesehen:
Nach einem kurzen (aber notwendigen) Rückblick auf Mahalanobis werfen wir heute einen Blick auf die Jackknife-Distanz.
Kurzer Überblick über die Mahalanobis-Distanz
Erinnern Sie sich an den dreidimensionalen 10-Punkte-Datensatz aus Episode 3? Die multivariate Streudiagrammmatrix sah in so aus JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Abbildung 1: Streudiagrammmatrix von 10 Datenpunkten mit einem Ausreißer (rot)
Der rote Punkt scheint im Vergleich zu den anderen neun Punkten ein Ausreißer zu sein. Dies wird besonders deutlich in der hervorgehobenen Handlung.
Doch als wir eine Mahalanobis-Entfernungsberechnung durchführten, schien der rote Punkt kein „schrecklicher“ Ausreißer zu sein:
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Abbildung 2: Mahalanobis-Abstand für die in Abbildung 1 dargestellte Stichprobe mit 10 Datenpunkten
In Abbildung 2 liegt der rote Punkt über der Signifikanzlinie, jedoch nicht viel. Basierend auf der Streudiagrammmatrix in Abbildung 1, in der der rote Punkt ein offensichtlicher Ausreißer zu sein scheint, scheint dies nicht intuitiv zu sein.
Bedenken Sie jedoch, dass bei der Mahalanobis-Berechnung die Entfernung vom Ganzen unter Berücksichtigung der Kovarianzstruktur der Daten gemessen wird. Wenn wir das hervorgehobene Streudiagramm aus Abbildung 1 nehmen und eine gerade Linie daran anpassen, erhalten wir etwa Folgendes (von Graph Builder):
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Abbildung 3: Einfaches Diagramm von X1 vs.
Die geradlinige Anpassung ist eine visuelle Darstellung der Kovarianzstruktur zwischen diesen beiden Variablen (X1 und X2). Beachten Sie, dass der rote Ausreißerpunkt einen großen Einfluss auf die Position der Linie hat. Es zieht die Linie zu sich heran und verringert so den Abstand von sich selbst zur Linie, als er hätte sein sollen.
Darüber hinaus erweckt die schlecht angepasste Linie auch den Eindruck, dass andere Datenpunkte weiter von der Linie entfernt sind, als sie tatsächlich wären, wenn der rote Punkt sie nicht so stark beeinflusst hätte. Beispielsweise scheint Datenpunkt 6 (in Abbildung 3 gekennzeichnet) weit von der Linie entfernt zu sein und könnte sich an der Grenze eines Ausreißers befinden, wenn diese bestimmte Linie mit der besten Anpassung ausgewählt würde.
Gibt es eine bessere Möglichkeit, den Ausreißer zu erkennen?
Die Klappmessertechnik
Die Jackknife-Technik ist sehr einfach, aber dennoch sehr leistungsstark und basiert auf Berechnungen mit der Technik „Eins weglassen“. Wenn wir den roten Ausreißer konzeptionell aus den Linienanpassungsberechnungen herauslassen würden, würde dies ein Streudiagramm mit der besten Anpassungslinie erzeugen, das wie folgt aussieht:
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierAbbildung 4: Einfaches Diagramm von X1 vs. X2, einschließlich der besten Anpassungslinie basierend auf allen Punkten AUSSER dem roten Ausreißer
Jetzt ist klar, dass der rote Ausreißer tatsächlich als Ausreißer gilt, was weitere Untersuchungen erfordert.
Erinnern Sie sich im Allgemeinen an diese Gleichung zur Berechnung der Mahalanobis-Distanz aus Episode 3:
Um den Klappmesserabstand zu berechnen, verwenden Sie die „Leave-one-out“-Technik und berechnen Sie die
Vektor und die
Matrix für alle Punkte außer dem Punkt von Interesse . Als nächstes fügen Sie einfach den gewünschten Punkt ein
Vektor und berechnen Sie die Mahalanobis-Distanz, die jetzt als Jackknife-Distanz bezeichnet wird.
Wiederholen Sie die Berechnungen für alle Punkte und verlassen Sie dabei jedes Mal den interessierenden Punkt
aus den Berechnungen von
Und
.
Der Jackknife-Plot sieht dann so aus:
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleAbbildung 5: Jackknife-Abstandsdiagramm für eine 10-Punkt-Probe
Nun ist ganz klar, dass der rote Punkt ein Ausreißer ist.
Geschichte des Klappmessers
Pro Wikipedia John Tukey hat sich den Namen „Klappmesser“ ausgedacht, weil es ein robustes Mehrzweckwerkzeug ist, das unter verschiedenen Umständen eingesetzt werden kann, obwohl die Technik ursprünglich Anfang/Mitte der 1950er Jahre von Maurice Quenouille entwickelt wurde.
Parallelen zu anderen Techniken
Wenn Sie mit anderen Validierungsschemata (wie der K-Fold-Validierung) oder Dingen wie Bootstrap-Forest- und Boosted-Tree-Techniken vertraut sind, werden Sie erkennen, dass das Auslassen einer (oder mehrerer) Beobachtungen aus einer Analyse eine sehr verbreitete und wirkungsvolle Methode ist Holen Sie mehr aus Ihren statistischen Analysen heraus.
Nächste Folge
Weit zurück Episode 1 , ich erwähnte, dass in Episode 5 T. involviert sein würde 2 Entfernungen. Ich habe jedoch bereits darauf hingewiesen Folge 3 dass T 2 ist einfach das Quadrat der Mahalanobis-Distanz, daher brauchen wir keine weitere Episode, um das zu diskutieren.
Stattdessen werde ich mich in meinem fünften und letzten Blogbeitrag zu Ausreißern mit der multivariaten K-Nearest-Neighbor-Erkennung von Ausreißern befassen. Bleiben Sie dran!
