Willkommen zurück zu meiner Blogserie über Ausreißer. In früheren Folgen haben wir uns Folgendes angesehen:
Heute, nach einer kurzen (aber notwendigen) Überprüfung von Mahalanobis, werden wir uns die Entfernung des Klappmessers ansehen.
Schnelle Überprüfung der Mahalanobis-Entfernung
Erinnern Sie sich an den dreidimensionalen 10-Punkte-Datensatz aus Episode 3? Die multivariate Scatterplot-Matrix sah in so aus JMP ::
Abbildung 1: Streudiagramm-Matrix mit 10 Datenpunkten mit einem Ausreißer (rot)
Der rote Punkt scheint im Vergleich zu den anderen neun Punkten ein Ausreißer zu sein. Dies wird besonders deutlich in der hervorgehobenen Darstellung.
Als wir jedoch eine Mahalanobis-Entfernungsberechnung durchführten, schien der rote Punkt kein „schrecklicher“ Ausreißer zu sein:
Abbildung 2: Mahalanobis-Abstand für 10 Datenpunktproben in Abbildung 1
In Abbildung 2 liegt der rote Punkt über der Signifikanzlinie, jedoch nicht viel. Dies scheint auf der Grundlage der Streudiagramm-Matrix in Abbildung 1, in der der rote Punkt ein offensichtlicher Ausreißer zu sein scheint, nicht intuitiv zu sein.
Denken Sie jedoch daran, dass bei der Mahalanobis-Berechnung der Abstand zum Ganzen gemessen wird, wenn die Kovarianzstruktur der Daten berücksichtigt wird. Wenn wir das hervorgehobene Streudiagramm aus Abbildung 1 nehmen und eine gerade Linie daran anpassen, erhalten wir ungefähr Folgendes (von Graph Builder):
Abbildung 3: Einfache Darstellung von X1 gegen X2, einschließlich der Best-Fit-Linie (aus gewöhnlichen kleinsten Quadraten)
Die geradlinige Anpassung ist eine visuelle Darstellung der Kovarianzstruktur zwischen diesen beiden Variablen (X1 und X2). Beachten Sie, dass der rote Ausreißerpunkt einen starken Einfluss auf die Position der Linie hat. es zieht die Linie nach oben, wodurch der Abstand von sich selbst zur Linie kleiner wird, als es hätte sein sollen.
Darüber hinaus lässt die schlecht passende Linie auch den Eindruck entstehen, dass andere Datenpunkte weiter von der Linie entfernt sind als sie tatsächlich wären, wenn der rote Punkt sie nicht so stark beeinflusst hätte. Beispielsweise scheint der Datenpunkt 6 (in Abbildung 3 gekennzeichnet) weit von der Linie entfernt zu sein und könnte an der Grenze eines Ausreißers liegen, wenn diese bestimmte am besten passende Linie ausgewählt wurde.
Gibt es eine bessere Möglichkeit, den Ausreißer zu erkennen?
Die Jackknife-Technik
Die Jackknife-Technik ist sehr einfach und dennoch sehr leistungsfähig. Sie basiert auf Berechnungen mit der Technik „Auslassen“. Wenn wir den roten Ausreißer aus den Linienanpassungsberechnungen herauslassen, wird konzeptionell ein Streudiagramm mit der besten Anpassungslinie generiert, das folgendermaßen aussieht:
Abbildung 4: Einfache Darstellung von X1 gegen X2, einschließlich der Best-Fit-Linie basierend auf allen Punkten mit Ausnahme des roten Ausreißers
Jetzt ist klar, dass der rote Ausreißer wirklich als Ausreißer betrachtet wird, was weitere Untersuchungen rechtfertigt.
Erinnern Sie sich im Allgemeinen an diese Gleichung zur Berechnung der Mahalanobis-Entfernung von Episode 3:
Verwenden Sie zum Berechnen des Jackknife-Abstands die „Leave-One-Out“ -Technik und berechnen Sie den
Vektor und die
Matrix für alle Punkte mit Ausnahme des Sonderziels . Als nächstes setzen Sie einfach den Punkt von Interesse in die
Vektor und berechnen Sie die Mahalanobis-Entfernung, die jetzt als Jackknife-Entfernung bezeichnet wird.
Wiederholen Sie die Berechnungen für alle Punkte, jedes Mal, wenn Sie den interessierenden Punkt verlassen
aus den Berechnungen von
und
.
Die Jackknife-Handlung sieht dann so aus:
Abbildung 5: Jackknife-Entfernungsdiagramm für eine 10-Punkte-Probe
Jetzt ist es ziemlich klar, dass der rote Punkt ein Ausreißer ist.
Geschichte des Klappmessers
Pro Wikipedia John Tukey hat sich den Namen „Jackknife“ ausgedacht, weil es sich um ein robustes Mehrzweckwerkzeug handelt, das unter verschiedenen Umständen eingesetzt werden kann, obwohl die Technik ursprünglich Mitte der 1950er Jahre von Maurice Quenouille entwickelt wurde.
Parallelen zu anderen Techniken
Wenn Sie mit anderen Validierungsschemata (wie der K-Fold-Validierung) oder mit Dingen wie Bootstrap-Gesamtstruktur und Boosted-Tree-Techniken vertraut sind, werden Sie erkennen, dass das Auslassen einer (oder mehrerer) Beobachtungen aus einer Analyse ein sehr häufiger und leistungsfähiger Weg ist Holen Sie mehr aus Ihren statistischen Analysen heraus.
Nächste Folge
Weit zurück in Episode 1 Ich erwähnte, dass die Episode 5 T beinhalten würde 2 Entfernungen. Ich habe jedoch bereits darauf hingewiesen Folge 3 dass T. 2 ist einfach das Quadrat der Mahalanobis-Distanz, also brauchen wir keine weitere Episode, um darüber zu diskutieren.
Stattdessen wird mein fünfter und letzter Blogbeitrag über Ausreißer die multivariate Erkennung von Ausreißern durch K-nächste Nachbarn behandeln. Bleiben Sie dran!
