Willkommen zu meinem zweiten Blogbeitrag über Ausreißer. In dieser Episode werde ich mich mit der Verwendung von Quantilbereichen zur Erkennung von Ausreißern befassen.
In Folge 1 haben wir uns mit der Beschreibung und visuellen Identifizierung von Ausreißern befasst. Sie erinnern sich vielleicht, dass es einfache eindimensionale (oder univariate) Fälle gibt, in denen wir Ausreißer identifizieren müssen. Diese sind am einfachsten zu identifizieren, und Quantilbereiche sind eine hervorragende Möglichkeit, nach ihnen zu suchen.
Für die multidimensionale Ausreißererkennung müssen Sie auf meine nächsten Beiträge warten!
Was sind Quantile?
Quantile sind sehr einfach zu verstehen. Nehmen wir an, wir haben eine Reihe von 20 Zahlen. Wir können die Zahlen von der niedrigsten zur höchsten sortieren. Wir können diese Punkte dann in Quantile gruppieren, die durch Schnittpunkte in den sortierten Daten identifiziert werden, die den Punkt beschreiben, unter den X % der Daten fallen.
Beachten Sie, dass Quantile im Allgemeinen als Bruch (von 0 bis 1) ausgedrückt werden. Sie entsprechen genau den Perzentilen, die von 0 bis 100 reichen. Ich werde diese in diesem Beitrag abwechselnd verwenden.
Abbildung 1 zeigt die 20 Zahlen vor und nach dem Sortieren sowie die 0,20- und 0,50-Quantile (oder 20 th und 50 th Perzentile).
Figure 1: Data from 20 point sample, random order and sortedAbbildung 1: Daten aus 20-Punkte-Stichprobe, zufällige Reihenfolge und sortiert
Der Schnittpunkt für die 50 th Perzentil ist der Median der Stichprobe. (In diesem Fall liegt der Median numerisch bei 32,5, der Mittelpunkt zwischen 40 und 25.)
Einige andere interessante Definitionen sind:
- Quartile, die die Daten in 25 %-Gruppen unterteilen. Das erste Quartil stellt die Datenpunkte dar, die in die untersten 25 % fallen, die Punkte des zweiten Quartils liegen zwischen 25 % und 50 % und so weiter.
- Interquartilbereich oder IQR, der den von 2 abgedeckten Bereich definiert nd und 3 rd Quartile.
Beachten Sie, dass bei der Rede von Quantilen keine Annahmen über die Form der Verteilung getroffen werden.
Wo sind Quantilberechnungen in JMP zu finden?
Sie finden Quantile an drei Stellen aufgelistet in JMP . Die Distributionsplattform und der Graph Builder verwenden beide dieselben Berechnungen. Ausreißer/Quantilbereichsausreißer untersuchen bietet dem Benutzer mehr Flexibilität in Bezug auf die Ausreißerempfindlichkeit. Schauen wir uns jeden an.
Vertriebsplattform
In der Verteilung enthalten alle fortlaufenden/numerischen Datenhistogramme eine tabellarische Zusammenfassung der Quantile. Standardmäßig zeigt JMP mehrere interessierende Quantile an. Die Verwendung der Vertriebsplattform in der Spalte mit der Bezeichnung Originaldaten in Abbildung 1 ergibt die folgende Ausgabe:
Mehrere gemeinsame Quantile sind in der mittleren Tabelle von Abbildung 2 dargestellt. Sie können die in dieser Tabelle angezeigten Quantile ändern, indem Sie den roten Hotspot auswählen und Anzeigeoptionen und dann entweder Quantilinkrement festlegen oder Benutzerdefinierte Quantile auswählen.
In Abbildung 2 ist auch das Box & Whisker-Diagramm dargestellt. Die im Diagramm gezeigten Symbole sind in Abbildung 2 kommentiert.
Die Enden der Schnurrhaare sind am interessantesten, um Ausreißer zu erkennen. Beachten Sie, dass die Whiskerlänge vom Minimum und Maximum des Interquartilbereichs gemessen wird und dass die Whisker am letzten Datenpunkt enden, der innerhalb des 1,5-fachen dieses Bereichs liegt. Dies ist eine gängige Faustregel für die Erkennung von Ausreißern. Punkte, die außerhalb dieser Whiskers liegen, könnten eine weitere Untersuchung wert sein.
Aber in dem in den Abbildungen 1 und 2 gezeigten Datensatz erkennt diese Technik keine Ausreißer. Dies ist nicht ungewöhnlich, insbesondere bei kleinen Stichprobenumfängen.
Abbildung 3 zeigt die Ausgabe der Distributionsplattform für die 1.000 Beispieldaten aus meinem vorherigen Blogbeitrag. Diese Stichproben werden aus einer zufälligen Normalverteilung gezogen, mit einem Mittelwert von 0,0 und einer Standardabweichung von 1,0. Ich füge auch den Punkt bei X1 = 4 hinzu, der in meinem vorherigen Beitrag visuell als Ausreißer identifiziert wurde:
Figure 3: Distribution platform output for 1,000 point sample from normal distributionAbbildung 3: Ausgabe der Verteilungsplattform für eine 1.000-Punkte-Stichprobe aus der Normalverteilung
Bei der größeren Stichprobengröße scheinen einige der Punkte jetzt Ausreißer zu sein (zumindest wie durch die Enden der Schnurrhaare definiert). Da wir wissen, dass die Daten in diesem speziellen Fall aus einer normalverteilten Population mit 1.000 Punkten stammen, ist es wahrscheinlich nicht ungewöhnlich, dass mindestens ein Punkt einen Wert von 4 hat. In einem realen Fall könnten die Punkte hinter den Schnurrhaaren eine zusätzliche Untersuchung rechtfertigen.
Erstellen von Box- und Whisker-Plots im Graph Builder
Sie können in Graph Builder auch Box- und Whisker-Diagramme erstellen. Das gesamte Graph Builder-Setup ist in Abbildung 4 dargestellt:
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Abbildung 4: Graph Builder-Setup für Box & Whisker-Plot (Stichprobe mit 1.000 Punkten aus der Normalverteilung)
Beachten Sie das Symbol für den Diagrammtyp über dem Diagramm (rot eingekreist), das den Diagrammtyp Box & Whisker aktiviert.
Wie bei der Distributionsplattform betragen die Whiskerlängen 1,5*Quartilsabstand und erstrecken sich von 25 nach unten th Perzentil und ab dem 75 th Perzentil.
Erkunden Sie Ausreißer
Was ist, wenn wir andere Whisker-Grenzwerte wählen möchten?
Wie oben erwähnt, ist eine Whiskerlänge von 1,5*IQR eine gängige Praxis zur Identifizierung von Ausreißern. Ich glaube, dies kommt wahrscheinlich von der Betrachtung großer Stichproben-Normalverteilungen. Es kann gezeigt werden, dass 1,5*IQR jenseits des Interquartilbereichs 99,30 % der Normalverteilung umfasst (wobei 0,3488 % der Daten in jedem Rand verbleiben). Dies würde ein relativ seltenes Ereignis identifizieren – wenn Sie eine Normalverteilung haben.
Aber was ist, wenn Sie keine Normalverteilung haben? Was ist, wenn die Verteilung ungefähr so aussieht?
Figure 5: Skewed distributionAbbildung 5: Schiefe Verteilung
Abbildung 5 zeigt eine schiefe Verteilung von N=100 Punkten mit fünf Ausreißern jenseits des oberen Whiskers gemäß der 1,5*IQR-Methode. Aber ist der Punkt bei X1=3 wirklich ein Ausreißer? Oder vielleicht gibt es andere Punkte, die durch den Schnurrbart verborgen sind, die eine Untersuchung durch Ausreißer rechtfertigen würden. Wie passen wir diese 1,5*IQR-Regel an?
In JMP können Sie dies unter „Analysieren/Screening/Ausreißer untersuchen“ tun und dann die Option „Quantilbereich-Ausreißer“ auswählen. Wenn Sie diese Option aufrufen, wird der unten gezeigte Eingabebildschirm für die in Abbildung 5 zusammengefasste 100-Punkte-Stichprobe angezeigt.
Figure 6: Quantile Range Outliers user interface and sample outputAbbildung 6: Benutzeroberfläche von Quantile Range Outliers und Beispielausgabe
Es gibt zwei Haupteingaben für das Panel „Quantile Range Outliers“:
- Schwanzquantil (TQ). Dieser Bruchteil beschreibt den kleinsten Schnittpunkt in der Verteilung, die in Whisker-Berechnungen verwendet wird. (1-Tail Quantile) beschreibt den oberen Schnittpunkt in der Verteilung. Die Differenz zwischen diesen Schnittpunkten beschreibt den Bereich, der in nachfolgenden Berechnungen verwendet wird.
- Für die zuvor beschriebenen IQR-Berechnungen wäre das Schwanzquantil 0,25, was darauf hinweist, dass die Schnurrhaare bei 25 beginnen würden th und 75 th Perzentile, und der Bereich wäre der Interquartilbereich (oder 75 th -25 th Perzentile).
- Der Standardwert für das Tail-Quantil in den Quantile Range Outliers ist 0,1, was darauf hinweist, dass die Whiskers bei 10 beginnen würden th und 90 th Perzentile, und die Länge hängt von der (90 th -10 th Perzentil) Bereich.
- Q. Dies ist der Multiplikator, der verwendet wird, um die Länge der Schnurrhaare zu bestimmen.
- In den vorherigen IQR-Berechnungen war dies 1,5, also wurde der Interquartilsabstand mit 1,5 multipliziert, um die Whiskerlänge zu erhalten.
- Der Standardwert für Q in den Ausreißern des Quantilbereichs ist 3, was darauf hinweist, dass die Whiskerlänge durch die (90 th -10 th Perzentil) Bereich multipliziert mit 3.
Die Ausgabe der Quantile Range Outliers ist unten im Panel in Abbildung 6 dargestellt. Hier sehen wir, dass Spalte X1 eine 10 hatte th Perzentil bei -1,283 und 90 th Perzentil bei 1,65556. Die Enden der Whisker (in der Ausgabe als untere und obere Schwelle [LT bzw. HT] angegeben) basieren auf den folgenden Berechnungen:
LT = 10 th Quantil – (90 th Quantil – 10 th Quantil) * Q
= -1,283 – (1,65556 – -1,283) * 3
= -10,099
HT = 90 th Quantil + (90 th Quantil – 10 th Quantil) * Q
= 1,65556 + (1,65556 – -1,283) * 3
= 10,4713
In diesem Fall gibt es nur einen Wert in der Spalte, der über dem oberen Schwellenwert liegt, bei einem Wert von 12,0, der am Ende des in Abbildung 6 gezeigten Berichts angezeigt wird.
Empfindlichkeit gegenüber Schwanzquantil und Q
Die Empfindlichkeit der Ausreißererkennung wird eindeutig durch die Werte von Tail-Quantil und Q bestimmt. Der traditionelle 1,5*IQR und der 3*(90 th -10 th Quantil)-Methoden sind beide akzeptabel, wobei erstere viel empfindlicher für die Erkennung von Ausreißern ist. Sie können die Quantile Range Outliers-Plattform verwenden, um diese Werte nach Bedarf für Ihren speziellen Fall anzupassen.
Während die Effektivität der Wahl des Randquantils und Q von Ihrer speziellen Verteilung abhängt, können wir einen Einblick in ihr Verhalten gewinnen, indem wir Normalverteilungen betrachten. Unten ist eine Tabelle, die verschiedene Kombinationen von Randquantil und Q zeigt, zusammen mit dem Prozentsatz der Werte in den Enden einer Normalverteilung, die außerhalb der Schnurrhaare liegen würden:
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTabelle 1: Prozentsatz der Ausreißer, die in der Normalverteilung großer Stichproben für verschiedene Werte von Randquantil und Q erkannt wurden
Ausgehend von dieser Idee können wir eine Höhenlinienkarte erstellen, die ein vollständigeres Bild der Mengen in Tabelle 1 zeigt:
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QAbbildung 7: Prozentsatz der Ausreißer, die in der Normalverteilung großer Stichproben für verschiedene Werte von Tail Quantile und Q erkannt wurden
Abbildung 7 zeigt deutlich, dass die Kombination aus hohen Werten des Randquantils und niedrigen Werten von Q die Berechnungen empfindlicher für Ausreißer macht, während niedrige Werte von TQ und hohes Q uns weniger empfindlich machen.
Nächste Folge
Beim nächsten Mal werden wir diskutieren Mahalanobis-Distanz , das verwendet wird, um Ausreißer in mehreren Dimensionen zu erkennen.
Sehen Sie alle Beiträge dieser Serie auf Ausreißer verstehen .
