Willkommen zu meiner zweiten Blog-Ausgabe über Outliers. In dieser Folge werde ich mir die Verwendung von Quantilbereichen zur Erkennung von Ausreißern ansehen.
In Folge 1 haben wir uns mit der Beschreibung und visuellen Identifizierung von Ausreißern beschäftigt. Sie erinnern sich vielleicht, dass es einfache eindimensionale (oder univariate) Fälle gibt, in denen wir Ausreißer identifizieren müssen. Diese sind am einfachsten zu identifizieren und Quantilbereiche sind eine hervorragende Möglichkeit, danach zu suchen.
Für die mehrdimensionale Ausreißererkennung müssen Sie auf meine nächsten Beiträge warten!
Was sind Quantile?
Quantile sind sehr einfach zu verstehen. Nehmen wir an, wir haben eine Reihe von 20 Zahlen. Wir können die Zahlen vom niedrigsten zum höchsten sortieren. Anschließend können wir diese Punkte in Quantile gruppieren, die durch Schnittpunkte in den sortierten Daten identifiziert werden, die den Punkt beschreiben, unter den X % der Daten fallen.
Beachten Sie, dass Quantile im Allgemeinen als Bruch (von 0 bis 1) ausgedrückt werden. Sie entsprechen genau den Perzentilen, die von 0 bis 100 reichen. Ich werde sie in diesem Beitrag abwechselnd verwenden.
Abbildung 1 zeigt die 20 Zahlen vor und nach der Sortierung sowie die 0,20- und 0,50-Quantile (oder 20 Th und 50 Th Perzentile).
Figure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedAbbildung 1: Daten aus einer 20-Punkte-Stichprobe, zufällige Reihenfolge und sortiert
Der Schnittpunkt für die 50 Th Perzentil ist der Median der Stichprobe. (In diesem Fall beträgt der Median numerisch 32,5, der Mittelwert liegt zwischen 40 und 25.)
Einige weitere interessante Definitionen sind:
- Quartile, die die Daten in 25 %-Gruppen unterteilen. Das erste Quartil stellt die Datenpunkte dar, die in die untersten 25 % fallen, die Punkte des zweiten Quartils liegen zwischen 25 % und 50 % und so weiter.
- Interquartilbereich oder IQR, der den von 2 abgedeckten Bereich definiert nd und 3 rd Quartile.
Beachten Sie, dass bei Quantilen keine Annahmen über die Form der Verteilung getroffen werden.
Wo sind Quantilberechnungen in JMP zu finden?
Quantile finden Sie an drei Stellen in JMP . Die Distributionsplattform und der Graph Builder verwenden beide dieselben Berechnungen. „Explore Outliers/Quantile Range Outliers“ bietet dem Benutzer mehr Flexibilität in Bezug auf die Empfindlichkeit gegenüber Ausreißern. Schauen wir uns jeden einzelnen an.
Vertriebsplattform
In der Verteilung enthalten alle kontinuierlichen/numerischen Datenhistogramme eine tabellarische Zusammenfassung der Quantile. Standardmäßig zeigt JMP mehrere interessierende Quantile an. Wenn Sie die Verteilungsplattform für die Spalte mit der Bezeichnung „Originaldaten“ in Abbildung 1 verwenden, erhalten Sie die folgende Ausgabe:
In der mittleren Tabelle von Abbildung 2 sind mehrere gemeinsame Quantile dargestellt. Sie können die in dieser Tabelle angezeigten Quantile ändern, indem Sie den roten Hotspot auswählen, Anzeigeoptionen auswählen und dann entweder Quantilinkrement festlegen oder Benutzerdefinierte Quantile festlegen.
In Abbildung 2 ist außerdem das Box- und Whisker-Diagramm dargestellt. Die im Diagramm dargestellten Symbole sind in Abbildung 2 mit Anmerkungen versehen.
Für die Erkennung von Ausreißern sind die Enden der Whiskers von größtem Interesse. Beachten Sie, dass die Whisker-Länge anhand des Minimums und Maximums des Interquartilbereichs gemessen wird und dass die Whiskers am letzten Datenpunkt enden, der innerhalb des 1,5-fachen Bereichs liegt. Dies ist eine gängige Faustregel für die Erkennung von Ausreißern. Punkte, die außerhalb dieser Whiskers liegen, könnten eine weitere Untersuchung wert sein.
Aber in dem in den Abbildungen 1 und 2 gezeigten Datensatz erkennt diese Technik keine Ausreißer. Dies ist insbesondere bei kleinen Stichprobengrößen keine Seltenheit.
Abbildung 3 zeigt die Ausgabe der Verteilungsplattform für die 1.000 Beispieldaten aus meinem vorherigen Blogbeitrag. Diese Stichproben werden aus einer zufälligen Normalverteilung mit einem Mittelwert von 0,0 und einer Standardabweichung von 1,0 gezogen. Ich füge auch den Punkt bei X1=4 hinzu, der in meinem vorherigen Beitrag visuell als Ausreißer identifiziert wurde:
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionAbbildung 3: Ausgabe der Verteilungsplattform für eine Stichprobe mit 1.000 Punkten aus der Normalverteilung
Bei der größeren Stichprobengröße scheinen einige der Punkte nun Ausreißer zu sein (zumindest wie durch die Enden der Whiskers definiert). Da wir in diesem speziellen Fall wissen, dass die Daten aus einer normalverteilten Population mit 1.000 Punkten stammen, ist es wahrscheinlich nicht ungewöhnlich, mindestens einen Punkt mit einem Wert von 4 zu sehen. In einem realen Fall könnten die Punkte jenseits der Schnurrhaare weitere Untersuchungen erfordern.
Erstellen von Box- und Whisker-Diagrammen im Graph Builder
Sie können in Graph Builder auch Box- und Whisker-Plots erstellen. Das gesamte Graph Builder-Setup ist in Abbildung 4 dargestellt:
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Abbildung 4: Graph Builder-Setup für Box- und Whisker-Diagramm (1.000-Punkte-Stichprobe aus Normalverteilung)
Beachten Sie das Symbol für den Diagrammtyp über dem Diagramm (rot eingekreist), das den Diagrammtyp „Box & Whisker“ aktiviert.
Wie bei der Verteilungsplattform betragen die Whiskerlängen 1,5*Interquartilbereich und erstrecken sich von 25 nach unten Th Perzentil und höher vom 75 Th Perzentil.
Entdecken Sie Ausreißer
Was ist, wenn wir andere Whisker-Grenzwerte wählen möchten?
Wie oben erwähnt, ist eine Whisker-Länge von 1,5*IQR eine gängige Praxis zur Identifizierung von Ausreißern. Ich glaube, dass dies wahrscheinlich auf die Betrachtung der Normalverteilungen großer Stichproben zurückzuführen ist. Es kann gezeigt werden, dass ein 1,5*IQR jenseits des Interquartilbereichs 99,30 % der Normalverteilung umfasst (wobei 0,3488 % der Daten in jedem Ende verbleiben). Dies würde ein relativ seltenes Ereignis identifizieren – wenn Sie eine Normalverteilung haben.
Aber was ist, wenn Sie keine Normalverteilung haben? Was passiert, wenn die Verteilung in etwa so aussieht?
Figure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionAbbildung 5: Schiefe Verteilung
Abbildung 5 zeigt eine verzerrte Verteilung von N=100 Punkten mit fünf Ausreißern jenseits des oberen Whiskers gemäß der 1,5*IQR-Methode. Aber ist der Punkt bei X1=3 wirklich ein Ausreißer? Oder vielleicht gibt es noch andere Punkte, die hinter dem Whisker verborgen sind und die eine Ausreißeruntersuchung rechtfertigen würden. Wie passen wir diese 1,5*IQR-Regel an?
In JMP können Sie dies unter „Analysieren/Screening/Ausreißer untersuchen“ tun und dann die Option „Quantilbereichs-Ausreißer“ auswählen. Wenn Sie diese Option aufrufen, wird der unten gezeigte Eingabebildschirm für die in Abbildung 5 zusammengefasste 100-Punkte-Stichprobe angezeigt.
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputAbbildung 6: Benutzeroberfläche für Quantilbereichsausreißer und Beispielausgabe
Es gibt zwei Haupteingaben für das Fenster „Quantilbereichsausreißer“:
- Schwanzquantil (TQ). Dieser Bruch beschreibt den kleinsten Schnittpunkt in der Verteilung, der in Whisker-Berechnungen verwendet wird. (1-Tail-Quantil) beschreibt den oberen Schnittpunkt in der Verteilung. Die Differenz zwischen diesen Schnittpunkten beschreibt den Bereich, der in nachfolgenden Berechnungen verwendet wird.
- Für die zuvor beschriebenen IQR-Berechnungen würde das Endquantil 0,25 betragen, was darauf hinweist, dass die Whiskers bei 25 beginnen würden Th und 75 Th Perzentile, und der Bereich wäre der Interquartilbereich (oder 75). Th -25 Th Perzentile).
- Der Standardwert für das Endquantil in den Quantilbereichsausreißern beträgt 0,1, was bedeutet, dass die Whiskers bei 10 beginnen würden Th und 90 Th Perzentile, und die Länge hängt von (90) ab Th -10 Th Perzentilbereich.
- Q. Dies ist der Multiplikator, der zur Bestimmung der Länge der Whiskers verwendet wird.
- In den vorherigen IQR-Berechnungen betrug dieser 1,5, daher wurde der Interquartilbereich mit 1,5 multipliziert, um die Whiskerlänge zu erhalten.
- Der Standardwert für Q in den Quantilbereichsausreißern ist 3, was darauf hinweist, dass die Whisker-Länge durch (90) definiert wird Th -10 Th Perzentilbereich multipliziert mit 3.
Die Ausgabe der Quantilbereichsausreißer wird unten im Panel in Abbildung 6 angezeigt. Hier sehen wir, dass Spalte X1 eine 10 hatte Th Perzentil bei -1,283 und 90 Th Perzentil bei 1,65556. Die Enden der Whiskers (in der Ausgabe als untere und obere Schwellenwerte [LT bzw. HT] angegeben) basieren auf den folgenden Berechnungen:
LT = 10 Th Quantil – (90 Th Quantil – 10 Th Quantil) * Q
= -1,283 – (1,65556 – -1,283) * 3
= -10,099
HT = 90 Th Quantil + (90 Th Quantil – 10 Th Quantil) * Q
= 1,65556 + (1,65556 – -1,283) * 3
= 10,4713
In diesem Fall gibt es nur einen Wert in der Spalte, der über dem oberen Schwellenwert liegt, und zwar bei einem Wert von 12,0, der unten im in Abbildung 6 gezeigten Bericht angezeigt wird.
Empfindlichkeit gegenüber Schwanzquantil und Q
Die Empfindlichkeit der Ausreißererkennung wird eindeutig durch die Werte des Endquantils und Q bestimmt. Der traditionelle 1,5*IQR und der 3*(90 Th -10 Th Quantil-Methoden sind beide akzeptabel, wobei erstere wesentlich empfindlicher auf die Erkennung von Ausreißern reagiert. Sie können die Quantile Range Outliers-Plattform verwenden, um diese Werte nach Bedarf für Ihren speziellen Fall anzupassen.
Während die Wirksamkeit der Wahl des Endquantils und von Q von Ihrer speziellen Verteilung abhängt, können wir durch die Betrachtung von Normalverteilungen einen Einblick in deren Verhalten gewinnen. Nachfolgend finden Sie eine Tabelle mit mehreren Kombinationen aus Endquantil und Q sowie dem Prozentsatz der Werte in den Enden einer Normalverteilung, die außerhalb der Whiskers liegen würden:
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTabelle 1: Prozentsatz der in der Normalverteilung großer Stichproben erkannten Ausreißer für verschiedene Werte von Endquantil und Q
Ausgehend von dieser Idee können wir eine Höhenlinienkarte erstellen, die ein vollständigeres Bild der Mengen in Tabelle 1 zeigt:
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QAbbildung 7: Prozentsatz der erkannten Ausreißer in der Normalverteilung großer Stichproben für verschiedene Werte von Tail Quantile und Q
Abbildung 7 zeigt deutlich, dass die Kombination aus hohen Werten des Endquantils und niedrigen Werten von Q die Berechnungen empfindlicher gegenüber Ausreißern macht, während niedrige Werte von TQ und hoher Q uns weniger empfindlich machen.
Nächste Folge
Das nächste Mal werden wir darüber diskutieren Mahalanobis-Entfernung , das zur Erkennung von Ausreißern in mehreren Dimensionen verwendet wird.
Alle Beiträge dieser Serie finden Sie unter Ausreißer verstehen .
