Ein kurzes Quiz: Was sind Ausreißer?
- Seltsame Datenpunkte, die die Modellierungsergebnisse beeinflussen könnten und behoben werden müssen.
- Seltsame Datenpunkte, die eine weitere Untersuchung erfordern und möglicherweise neue Erkenntnisse über Ihren Prozess liefern.
- Ein wirklich gutes Buch von Malcolm Gladwell. (Ausreißer, 2008)
Die Antwort lautet natürlich: „Alles oben Genannte.“
Wenn Sie sich mit der Betrachtung von Daten befassen, sind Sie von Zeit zu Zeit auf „Ausreißer“ gestoßen, also auf numerische Messwerte, die nicht in das normale Muster der Daten fallen. Infolgedessen könnten beispielsweise unsere Anpassungen der kleinsten Quadrate der Daten verzerrt sein. Daher müssen wir sie schnell erkennen und angemessen mit ihnen umgehen.
Dies ist der erste Teil einer Blogserie, die sich mit Ausreißern befasst. Heute beschäftigen wir uns mit der visuellen Identifizierung von Ausreißern. In der nächsten Folge werden wir untersuchen, ob Ausreißer generell gut oder schlecht sind; In den letzten Episoden werden verschiedene Mittel und Algorithmen zur Erkennung von Ausreißern untersucht.
Beispiele für Ausreißer – Visuelle Identifizierung
Eine der einfachsten Möglichkeiten, Ausreißer zu identifizieren, ist die visuelle Darstellung. Hoffentlich zeichnen Sie Ihre Daten bereits auf, um nach Trends usw. zu suchen. Je nachdem, wie Sie Ihre Daten grafisch darstellen, sind Ausreißer oft offensichtlich. Die folgenden Beispiele helfen bei der Beschreibung von Ausreißern anhand einiger einfacher Diagramme.
Beispiel 1: Eindimensionale Daten
Abbildung 1 zeigt ein Punktdiagramm von 1.000 Proben aus einer normalverteilten Population (Mittelwert=0, Standardabweichung=1).
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Abbildung 1: Ein Beispiel mit eindimensionalen Daten.
Der Punkt bei X1=4 wird rot hervorgehoben. In diesem Fall sind es 4 Standardabweichungen vom Mittelwert. Bei einer Normalverteilung (wie oben gezeigt) ist dies ein sehr unwahrscheinliches Ereignis. Tatsächlich würden wir erwarten, aus einer Normalverteilung mit einem Mittelwert von 0 und einer Standardabweichung von 1 nur in 0,01 % der Fälle eine „4“ zu ziehen. Dies ist definitiv eine ungewöhnliche Beobachtung.
Beispiel 2: Zweidimensionale Daten, unabhängige und normalverteilte Variablen
Im unten gezeigten Beispiel haben wir zwei Eingabevariablen: X1 und X2:
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Abbildung 2: Ein 2D-Beispiel mit unabhängigen und normalverteilten Variablen.
In Abbildung 2 haben wir zwei normalverteilte und unabhängige Variablen, X1 und X2. Die Histogramme daneben können verwendet werden, um die Normalität zu vermuten. Beachten Sie den rot markierten Punkt bei (4,4). Auch hier haben wir einen Ausreißer, der optisch offensichtlich ist, da er weit von den Mittelwerten von X1 oder X2 entfernt liegt.
Beispiel 3: Zweidimensionale Daten, normale und unabhängige Variablen, unterschiedliche Mittelwerte und Standardabweichungen
Gehen wir mit dem Beispiel mit zwei Variablen noch etwas weiter. Dieses Mal haben wir unterschiedliche Mittelwerte und Standardabweichungen.
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Abbildung 3: Ein 2D-Beispiel mit unterschiedlichen Mittelwerten und Standardabweichungen.
Der Punkt bei ungefähr (1,27) könnte als Ausreißer angesehen werden. Es liegt innerhalb der X1-Distribution, aber deutlich außerhalb der X3-Distribution.
Aber was ist mit dem roten Punkt bei (4,5)? Handelt es sich um einen Ausreißer? Unsere Augen sagen uns, dass es so sein könnte, aber wie können wir das sagen? Wie bewerten wir es algorithmisch? (Für die Antwort darauf müssen Sie auf nachfolgende Blog-Beiträge warten!)
Beispiel 4: Zweidimensionale Daten mit Korrelation zwischen den Variablen
Nachfolgend finden Sie ein weiteres zweidimensionales Beispiel, dieses Mal mit Korrelation zwischen den beiden Variablen:
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Abbildung 4: Ein 2D-Beispiel mit Korrelation zwischen den beiden Variablen.
Optisch ist der rote Punkt bei (-3,6) in Abbildung 4 für das Auge ziemlich offensichtlich. Eine unabhängige Betrachtung beider Variablen würde jedoch darauf hinweisen, dass sich dieser Punkt sowohl in der X1-Dimension als auch in der X4-Dimension gut verhält. (Dies ist ein hervorragendes Beispiel dafür, warum es wichtig ist, Ihre Daten grafisch darzustellen!)
Beispiel 5: Ein schwierigerer zweidimensionaler Ausreißer
Ein weiterer seltsamer Ausreißer in zwei Dimensionen ist in der folgenden Abbildung dargestellt:
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Abbildung 5: Ein schwierigerer zweidimensionaler Ausreißer.
Auch hier ist es für das Auge offensichtlich, aber algorithmisch schwieriger zu erkennen. Dennoch gibt es einen Weg! (Siehe zukünftige Blogbeiträge.)
Beispiel 6: Mehr als zwei Dimensionen
Was ist, wenn wir mehr als zwei Dimensionen haben? Es wird schwieriger, Dinge zu visualisieren. Für drei Dimensionen können Sie ein 3D-Streudiagramm ausprobieren und es drehen, um Ausreißer zu identifizieren. Für mehr als drei Dimensionen können Sie versuchen, eine Reihe von Streudiagrammen zu erstellen, um alle Variablenpaare abzudecken (z. B. in der Plattform „Analysieren/Multivariat“). Bedenken Sie jedoch, dass die Ausreißer möglicherweise schwer zu erkennen sind.
Mit zunehmender Dimensionalität beginnen wir, uns Algorithmen zuzuwenden, die speziell zur Identifizierung von Ausreißern entwickelt wurden und auf die wir in zukünftigen Beiträgen eingehen werden.
Zukünftige Blog-Episoden
In kommenden Beiträgen werden wir die verschiedenen verfügbaren Ausreißeralgorithmen besprechen JMP , einschließlich der Art und Weise, wie sie bei den oben genannten Beispielen funktionieren (und mehr) und wann sie verwendet werden sollten. Zu diesen Algorithmen gehören:
Alle Beiträge dieser Serie finden Sie unter Ausreißer verstehen .
Tolle Blogserie Jerry!
Meiner Erfahrung nach war die häufigste Ursache für „Ausreißer“ ein Fehler bei der Dateneingabe. Jemand hat einen Dezimalpunkt verrutscht oder zwei Zahlen invertiert, die Eingabetaste für die nächste Datenpunkteingabe in der Spalte nicht gedrückt oder bei der manuellen Eingabe der Daten einfach die Taste auf der Tastatur nicht gedrückt. Überprüfen Sie immer zuerst die Quelldaten, wenn grafisch verdächtig aussehende Daten angezeigt werden!
Diese Blog-Reihe bekräftigt die Best Practice, Ihre Daten IMMER auf jede erdenkliche Weise in JMP darzustellen, BEVOR Sie mit der numerischen Analyse arbeiten.
