Tolle Blogserie Jerry!
Nach meiner Erfahrung war die häufigste Ursache für Ausreißer ein Dateneingabefehler. Jemand hat einen Dezimalpunkt verschoben oder zwei Zahlen invertiert, das Drücken der Eingabetaste für den nächsten Datenpunkteintrag in der Spalte verpasst oder einfach das Drücken der Taste auf der Tastatur während der Eingabe der Daten von Hand verpasst. Überprüfen Sie immer zuerst die Quelldaten, wenn verdächtig aussehende Daten grafisch angezeigt werden!
Diese Blog-Reihe unterstützt die bewährte Methode, Ihre Daten IMMER so zu zeichnen, wie Sie es sich in JMP vor der Arbeit mit numerischen Analysen vorstellen können.
Sehr interessantes Thema, danke fürs Teilen!
Um den vorherigen Kommentar zu ergänzen, versuchen wir immer, "PGA" anzuwenden:
- P. raktisch: Woher kommen die Daten, wie wurden sie gesammelt, in welchem Zeitraum usw.
- G raphisch: Zeichnen Sie immer zuerst Ihre Daten und versuchen Sie herauszufinden, ob dies sinnvoll ist, ob Sie Beziehungen, "Ausreißer" usw. sehen.
- EIN nalytisch: erst dann numerische / statistische Analyse durchführen ...
Ich freue mich auf die kommenden Blogs!
Ein kurzes Quiz: Was sind Ausreißer?
- Ungerade Datenpunkte, die die Modellierungsergebnisse beeinflussen könnten und angegangen werden müssen.
- Seltsame Datenpunkte, die weitere Untersuchungen rechtfertigen und möglicherweise neue Einblicke in Ihren Prozess liefern.
- Ein wirklich gutes Buch von Malcolm Gladwell. (Ausreißer, 2008)
Die Antwort lautet natürlich "All das oben Genannte".
Wenn Sie sich mit Daten befassen, sind Sie von Zeit zu Zeit auf „Ausreißer“ gestoßen, die numerischen Messwerte, die nicht in das normale Muster der Daten fallen. Infolgedessen könnten beispielsweise unsere Anpassungen der kleinsten Quadrate der Daten verzerrt sein. Daher müssen wir sie schnell identifizieren und angemessen behandeln.
Dies ist der erste Teil einer Blog-Reihe, die sich mit Ausreißern befasst. Heute werden wir uns mit der visuellen Identifizierung von Ausreißern befassen. In der nächsten Folge werden wir untersuchen, ob Ausreißer im Allgemeinen gut oder schlecht sind. In den letzten Folgen werden verschiedene Mittel und Algorithmen zur Erkennung von Ausreißern untersucht.
Beispiele für Ausreißer - Visuelle Identifizierung
Eine der einfachsten Möglichkeiten, Ausreißer zu identifizieren, ist die visuelle Darstellung. Hoffentlich zeichnen Sie Ihre Daten bereits, um nach Trends usw. zu suchen. Je nachdem, wie Sie Ihre Daten zeichnen, sind Ausreißer häufig offensichtlich. Die folgenden Beispiele helfen bei der Beschreibung von Ausreißern anhand einiger einfacher Diagramme.
Beispiel 1: Eindimensionale Daten
1 zeigt ein Punktdiagramm von 1.000 Proben, die aus einer normalverteilten Population gezogen wurden (Mittelwert = 0, Standardabweichung = 1).
Abbildung 1: Ein Beispiel mit eindimensionalen Daten.
Der Punkt bei X1 = 4 ist rot hervorgehoben. In diesem Fall sind es 4 Standardabweichungen vom Mittelwert. Für eine Normalverteilung (wie die oben gezeigte) ist dies ein sehr unwahrscheinliches Ereignis. Tatsächlich würden wir erwarten, aus einer Normalverteilung mit einem Mittelwert von 0 und einer Standardabweichung von 1 in nur 0,01% der Fälle eine „4“ zu ziehen. Dies ist definitiv eine ungewöhnliche Beobachtung.
Beispiel 2: Zweidimensionale Daten, unabhängige und normalverteilte Variablen
Im folgenden Beispiel haben wir zwei Eingabevariablen: X1 und X2:
Abbildung 2: Ein 2D-Beispiel mit unabhängigen und normalverteilten Variablen.
In Abbildung 2 haben wir zwei normalverteilte und unabhängige Variablen, X1 und X2. Die Histogramme neben jedem können verwendet werden, um die Normalität zu vermuten. Beachten Sie den rot markierten Punkt bei (4,4). Auch hier haben wir einen Ausreißer, der visuell offensichtlich ist, da er weit entfernt von den Mitteln von X1 oder X2 liegt.
Beispiel 3: Zweidimensionale Daten, normale und unabhängige Variablen, unterschiedliche Mittelwerte und Standardabweichungen
Lassen Sie uns mit dem Beispiel mit zwei Variablen etwas weiter gehen. Dieses Mal haben wir unterschiedliche Mittelwerte und Standardabweichungen.
Abbildung 3: Ein 2D-Beispiel mit unterschiedlichen Mitteln und Standardabweichungen.
Der Punkt bei ungefähr (1,27) könnte als Ausreißer angesehen werden. Es befindet sich innerhalb der X1-Verteilung, aber deutlich außerhalb der X3-Verteilung.
Aber was ist mit dem roten Punkt bei (4,5)? Ist es ein Ausreißer? Unsere Augen sagen uns, dass es sein könnte, aber wie können wir sagen? Wie bewerten wir es algorithmisch? (Um die Antwort darauf zu erhalten, musst du auf nachfolgende Blog-Beiträge warten!)
Beispiel 4: Zweidimensionale Daten mit Korrelation zwischen den Variablen
Nachfolgend finden Sie ein weiteres zweidimensionales Beispiel, diesmal mit Korrelation zwischen den beiden Variablen:
Abbildung 4: Ein 2D-Beispiel mit Korrelation zwischen den beiden Variablen.
Optisch ist der rote Punkt bei (-3,6) in Abbildung 4 für das Auge ziemlich offensichtlich. Eine unabhängige Betrachtung einer der Variablen würde jedoch darauf hinweisen, dass sich dieser Punkt sowohl in der X1-Dimension als auch in der X4-Dimension gut verhält. (Dies ist ein hervorragendes Beispiel dafür, warum es wichtig ist, Ihre Daten zu zeichnen!)
Beispiel 5: Ein schwierigerer zweidimensionaler Ausreißer
Ein weiterer ungerader Ausreißer in zwei Dimensionen ist in der folgenden Abbildung dargestellt:
Abbildung 5: Ein schwierigerer zweidimensionaler Ausreißer.
Wiederum ist es für das Auge offensichtlich, aber schwieriger, algorithmisch zu erkennen. Trotzdem gibt es einen Weg! (Siehe zukünftige Blog-Beiträge.)
Beispiel 6: Mehr als zwei Dimensionen
Was ist, wenn wir mehr als zwei Dimensionen haben? Dinge werden schwieriger zu visualisieren. Für drei Dimensionen können Sie ein 3D-Streudiagramm ausprobieren und es drehen, um Ausreißer zu identifizieren. Bei mehr als drei Dimensionen können Sie versuchen, eine Reihe von Streudiagrammen zu erstellen, um alle Variablenpaare abzudecken (z. B. in der Plattform Analysieren / Multivariate). Beachten Sie jedoch, dass die Ausreißer möglicherweise schwer zu erkennen sind.
Mit zunehmender Dimensionalität wenden wir uns Algorithmen zu, die speziell zur Identifizierung von Ausreißern entwickelt wurden und in zukünftigen Beiträgen behandelt werden.
Zukünftige Blog-Episoden
In den kommenden Beiträgen werden wir die verschiedenen Ausreißeralgorithmen diskutieren, die in verfügbar sind JMP , einschließlich wie sie an den obigen Beispielen (und mehr) arbeiten und wann sie verwendet werden sollen. Diese Algorithmen umfassen:
Alle Beiträge in dieser Reihe auf anzeigen Ausreißer verstehen .
