AusreißeranalyseIch habe einen Datensatz, in dem ich Ausreißer oder andere interessante Punkte zu identifizieren versuche. Wenn ich mir das tatsächliche und das vorhergesagte Diagramm meiner Modelle anschaue, werden Punkte mit Sternmarkierungen angezeigt. Die Mahalanobis-Distanz und die Jacknife-Distanz identifizieren diese Punkte jedoch nicht unbedingt auf die gleiche Weise. Gibt es eine Empfehlung zur Ausreißeranalyse?
Grundlegende Datenanalyse und ModellierungBetreff: AusreißeranalyseHallo @sanch1 ,
Sie vergleichen zwei sehr unterschiedliche Methoden zur Bewertung von Ausreißern mit unterschiedlichen Zielen:
- Modellunabhängige Methoden zur Erkennung von Ausreißern, wie Mahalanobis-Distanzen, basieren nicht auf einem bestimmten Modell und vergleichen lediglich die Distanz zwischen Punkten auf der Grundlage von Variablen/Faktoren/Merkmalen. Ein mit dieser Art von Methoden identifizierter Ausreißer weist also darauf hin, dass dieser Punkt „seltsam“ aussieht und nicht Teil der Faktorverteilungen der anderen Punkte zu sein scheint.
- Modellbasierte Methoden zur Ausreißererkennung, basierend auf Residuen (studentisierte Residuen oder andere Metriken wie PRESS RMSE/R2...), die es ermöglichen, Ausreißer zu identifizieren, die nicht gut vom Modell angepasst/vorhergesagt werden. Dies kann ein Hinweis darauf sein, dass dem Modell einige wichtige Begriffe fehlen (wie Interaktion oder nichtlineare Effekte) oder dass es für die Daten nicht geeignet ist. Sie können die anderen Diagnosefelder/-tools verwenden, um zu sehen, ob das Modell gut zu Ihren Daten passt, basierend auf der statistischen Signifikanz Ihres Modells, verschiedenen Metriken entsprechend Ihrem Ziel wie Informationskriterium/RMSE/R2... Sie können auch überprüfen, ob dieser erkannte modellbasierte Ausreißer einen starken Einfluss auf Ihr Modell hat, indem Sie Cooks Distanzen berechnen: https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analysis-and-outliers.html Wenn die Werte für diese Punkte hoch und/oder ungewöhnlich sind, ist dies ein Hinweis darauf, dass diese Punkte einflussreich sein und Ihr Modell verzerren könnten. Sie sollten dann untersuchen, um welche Punkte es sich handelt und ob die Messungen gültig sind, bevor Sie entscheiden, ihren Einfluss auf das Modell zu verringern oder sie zu entfernen.
Weitere Informationen zu Ausreißern in meiner vorherigen Antwort zu einem ähnlichen Thema: https://community.jmp.com/t5/Discussions/Supress-the-effect-of-outliers-when-fitting-the-model-and-in/mp/747105/highlight/true#M92689
Ich hoffe, diese Antwort hilft Ihnen weiter.
Betreff: AusreißeranalyseWie wurden die Daten erhoben? Dies hat einen großen Einfluss darauf, welche Analyse angemessen ist. Wie Victor angibt, ist Mahalanobis ein multivariater Ausreißerdetektor. Wenn Ihre Antwort univariat ist, möchten Sie vielleicht gute alte Kontrolldiagramme verwenden, aber auch hier kommt es darauf an, wie die Daten erhoben wurden.
Betreff: AusreißeranalyseNette Blog-Beitragsserie von @JerryFish über Mahalanobis und Jackknife-Ausreißererkennung:
Ausreißer, Folge 3: Erkennen von Ausreißern mithilfe der Mahalanobis-Distanz (und T2)
Ausreißer, Folge 4: Erkennen von Ausreißern mithilfe der Jackknife-Distanz
wie hast du die entfernungen berechnet?
Betreff: Ausreißeranalyse@sanch1,
Es gibt eine weitere Option namens Cook's D-Einfluss. Sie speichern Cook's D-Einfluss über die Option „Spalten speichern“ unter dem roten Dreieck „Antwort“. Wählen Sie die gespeicherte Spalte aus und führen Sie dann eine Verteilung aus. Wenn einer Ihrer Datenpunkte gemessen nach Cook's D >= 1 ist, kann er als potenzieller Ausreißer betrachtet werden. Siehe das Beispielverteilungsbild unten.
