I assume that studentized residual is a good way to identify the ouliers.( Please correct me if i am wrong). And my question is how to filter out the the effect of these outliers in JMP prediction model? Will the model automatical avoid these outliers or should we delete them to get more accurate prediction ?
Hallo @Mathej01 ,
Studentisierte Residuen können eine gute Methode sein, um Ausreißer basierend auf einem angenommenen Modell zu identifizieren. Weitere Informationen zur Berechnung der studentisierten Residuen finden Sie hier: Row Diagnostics (jmp.com)
„ Punkte, die außerhalb der roten Grenzen liegen, sollten als wahrscheinliche Ausreißer behandelt werden. Punkte, die außerhalb der grünen Grenzen, aber innerhalb der roten Grenzen liegen, sollten als mögliche Ausreißer behandelt werden, jedoch mit geringerer Sicherheit. “Wie Sie der Definition entnehmen können, gibt es keine definitive Gewissheit über die Natur von Ausreißern und es kann von dem angenommenen Modell abhängen, das Sie meinen.
Ich unterstütze und stimme dem Kommentar von @P_Bartell voll und ganz zu. Für das Vorhandensein Ihres möglichen Ausreißers kann es mehrere Erklärungen geben (versteckte Variablen, Rauschen, unterschiedliche Operatoren usw.).
Der wichtigste Ratschlag zu Ausreißern, bevor man etwas dagegen unternimmt, könnte lauten: Kennen Sie Ihre Ausreißer. Je nachdem, woher sie kommen, um welchen Typ es sich handelt (globale, lokale/kontextuelle oder kollektive Ausreißer) und welche Techniken zu ihrer Erkennung verwendet werden, sind sie unterschiedlich, können unterschiedlich erkannt werden und können unterschiedliche Auswirkungen auf die erstellten Modelle haben:
- Globale Ausreißer : In univariaten Daten können sie mithilfe von Boxplots leicht erkannt werden. In multivariaten Daten können dichtebasierte Cluster (DBSCAN, Optics, ...) oder Algorithmen zur Anomalieerkennung (Isolation Forest) hilfreich sein. Sie können aus Aufzeichnungs-/Messfehlern oder Anomaliestichproben resultieren.
- Kontextuelle (bedingte) Ausreißer : Da Ausreißer nicht unbedingt in allen Dimensionen der Daten Ausreißer sind, könnten K-Nearest Neighbors, Mahalanobis-Distanzen, Hauptkomponentenanalysen und Jackknife-Distanzen interessant sein. Diese Ausreißer sind im Modell interessant zu berücksichtigen, da ihre anormalen Werte aus einem bestimmten Kontext resultieren.
- Kollektive Ausreißer : In diesem Zusammenhang könnten Clustering-Techniken hilfreich sein: K-Means, Gaußsche Mischungen, hierarchisches Clustering und andere Algorithmen könnten in Betracht gezogen werden. Sie könnten als Gruppe betrachtet werden.
Ein guter Ratschlag ist auch, herauszufinden, ob der mögliche Ausreißer Auswirkungen auf das Modell hat, da nicht alle Ausreißer (hohe) Hebelpunkte sind. Sie können versuchen, dasselbe Modell parallel mit und ohne diesen Punkt anzupassen, um zu sehen, ob dieser Ausreißer (auch) ein hoher Hebelpunkt ist. Sehen Sie sich die Diagramme „Tatsächlich vs. Vorhergesagt“, das Residuendiagramm und Metriken wie RMSE PRESS und R² PRESS an, um besser beurteilen zu können, ob der Ausreißer irgendeinen Einfluss auf das Modell hat.
Versuchen Sie zu analysieren, was die höhere Variabilität der letzten 4–5 Punkte verursacht hat (bestimmte Faktorstufen, die starkes Rauschen verursachen, Wechsel des Bedieners/Messgeräts usw.?).
Hoffe, diese ergänzende Antwort wird Ihnen helfen,
