Wann sollten Ausreißer bei der Modellreduzierung entfernt werden?Hallo,
Beim Reduzieren eines Modells beobachte ich die extern studentisierten Residuen, um zu erkennen, wann Ausreißer auftreten. Wann sollten diese Ausreißer im Rahmen der Modellreduzierung entfernt werden?
Wenn ich keine Ausreißer sehe, obwohl das Modell alle Terme enthält, ich dann aber einen Term entferne und ein Ausreißer erscheint, entfernen Sie diesen Ausreißer dann sofort und fahren mit der Reduzierung fort oder fahren Sie mit der Reduzierung fort und entfernen die Ausreißer am Ende?
VersuchsplanungWindowsBetreff: Wann sollten Ausreißer bei der Modellreduzierung entfernt werden?Hallo @MetaLizard62080 ,
Haben Sie die Antworten von @statman und mir zu Ihrem vorherigen Beitrag „Choosing to exclude from 2 equal outliers in DoE“ gelesen?
Um es deutlich zu machen und zu wiederholen: Studentisierte Residuen können eine gute Möglichkeit sein, Ausreißer zu identifizieren basierend auf einem angenommenen Modell . Weitere Informationen zur Berechnung der studentisierten Residuen finden Sie hier: Zeilendiagnose (jmp.com)
„ Punkte, die außerhalb der roten Grenzen liegen, sollten als wahrscheinliche Ausreißer behandelt werden. Punkte, die außerhalb der grünen Grenzen, aber innerhalb der roten Grenzen liegen, sollten als mögliche Ausreißer behandelt werden, jedoch mit geringerer Sicherheit. “
Sie können sie als Modelldiagnostik für die Komplexitätsadäquatheit des an die Daten angepassten Modells verwenden. Dies verdeutlicht insbesondere, wie/warum Ihre Ergebnisse der studentisierten Residuen vom Modell abhängen, da das Entfernen/Hinzufügen eines Terms im Modell die Diagnose darüber ändert, welche Punkte modellbasierte Ausreißer sein können: Das Verhalten dieser Punkte wird vom Modell nicht gut beschrieben/vorhergesagt, macht sie aber in allen anderen Fällen/Modellierungsoptionen nicht zu Ausreißern.
Sie sollten KEINE Punkte auf Grundlage einer modellbasierten Ausreißeranalyse verwerfen/löschen. Diese Tools eignen sich hervorragend, um Ihr Modell zu verfeinern und seine Komplexität mithilfe anderer statistischer Metriken und Kriterien (R²/R² angepasst, RMSE, p-Werte, Informationskriterien wie AICc/BIC, ...) anzupassen.
Das Identifizieren und Analysieren von Ausreißern sollte vor der Modellierung mit geeigneten Tools erfolgen.Wenn Sie untersuchen möchten, ob es sich bei Punkten in Ihrem Datensatz um Ausreißer handeln könnte, versuchen Sie, multivariate Methoden basierend auf Distanzen wie Mahalanobis-, Jackknife- oder T²-Distanzen zu verwenden: Ausreißeranalyse . Im Menü „Ausreißer untersuchen“ steht Ihnen auch eine Reihe anderer Analysen zur Verfügung.
In jedem Fall reicht eine statistische Analyse nicht aus, um Punkte zu verwerfen, bei denen es sich möglicherweise um Ausreißer handelt. Sie müssen diese ungewöhnlichen Punkte untersuchen und verstehen, wie/warum die Messwerte dieser Punkte im Vergleich zu anderen ungewöhnlich erscheinen: Messfehler, experimenteller Fehler, Änderung/Fehler des Bedieners oder passiert vielleicht etwas Unerwartetes?
Hoffe, diese Antwort kann Ihnen helfen,
Betreff: Wann sollten Ausreißer bei der Modellreduzierung entfernt werden?Hallo Victor,
Ich habe die Antwort gelesen. In meiner Branche kommt es häufig zu einer hohen Variabilität der Tests. Dies kann leicht zu fehlerhaften Ergebnissen führen, die als Ausreißer angesehen werden könnten.
Normalerweise beginne ich meine Analyse mit JackKnife Z und verwende die multivariate Plattform, um allgemeine Antworten zu bewerten. Dies deckt jedoch nicht immer Ausreißer im Modell auf. Beispielsweise zeigte JackKnife in meinem letzten DoE Werte < 2 für einen Ausreißer an, der in jedem Fall durch extern studentisierte Residuen gefunden wird. Ich konnte keinen Grund dafür finden, warum dieser Punkt ein Ausreißer war, aber ohne ihn zu entfernen, zeigte mein Modell ein adj R^2 von 0,61, während sich das adj R^2 mit dem entfernten Punkt auf 0,99 erhöhte. Darüber hinaus war das Modell mit dem entfernten Punkt auch „wissenschaftlich sinnvoll“, während es ohne den entfernten Punkt insgesamt chaotisch war.
Ich vergleiche immer gerne mögliche Modelle, wenn ich Ausreißer entferne, um zu sehen, ob die Vorhersage überhaupt signifikant beeinflusst wird. In diesem Fall stellte ich fest, dass ich, je nachdem, wann ich den Punkt (zu Beginn, in der Mitte oder am Ende) der Modellreduktion entferne, unterschiedliche Modelle hatte, die praktische Vorhersagekraft jedoch in etwa gleich war. In einem Fall hatte ich beispielsweise eine sehr leichte quadratische Abweichung, die jedoch kein dominierender Faktor war. Obwohl in diesem Fall alle drei Modelle höchstwahrscheinlich ähnlich nützlich waren, würde ich gerne wissen, wie man sich am besten für das wahrscheinlichste Modell entscheidet.
Mir ist bewusst, dass zum Entfernen von Punkten mehr gehört, als nur dem Prozess der studentisierten Residuen zu folgen. Wenn ich jedoch weiß, dass ein Ausreißer vorhanden ist oder das starke Gefühl habe, dass dies der Fall sein könnte, ist es dann am besten, diesen vor, in der Mitte oder nach der Modellreduktion zu entfernen , da dies die Ergebnisse beeinflusst, zu denen das Modell konvergiert.
Betreff: Wann sollten Ausreißer bei der Modellreduzierung entfernt werden?Hallo @MetaLizard62080 ,
Wenn Sie eine hohe Variabilität des Tests erwarten, berücksichtigen Sie diese Rauschquelle durch Blockierung?
Es ist großartig, wenn Sie ein Modell haben, das Sie mit Fachwissen validieren können. Dies reduziert das Fehlerrisiko. Können Sie die Tests (oder nur Messungen), die Ihnen merkwürdig erscheinen, vielleicht wiederholen? Dies könnte Ihnen helfen, herauszufinden, ob es sich um einen „systematischen Fehler“ oder einen „zufälligen Fehler“ handelt, und Ihre Entscheidungsfindung unterstützen.
Anstatt Punkte, die seltsam erscheinen und vom Modell nicht genau beschrieben werden, direkt zu entfernen, würde ich sie trotzdem verwenden, aber ihren Einfluss auf das Modell verringern, indem ich eine Spalte „Gewicht“ mit dem Wert 1 für „normale“ Punkte und einem niedrigeren Wert für „seltsame Punkte“ erstelle und diese Spalte „Gewicht“ im Modelldialog als Gewichtsvariable verwende: Elemente im Startfenster „Modell anpassen“
Das Entfernen von Punkten, damit das Modell schneller konvergiert, verzerrt das Modell und führt wahrscheinlich zu falsch optimistischen Modellergebnissen.
Ich hoffe, einige dieser Punkte sind für Sie nachvollziehbar.
