Verwirrung um die Fit Definitive Screening PlattformNach dem Ausführen eines DSD und dem Klicken auf die Schaltfläche „Fixed Screening“ gibt das Programm Folgendes aus:
- Phase 1 – Schätzungen der Haupteffekte
- Phase 2 - Schätzungen des Effekts gerader Reihenfolge &
- Schätzungen der kombinierten Modellparameter
- Zusammen mit einem Vorhersageprofiler.
Wenn im Menü „Phase 1“ mehrere Haupteffekte als signifikant aufgeführt sind (Prob>|t| < 0,01), die Prob>|t|-Werte für dieselben Effekte im Menü „Kombinierte Modellparameter-Schätzungen“ jedoch 0,20 oder höher sind, wie ist das zu interpretieren? Bedeutet das, dass das Modell reduziert werden muss?
In der JMP-Dokumentation heißt es, dass der Prediction Profiler für das kombinierte Modell gilt – bezieht er sich auf das in der Tabelle „Fit Definitive Screening“ aufgeführte kombinierte Modell oder auf die reduzierte Form dieses kombinierten Modells?
Ich frage mich auch, ob wir immer die Option „Modell ausführen“ auswählen und es nach jeder Analyse manuell reduzieren müssen?
VersuchsplanungBetreff: Verwirrung um die Fit Definitive Screening PlatformHallo @MJZ82 ,
Die finalen p-Werte der Haupteffekte steigen, da sie mit einer anderen Anzahl an Freiheitsgraden berechnet werden als in der ersten Stufe. In der ersten Stufe werden ausschließlich Haupteffekte untersucht, wodurch die Anzahl der Freiheitsgrade im Versuchsplan höher ist und somit ein Schwellenwert von 0,05 zur Erkennung von Haupteffekten verwendet wird.
In der zweiten Phase wurden bereits einige Freiheitsgrade genutzt, um die Haupteffekte in das Modell einzubeziehen. Daher werden Effekte höherer Ordnung mit einem höheren Schwellenwert für den p-Wert (oft 0,2) in das Modell aufgenommen, da weniger Freiheitsgrade zur Verfügung stehen, um sie analog zu den Haupteffekten aus Phase 1 zu testen. Weitere Informationen zur Methodik finden Sie hier: Statistische Details zur Fit Definitive Screening Platform
Im abschließenden Panel des kombinierten Modells werden die p-Werte so berechnet, als wären die Terme dieses Modells gleichzeitig in ein einfaches Kleinste-Quadrate-Modell eingegeben worden. Daher ergeben sich andere (und höhere) p-Werte als in den beiden vorherigen Schritten berechnet. Das am Ende angezeigte Profiler zeigt das finale kombinierte Modell.
Ich würde das Modell nicht weiter anhand der p-Werte aus dem Panel der kombinierten Modellparameter-Schätzungen reduzieren, da die Methodik des Fit Definitive Screening auf einem sequenziellen Ansatz basiert: Zuerst werden die Haupteffekte auf die Zielgröße identifiziert, anschließend die aktiven Effekte zweiter Ordnung anhand der Residuen des zuvor angepassten Haupteffektmodells. Die p-Werte, die bei gleichzeitiger Einbeziehung der Terme berechnet werden (wie im Panel der kombinierten Modellparameter-Schätzungen), spiegeln nicht wider, wie die Modellterme identifiziert und aufgenommen wurden. Daher sind sie unzuverlässig, möglicherweise verzerrt, und die Entscheidung, Terme zu entfernen, sollte nicht allein auf diesen Informationen beruhen. Es ist außerdem wichtig, die Vererbung von Effekten bei der Anpassung von Modellen aus Versuchsplanungen zu berücksichtigen. Daher sollte kein Haupteffekt entfernt werden, wenn eine signifikante Interaktion oder ein quadratischer Effekt desselben Faktors im Modell enthalten ist.
Sie können weiterhin verschiedene Modelle mithilfe der verfügbaren Modellierungsplattformen ausprobieren: Fit Definitive Screening Platform, Fit Two Level Screening Platform , Standardmodelle der kleinsten Quadrate , Verallgemeinerte Regressionsmodelle usw. Vergleichen Sie die von diesen Methoden identifizierten gemeinsamen und abweichenden Terme. Das Thema Modellierung ist wesentlich umfangreicher (und mitunter komplexer) als die alleinige Betrachtung von p-Werten. Je nach Ihren Zielen stehen Ihnen möglicherweise verschiedene Wege zur Modellbewertung und -auswahl zur Verfügung.
- Erklärungsmodell Im erklärenden Modus konzentrieren Sie sich stärker auf die Terme, die einen Einfluss auf die Antwort(en) haben. Daher können Sie die Notwendigkeit der Einbeziehung der verschiedenen Terme anhand ihrer statistischen Signifikanz (mithilfe von p-Werten und einem vordefinierten Schwellenwert wie 0,05) und ihrer praktischen Relevanz (Größe der Schätzwerte, Auswahl basierend auf Fachexpertise) bewerten. R², das korrigierte R² (und die Differenz zwischen beiden, die minimiert werden sollte) eignen sich gut, um zu verstehen, wie viel Varianz durch die identifizierten Terme erklärt wird, und um relevante Modelle zur Beschreibung Ihres untersuchten Systems auszuwählen.
- Vorhersagemodell Im Vorhersagemodus konzentrieren Sie sich stärker auf die Begriffe, die Vorhersagefehler minimieren. Daher können Sie die Notwendigkeit der Einbeziehung verschiedener Begriffe anhand ihrer Auswirkungen auf die Vorhersageleistung bewerten. Dies lässt sich durch Visualisierungen von Ist- und Sollwerten sowie der Fehlergröße (Residuenplot) veranschaulichen. Der RMSE (Root Mean Square Error) eignet sich gut, um zu beurteilen, welches Modell die beste Vorhersageleistung erbringt (Ziel ist die Minimierung des RMSE).
Vielleicht interessiert Sie auch eine Kombination der beiden Teile, sodass verschiedene Kennzahlen zur Bewertung und Auswahl von Modellen herangezogen werden können, wie zum Beispiel Informationskriterien (AICc, BIC) helfen dabei, einen Kompromiss zwischen der Vorhersageleistung des Modells und seiner Komplexität zu finden. Bei der Bewertung und Auswahl eines Modells anhand dieser Kriterien gilt: Je niedriger der Wert, desto besser.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Verwirrung um die Fit Definitive Screening PlatformVielen Dank für die ausführliche Antwort.
Was passiert, wenn sich in meinen "Kombinierten Modellparameterschätzungen" nur ein Term als signifikant erweist, von insgesamt neun Termen in diesem Modell (ohne den Achsenabschnitt)?
Meine „Schätzungen der Haupteffekte in Phase 1“ führen 3 von 5 Haupteffekten als signifikant auf. In meinen „Schätzungen der kombinierten Modellparameter“ werden dieselben 3 Haupteffekte sowie 3 Interaktionsterme und 3 Terme zweiter Ordnung aufgeführt. Von diesen 9 kombinierten Termen ist nur einer der Terme zweiter Ordnung signifikant, viele der anderen weisen p-Werte von 0,20 oder höher auf.
Ist es im Allgemeinen nicht empfehlenswert, die Modellausgabe nach Ausführung der Plattform „Fit Definitive Screening“ weiter zu reduzieren, selbst wenn 8 von 9 Termen im „Kombinierten“ Modell keine signifikanten p-Werte aufweisen?
Betreff: Verwirrung um die Fit Definitive Screening PlatformWie bereits erwähnt, unterscheidet sich die Berechnung der p-Werte im kombinierten Modell (simultanes Testen) von der Methodik des Fit Definitive Screening, das auf sequenziellem und hierarchischem Testen von Effekten basiert. Dieses Fit Definitive Screening kann sensitiver sein als die klassische Test- und Modellierungsmethode, sodass im finalen kombinierten Modell auch dann statistisch nicht signifikante Terme auftreten können, wenn diese in Phase 1 oder 2 identifiziert wurden.
Das heißt nicht, dass diese Begriffe nicht von praktischer Bedeutung sind oder dass sie für das Modell nicht nützlich sind.
Bei der Bewertung mehrerer Modelle ist es wichtig, die Regressionsannahmen (mittels Residualanalyse) sowie verschiedene Metriken (zum Vergleich der Modelle mit unterschiedlichen Bewertungen) und die Fachkompetenz zu überprüfen, um den Modellierungsprozess zu steuern.
