Bedeutung von Faktoren im endgültigen Screening-DesignLiebe JMP-Community,
Ich habe ein 37-stufiges Definitive Screening Design für 15 Faktoren durchgeführt, um die dominierenden Faktoren zu finden. Ich habe den p-Wert auf 0,05 eingestellt und in der Dokumentation steht, dass ein Faktor als „aktiv“ angezeigt wird, wenn der p-Wert niedriger als der definierte Schwellenwert (also 0,05) ist. Wenn ich jedoch das endgültige Screening-Design anpasse, gibt es in einigen Fällen Faktoren mit einem p-Wert von mehr als 0,05, die als „aktiv oder signifikant“ erscheinen. Unten habe ich ein Beispiel angehängt, was ich meine. Kann mir jemand helfen, diese Unklarheit zu lösen?
VersuchsplanungWindowsBetreff: Bedeutung von Faktoren im endgültigen Screening-DesignHallo @Ahmedhadi ,
Willkommen in der Community!
Es ist schwierig, Ihnen zu helfen, ohne sich Ihr Design anzuschauen und ohne zu wissen, wie Sie es entwerfen.
Dennoch denke ich, dass Sie in diesem Hilfeabschnitt möglicherweise Antworten zur Analyse von DSDs finden: Statistische Details zur Fit Definitive Screening-Plattform (jmp.com)
Vielleicht interessiert Sie auch die Originalveröffentlichung der Fit-DSD-Methode: Bradley Jones & Christopher J. Nachtsheim (2016): Effektive designbasierte Modellauswahl für endgültige Screening-Designs , Technometrie, DOI: 10.1080/00401706.2016.1234979
Wie Sie auf dem Screenshot sehen können, erfolgt die Analyse von DSDs in zwei Schritten, um die spezifische Struktur von DSD zu berücksichtigen:
- Die erste Stufe umfasst die Identifizierung der Haupteffekte anhand der Antwortwerte
- Die zweite Stufe umfasst 2-Faktor-Wechselwirkungen und die Identifizierung quadratischer Effekte (basierend auf dem Prinzip der Effektvererbung) mit den Antwortresiduen aus dem Modell der ersten Stufe.
Wenn Ihre DSDs mit 37 Läufen 15 kontinuierliche Faktoren umfassen, sind aufgrund der geringen Menge an bereitgestellten Informationen möglicherweise 4 zusätzliche Läufe in Ihrem Entwurf enthalten, sodass in Stufe 1 die Abweichung vom angenommenen Modell (mit allen Haupteffekten) anhand des Fehlers geschätzt wird Abweichung von den 4 zusätzlichen Läufen. Dies ermöglicht die Identifizierung aktiver Effekte unterhalb eines bestimmten p-Wert-Schwellenwerts (definiert von Ihnen oder durch die Anzahl der Freiheitsgrade, die Sie haben). Da die Variabilität der inaktiven Haupteffekte dann in der Fehlervarianz zusammengefasst wird, können sich die p-Werte im Prozess ändern und am Ende über dem von Ihnen angegebenen Schwellenwert liegen, selbst wenn dieser ursprünglich ausgewählt wurde.
Etwas Ähnliches kann in Stufe 2 passieren, wo eine Teilmenge von Effekten 2. Ordnung getestet wird, um zu sehen, ob es zu einer Verbesserung des Modell-RMSE kommt, wenn diese Effekte hinzugefügt werden (auch wenn sie möglicherweise nicht alle statistisch signifikant sind).
Zwei Dinge sollten Sie mit Vorsicht bedenken:
- Statistisches Signifikanzprinzip: Der p-Wert-Schwellenwert von 0,05 ist kein Grenzwert, da es möglicherweise auch interessant sein kann, Effekte direkt über diesem Wert im Modell zu berücksichtigen (aufgrund von Fachkenntnissen in diesem Bereich oder der Verwendung einer anderen Modellierungsmethode, die nicht auf p basiert). -Werte). Auch die statistische Signifikanz gibt Ihnen keine Auskunft über die Bedeutung/Größe des Effekts.
- Ein Modell ist lediglich eine Darstellung der experimentellen Realität, die Sie aufgezeichnet haben. Wenn Sie verschiedene Modellierungstechniken ausprobieren, die Plattform „Generalized Regression“ mit unterschiedlichen Schätzmethoden (zweistufige Vorwärtsauswahl, Pruned Forward-Auswahl usw.) und einem anderen Validierungskriterium (z. B. Informationskriterien AICc und BIC) verwenden, erhalten Sie möglicherweise unterschiedliche Ergebnisse Modelle. Es ist immer interessant, mehrere Ansätze zu vergleichen, um zu sehen, inwieweit die verschiedenen Modelle ähnlich oder unterschiedlich sein können, und dann Fachwissen zu nutzen, um mit dem/den vernünftigsten Modell(en) fortzufahren.
Ich hoffe, diese Antwort wird Ihnen helfen,
Betreff: Bedeutung von Faktoren im endgültigen Screening-DesignLieber Viktor,
Vielen Dank für Ihre ausführliche und hilfreiche Antwort und entschuldigen Sie, dass wir nicht alle Informationen bereitgestellt haben.
Natürlich habe ich 15 „kontinuierliche“ Faktoren und wie empfohlen habe ich 4 zusätzliche Läufe einbezogen. Im Moment geht es mir nur darum, die dominierenden Faktoren zu ermitteln, die die Reaktion maßgeblich beeinflussen. Daher werde ich alle von der Software in Stufe 1 aufgeführten „aktiven Faktoren“ als bedeutsam betrachten.
Was den Vergleich verschiedener Modelle angeht, fand ich es bei einigen Modellen schwierig, da es keinen R-Quadrat-Wert zum Bewerten/Vergleichen der Modelle gibt. Gibt es eine systematische Möglichkeit, dies zu tun?
Betreff: Bedeutung von Faktoren im endgültigen Screening-DesignHallo @Ahmedhadi ,
Wenn Sie die „vernünftigsten“ Modelle vergleichen und auswählen möchten, würde ich empfehlen, sie mit einer anderen Metrik als R² (oder R²-angepasst) zu vergleichen, da R² nur den Anteil der durch das Modell erklärten Varianz berücksichtigt, nicht jedoch dessen Komplexität Wenn Sie immer mehr Terme hinzufügen, erhalten Sie möglicherweise einen höheren R², aber Sie erhalten ein komplexeres Modell, in das möglicherweise etwas Rauschen passt.
Ein Informationskriterium wie AICc oder BIC und/oder Maximum Likelihood, wenn Sie eine andere Antwortverteilung als die normale benötigen, kann für den Vergleich und die Auswahl von Modellen effektiver sein, da sie die Genauigkeit des Modells mit seiner Komplexität (Anzahl der) in Einklang bringen Begriffe, die im Modell enthalten sind).
Sie müssen nicht unbedingt alle möglichen Begriffskombinationen zum Vergleichen und Auswählen der Modelle ausprobieren, da die Generalisierte Regression (JMP Pro) mit den verschiedenen Schätzmethoden und Validierungskriterien ein halbautomatischer Prozess ist (jede Methode stoppt, wenn sie erreicht wird). „bestes“ Modell). Weitere Infos hier: Generalisierte Regressionsmodelle (jmp.com)
Sie können sich auch die Stepwise-Plattform ansehen (in der Fit Model-Plattform ändern Sie die Persönlichkeit in Stepwise), wo Sie „automatisch“ die möglichen Begriffe in Ihrem Modell durchsuchen und dank einer Stoppregel/eines Stoppkriteriums (basierend auf …) den aussagekräftigsten auswählen können zu BIC, AICc, p-Wert-Schwellenwert usw. Ich empfehle die Verwendung von Informationskriterien wie AICc oder BIC. Das Schöne daran ist, dass Sie die verschiedenen Schritte bei der Erstellung der verschiedenen Modelle verfolgen können und wie sich jeder Schritt auf die Qualität des Modells ausgewirkt hat (in Bezug auf R² und AICc / BIC):
Es funktioniert ganz gut, aber Sie müssen möglicherweise doch noch etwas Feinabstimmung des Modells vornehmen, da es sich um einen gierigen Ansatz handeln kann (es wird jeder Begriff eingegeben, der sich positiv auf das Modell auswirken könnte).
Weitere Infos hier: Stufenweise Regressionsmodelle (jmp.com)
Es besteht auch die Möglichkeit, es auszuprobieren. Alle möglichen Modelle ", aber angesichts der hohen Anzahl an Faktoren, die Sie haben (und der noch höheren Anzahl möglicher Terme, wenn Terme 2. Ordnung berücksichtigt werden), würde ich es nicht empfehlen, da es zu lang und zu rechenintensiv ist.
Ich hoffe, diese Antwort wird Ihnen helfen,
Betreff: Bedeutung von Faktoren im endgültigen Screening-DesignEin weiterer zu berücksichtigender Punkt ist, dass die Software oder der Algorithmus nicht den Anspruch erhebt, das beste Modell zu finden. Sie helfen dabei, viele schlechte Modelle aus der weiteren Auswahl auszuschließen. Verschiedene Methoden zur Auswahl eines Modells können zu unterschiedlichen Lösungen führen. Die mit einer Lösung bereitgestellten Informationen sollen Ihnen dabei helfen, Verbesserungen herbeizuführen. Die Auswahl der einzuschließenden Begriffe liegt bei Ihnen, nicht bei der Software.
Sie könnten eine andere Auswahlmethode ausprobieren, um zu sehen, ob die Lösung Ihren Anforderungen besser entspricht. JMP bietet viele solcher Methoden.
