Wie kann schwache Vererbung in Screening-Designs berücksichtigt werden?Ich bin dabei, ein DoE für einen neuartigen Prozess vorzubereiten, der bis zu 11 kontinuierliche Faktoren umfasst, von denen einer schwer zu ändern ist.
Da ich dies mit dem Bemühen verbinden möchte, den Kollegen die Ideen hinter DoE etwas transparenter zu machen, bin ich auf einige Fragen gestoßen, die wie folgt zusammengefasst werden können:
Was ist der beste Designansatz, wenn das Fachwissen auf die Existenz von Zwei-Paar-Wechselwirkungen und möglicherweise quadratischen Effekten schließen lässt, ich jedoch keine starke Vererbung annehmen kann?
Ich zögere, ein benutzerdefiniertes Design zu erstellen, das „alle“ Begriffe (z. B. Haupteffekte, Zwei-Wege-Interaktionen und quadratische Effekte) umfasst, da es wie eine Brute-Force-Lösung aussieht und im Widerspruch zu einem effizienten Experimentieren steht. Ich würde es lieber vorziehen, ein erstes Screening-Design zu erstellen, um (hoffentlich) nicht beitragende Faktoren zu ignorieren und anschließend ein erweitertes Design auszuführen. Meine größte Sorge besteht darin, dass ein unsachgemäßes Screening-Design aufgrund einer fehlenden Interaktion oder eines quadratischen Termes zum Verlust wichtiger Faktoren führen kann.
Es scheint, dass es einige Threads mit ähnlichen Fragen gibt, die aber nur kleine Aspekte davon berühren, deshalb poste ich dies hier als neuen Thread.
Um das Design und die Analysemethoden zu untersuchen, habe ich einen Testfall erstellt, den ich anhänge. Ich habe ein definitives Screening-Design für fünf Faktoren erstellt, einschließlich eines zentralen Punktes. Der Einfachheit halber habe ich die mögliche Existenz schwer veränderbarer Faktoren ignoriert. Die Zielvariable Y wird durch eine Formel generiert, in der Sie die relevanten Terme sehen.
Ich habe mehrere Ansätze ausprobiert, um das richtige Modell zu finden (da ich von vornherein Kenntnisse über die wahre Funktion habe, bin ich immer voreingenommen) und ich möchte nicht im Detail erklären, was ich getan habe, aber eine kurze Zusammenfassung lautet:
- Aus einer reinen Überprüfung der Haupteffekte könnte ich die Faktoren X2, X3 und X4 weglassen und sie in einem späteren erweiterten Design nicht berücksichtigen.
- Durch die Anpassung eines definitiven Screening-Designs würde ich zu Interaktionen verleitet, die nicht vorhanden sind, und auch quadratische Begriffe würden verwechselt. Ich müsste die Annahmen einer starken Vererbung sowohl für Interaktionen als auch für quadratische Terme aufgeben.
Ich verstehe zwar, woher das kommt (starke Korrelationen zwischen Interaktionen und auch quadratischen Termen innerhalb des gegebenen Designs), aber die Frage ist, wie man mit diesem Fall am besten umgeht?
Ich verstehe, dass meine Zielfunktion willkürlich zusammengestellt ist und es sich daher durchaus um einen ziemlich pathologischen Fall handeln könnte. Ich frage mich, wie oft dieses Problem in der Praxis auftritt?
Ich freue mich auf deine Rückmeldung.
Björn
Grundlegende Datenanalyse und ModellierungVersuchsplanungBetreff: Wie kann schwache Vererbung in Screening-Designs berücksichtigt werden?Alles in allem denke ich, dass ein definitiver Screening-Designansatz Ihre „beste“ (und das ist ein relativer Begriff, Option) sein könnte. Wenn Sie nicht bereit sind, den optimalen Designansatz zu wählen, fällt mir keine bessere Alternative ein … andere können sich gerne melden. Eine Aussage von Ihnen verwirrt mich allerdings ein wenig:
"Durch die Anpassung eines definitiven Screening-Designs würde ich zu Interaktionen verleitet, die es nicht gibt, und auch quadratische Terme würden verwechselt. Ich müsste die Annahme einer starken Vererbung sowohl für Interaktionen als auch für quadratische Terme fallen lassen."
Warum sollte ein DSD dazu neigen, Interaktionen anzuzeigen, die es gar nicht gibt? Ich glaube, es ist sogar umgekehrt. Sie werden vielleicht nie aktive Interaktionen finden, weil es relativ selten vorkommt, dass eine Zwei-Faktor-Interaktion aktiv ist, die Haupteffekte jedoch nicht. Meiner Erfahrung nach kommt diese Situation nicht oft vor. Solange Sie den Fit DSD-Workflow verwenden, können Sie sich bis zu einem gewissen Grad vor diesem Problem schützen.
Und außerdem ... denken Sie darüber nach, sequenziell zu experimentieren. Versuchen Sie es mit dem DSD. Hoffentlich sind Sie nicht in einer Situation, in der Sie gezwungen sind, das Problem mit einem einzigen Experiment zu lösen. Auch hier kommt es meiner Erfahrung nach selten vor, dass dies passiert. Insbesondere bei einem nicht ganz so gut verstandenen Studiensystem. Sehen Sie, was Sie lernen. Basierend auf dem, was Sie lernen, sind Bestätigungsläufe und weitere Experimente im optimalen DOE-Raum zwei Möglichkeiten, die Sie einschlagen könnten.
Betreff: Wie kann schwache Vererbung in Screening-Designs berücksichtigt werden?Ich dachte, ich könnte das Thema noch einmal kurz vertiefen. Ich habe ein individuelles Design mit Haupt- und quadratischen Effekten für neun Faktoren erstellt. Wie bereits erwähnt, gibt es einen Faktor, der schwer zu ändern ist (X1), und zwei Faktoren (X2 und X3) unterliegen einer linearen Randbedingung (X2+X3 > konst.).
Dies ist die Korrelationsmatrix, die sich aus dem benutzerdefinierten Designer ergibt:
Die Analyse nach der Datenerfassung ergab, dass bis zu 6 von 9 Faktoren aktiv sind. Es kam auch vor, dass X2 selbst nicht aktiv ist, obwohl es physikalisch betrachtet aktiv sein sollte, da seine Natur mit X3 identisch ist. Daher habe ich X2^2 getestet, und dies ist ein signifikanter Beitrag.
Ich hoffe, meine Schlussfolgerung ist nicht zu voreilig, aber mir scheint, dass hier die Prinzipien der Spärlichkeit und Hierarchie verletzt werden.
Betreff: Wie kann schwache Vererbung in Screening-Designs berücksichtigt werden?Ich sehe die angehängte Datentabelle nicht, daher ist eine Analyse der Daten nicht möglich. Wie sahen die Residuen aus? Gibt es eine Kollinearität zwischen X2 und X2^2 (mir ist aufgefallen, dass X2 nicht in Ihrer Matrix enthalten ist?)? Haben Sie die X2-Ebene zu hoch gewählt? Haben sie alle praktische Bedeutung? Statistische Bedeutung ist leicht zu erreichen, indem man einfach die Faktoren minimiert, die den MSE ausmachen.
Die Prinzipien sind genau das. Sie sind nicht absolut. Sie dienen lediglich als Orientierung. Ich behaupte weiterhin, dass 6 aller möglichen Faktoren (viel mehr als die 9, mit denen Sie experimentiert haben) eine kleine Teilmenge darstellen.
Erinnern Sie sich an F=MA... weder M noch A sind signifikant (beides Effekte erster Ordnung).
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Hallo,
Ich hatte die Datentabelle nicht angehängt, sondern nur den Screenshot der Korrelationsmatrix des Versuchsdesigns. X2 ist im Design enthalten. Da JMP Beschriftungen weglässt, wenn die Beschriftung zu dicht wird, wird es einfach nicht beschriftet. X2 wäre die zweite Zeile bzw. Spalte. Das Design umfasste die Haupteffekte sowie alle quadratischen Effekte. Die Korrelation von X2 und X2^2 beträgt 0,1.
Die Faktorstufen sind unserer Erfahrung nach sinnvoll.
Insgesamt frage ich mich, ob das zugrunde liegende physikalische Modell über den gegebenen Variablenbereich komplexer ist, um gut mit einem Taylorpolynom zweiter Ordnung angepasst zu werden (denken Sie an Begriffe wie Konvergenzradius usw. usw. – das wäre wohl ein Thema für eine Konferenz und nicht so sehr für eine Forumsdiskussion).
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Ich möchte die hervorragenden Ausführungen von @P_Bartell und @Mark_Bailey ergänzen und Ihnen empfehlen, Ihre Untersuchung nach der wissenschaftlichen Methode durchzuführen. Beginnen Sie mit Hypothesen, erheben Sie Daten und passen Sie diese anschließend an, indem Sie Hypothesen hinzufügen, verwerfen oder ergänzen. Es ist unmöglich, das optimale Versuchsdesign im Voraus zu kennen (wenn Sie es wüssten, bräuchten Sie das Experiment wahrscheinlich nicht). Ratschläge sind immer situationsabhängig. Ohne ein genaues Verständnis Ihrer konkreten Situation kann ich Ihnen daher nur allgemeine Empfehlungen geben. Beginnen Sie Ihre Untersuchung mit einem möglichst großen Versuchsdesignraum, soweit es die Ressourcen zulassen (viele Faktoren mit ausgeprägten Stufen). Unterschätzen Sie nicht den Einfluss von Störfaktoren! Entwickeln Sie eine Strategie für alle anderen Faktoren, die im Experiment nicht explizit manipuliert werden (z. B. Wiederholungen, Replikate, Blöcke, Split-Plots). Je größer der Interpretationsraum, desto wahrscheinlicher sind Ihre Ergebnisse auch in Zukunft gültig. Sie suchen nach einer Richtung (die Sie mit zwei Stufen finden können) und nach den Faktoren, die Sie am schnellsten zum optimalen Designraum führen (lineare Effekte). Die nachfolgenden Experimente konzentrieren sich auf den Designraum mit den besten Ergebnissen. Es ist zulässig, Effekte in den ersten Experimenten zu vermischen. Das Vermischen von Effekten ist eine Effizienzstrategie. Der Schlüssel zu einer effizienten Nutzung von Vermischen liegt darin, zu wissen, welche Effekte vermischen. So können in den folgenden Iterationen vermischte Effekte getrennt werden. Gehen Sie wie folgt vor: Sagen Sie als Fachexperte die Rangfolge der Modelleffekte bis zur zweiten Ordnung (alle Haupteffekte und Interaktionseffekte) voraus. Stehen die Haupteffekte an erster Stelle der Liste, können Sie in Ihrer ersten Iteration Designs mit niedriger Auflösung verwenden. Sie betrachten die relative Bedeutung dieser Haupteffekte. Mit zunehmender Anzahl der Effekte zweiter Ordnung in Ihrer Liste sollten Sie Designs mit höherer Auflösung in Betracht ziehen.
Entwerfen Sie in jedem Fall mehrere Versuchsvarianten (in JMP ist das ganz einfach). Bewerten Sie, welchen Erkenntnisgewinn jede Variante potenziell ermöglicht (z. B. welche Effekte sich trennen lassen, welche konfundiert sind und welche nicht untersucht werden). Stellen Sie dies dem Ressourcenaufwand gegenüber, der für diesen Erkenntnisgewinn erforderlich ist. Wählen Sie die Variante, die Ihren Kriterien für Erkenntnisgewinn vs. Ressourcenaufwand am besten entspricht. Denken Sie daran, dass Sie den Versuch iterativ durchführen werden. Verwenden Sie daher nicht Ihr gesamtes Budget für den ersten Versuch.
Mark hat völlig Recht. Die fraktionelle faktorielle Strategie nutzt die Prinzipien der Knappheit und Hierarchie. Vererbung spielt erst bei der Analyse eine Rolle, wenn es darum geht, die wahrscheinlichsten Störfaktoren zuzuordnen. Die Vorhersage des wahrscheinlichsten Störfaktors durch den Fachexperten ist die aussagekräftigste Methode. Falls weder Vorhersage noch Vererbung Aufschluss geben, werden weitere Daten benötigt.
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Vielen Dank für Ihre Antwort! Entschuldigen Sie bitte, dass ich mich nicht früher gemeldet habe, da ich keinen Zugriff auf die Community hatte.
Lassen Sie mich meine anfängliche Aussage, die Ihnen Anlass zur Sorge gegeben hat, präzisieren. Die Funktion, der die Zielgröße folgt, ist folgende:
Wie Sie sehen, trägt die Wechselwirkung x2*x3 bei, nicht aber die beiden Hauptfaktoren x2 und x3. Die DSD-Anpassung zeigt weder x2*x3 an, noch deutet sie auf eine Bedeutung von x2 oder x3 hin. Genau das wollte ich ausdrücken: Ich könnte die Idee, x2 und/oder x3 in einer nachfolgenden Versuchsplanung weiter zu untersuchen, verwerfen und dabei die Wechselwirkung x2*x3 übersehen.
Ich stimme Ihnen zu, dass wir in der Praxis kaum Fälle finden werden, in denen die Wechselwirkung ohne jeglichen Einfluss von Haupteffekten auftritt. Mir ist bewusst, dass der Modellierungsansatz hier im Wesentlichen darin besteht, eine Taylorreihe an die „wahre Funktion“ anzupassen. Andererseits hat mich die Tatsache etwas beunruhigt, dass beispielsweise viele Wechselwirkungen/Beziehungen in der Physik einer Formel folgen, in der eine Größe ein Produkt von Potenzen (negativen und positiven) der anderen Größen ist. Ich denke, es ist, wie Sie sagten: eher eine akademische, aber dennoch eine praktische Frage.
Für meine konkrete Anwendung hatte ich die Ausführung eines DSD in Betracht gezogen, aber es gibt zwei Einschränkungen:
- Ich habe einen schwer zu ändernden Faktor
- Zwei Variablen stehen in einer linearen Wechselbeziehung: Beide können nicht gleichzeitig ihr Minimum annehmen, was ich durch eine lineare Randbedingung vermeiden würde.
Anschließend würde ich die Optimalität meines Entwurfs anhand der Korrelationsmatrix beurteilen und gegebenenfalls Modellterme hinzufügen, falls die verbleibenden Korrelationen noch zu stark sind.
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Zusätzlich zu @P_Bartells Hinweis möchte ich zwei weitere Punkte ansprechen. Screening-Designs funktionieren am besten, wenn die Situation die wichtigsten Screening-Prinzipien der Effektsparsamkeit und -hierarchie erfüllt. Man geht davon aus, dass die meisten Faktoren im Design inaktiv sind. Trifft das hier zu?
Ich empfehle in der Regel, Faktoren nicht in separate Versuchsdesigns aufzuteilen, es sei denn, es bestehen Einschränkungen. Zwei Faktoren mit Wechselwirkungen zeigen diese Wechselwirkung nicht, wenn sie separat geplant werden. Die zurückgehaltenen Faktoren werden wie in einem Ein-Faktor-Experiment behandelt. Bei erwarteten großen Effekten kann ein DSD mit 23 Durchläufen verwendet werden. Die Modellvererbung spielt erst bei der Analyse eine Rolle.
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Vielen Dank für Ihre Gedanken!
Tatsächlich erwarten wir aufgrund unserer Fachkenntnisse eine ganze Reihe aktiver Faktoren. Von den neun betrachteten Faktoren (ich hatte in meinem ersten Beitrag elf genannt, es sind aber neun) könnten sechs oder mehr aktiv sein. Ich stimme zu, dass eine Trennung der Faktoren keine gute Idee wäre, insbesondere da wir von Wechselwirkungen ausgehen.
Betreff: Wie kann man schwache Vererbung in Screening-Designs berücksichtigen?Vielen Dank für Ihr hervorragendes Feedback! Ich werde mit einem individuellen Entwurf beginnen, der so viele Faktoren wie möglich unter Berücksichtigung der Randbedingungen einbezieht.
Streng genommen bin ich mit der wissenschaftlichen Methode vertraut, doch die Herausforderung liegt mitunter in ihrer Akzeptanz. Insbesondere bei Versuchsplanungen (DoE) kann die scheinbar willkürliche und zufällige Festlegung vieler Faktoren Personen verwirren, die mit den Prinzipien von DoE nicht vertraut sind. Muss man seine Hypothesen also zu oft verwerfen (oder, um es etwas eleganter auszudrücken, verfeinern), liegt die Ursache möglicherweise in der Methode selbst und nicht unbedingt darin, dass manche Probleme aus verschiedenen Gründen (z. B. fehlende Faktoren, Rauschen usw.) einfach nicht lösbar sind.
Für mein konkretes Problem plane ich, die Faktoren für das Screening auf "vernünftigerweise" extreme Minimal- und Maximalwerte festzulegen, in der Hoffnung, schnell einige Faktoren zu eliminieren und dann, abhängig von den Ergebnissen und Trends, mit einem erweiterten oder sogar neuen Design zu verfeinern.
