Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Ich wollte ein Experiment entwerfen, um 18 Faktoren anhand einer Antwort zu vergleichen. Ich verstehe jetzt, dass es modernere, bessere Designs gibt, um dieses Problem zu lösen, aber damals habe ich ein 20-Run-Plackett-Burman-Design verwendet. Ich habe jeden Lauf doppelt absolviert, also insgesamt 40 Läufe. Ich füge eine CSV-Datei der anonymisierten Ergebnisse bei, in der ich die Faktorstufen standardisiert habe (Mittelwert subtrahiert und durch Standardabweichung dividiert).
Da es sich bei Plackett-Burman um ein gesättigtes Design handelt, verstehe ich, dass ich nicht versuchen kann, ein lineares Modell anzupassen, da die Anzahl der Terme bedeutet, dass es mit an Sicherheit grenzender Wahrscheinlichkeit überangepasst ist. Deshalb sollte ich ein „Zwei-Ebenen-Screening“ verwenden (obwohl dies vielleicht der Fall ist). Änderungen, weil ich Duplikate habe?) . Ich habe diese Option verwendet und alle 18 Faktoren AR als X und die Antwort als Y hinzugefügt. Screenshot der Ergebnisse unten:
Ich habe erwartet, dass insbesondere A, M und D eine Wirkung haben würden, aber ich fände es ziemlich überraschend, wenn F und K erhebliche Auswirkungen hätten. Deshalb dachte ich, ich würde hier nachsehen, ob ich diese Ergebnisse richtig interpretiere. Ich bin besonders verwirrt darüber, dass JMP im Rahmen der zweistufigen Überprüfung „Null“-Begriffe hinzufügt. Diese Seite In der Dokumentation wird die Begründung beschrieben:
Der Prozess wird fortgesetzt bis N Effekte werden erzielt, wo N ist die Anzahl der Zeilen in der Datentabelle und sättigt somit das Modell vollständig. Wenn eine vollständige Sättigung mit den Faktoren nicht möglich ist, generiert JMP zufällige orthogonalisierte Effekte, um den Rest der Variation zu absorbieren. Sie sind beschriftet Null n Wo N ist eine Zahl. Diese Situation tritt beispielsweise auf, wenn der Entwurf exakte Replikatzeilen enthält.
Ich habe zwar replizierte Zeilen im Design, aber wenn ich mir das Diagramm oben ansehe, kommt es mir so vor, als ob die Faktoren A und M von den anderen Faktoren getrennt sind und dass andere Faktoren als A und M nur aufgrund der Nullterme signifikant erscheinen hinzugefügt.
Warum sollte ich diese Ergebnisse in Frage stellen, abgesehen davon, dass es überraschend wäre, wenn bestimmte Faktoren Auswirkungen hätten? Aus der JMP-Dokumentation: „Die Analyse von Screening-Designs hängt vom Prinzip ab Sparsamkeit bewirken , wobei der größte Teil der Variation in der Reaktion durch eine kleine Anzahl von Effekten erklärt wird.“ Ich frage mich, ob das hier kaputt geht, ob so viele Faktoren als bedeutsam hervortreten?
Vielen Dank im Voraus für jede Hilfe.
Ich verwende JMP Pro 17.0.0
VersuchsplanungWindowsBetreff: Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Hallo @noahsprent ,
Drei Prinzipien leiten die Konstruktion und Analyse für die (modellbasierte) Versuchsplanung:
- Effekt Sparsity : Das Prinzip der Effektsparsität bezieht sich eigentlich auf die Idee, dass nur wenige Effekte in einem faktoriellen Design statistisch signifikant sind. Die meisten Variationen in der Reaktion lassen sich durch eine kleine Anzahl von Effekten erklären. Daher ist es am wahrscheinlichsten, dass Haupteffekte und Zwei-Faktor-Wechselwirkungen die wichtigsten Reaktionen in einem faktoriellen Design sind. Es wird auch Pareto-Prinzip genannt.
- Wirkungshierarchie : Das Hierarchieprinzip besagt, dass je höher der Grad der Interaktion ist, desto unwahrscheinlicher ist es, dass die Interaktion die Variation in der Antwort erklärt. Daher können Haupteffekte mehr Variation erklären als Wechselwirkungen zwischen zwei Faktoren, 2FIs erklären mehr Variation als 3FIs, … daher sollte der Schätzung von Effekten niedrigerer Ordnung Vorrang eingeräumt werden.
- Wirkung Vererbung : Ähnlich wie bei der genetischen Vererbung postuliert das Wirkungsvererbungsprinzip, dass Interaktionsterme nur dann berücksichtigt werden dürfen, wenn die der Interaktion vorausgehenden geordneten Terme signifikant sind. Für dieses Prinzip gibt es zwei mögliche Implementierungen: stark oder schwach Vererbung. Starke Vererbung impliziert, dass ein Interaktionsterm nur dann in das Modell aufgenommen werden kann, wenn beide entsprechenden Haupteffekte vorhanden sind. Schwache Vererbung impliziert, dass ein Interaktionsterm in das Modell einbezogen wird, wenn mindestens einer der entsprechenden Haupteffekte vorhanden ist.
In einem Screening-Design wie Beim Design von Plackett & Burman werden zwei dieser Prinzipien stark betont: Effektsparsität und Effekthierarchie, da Sie nur Haupteffekte aus einer sehr großen Anzahl möglicher Effekte im Modell untersuchen.
Mit 18 Faktoren können Sie in Ihrem Modell 1 Schnittpunkt, 18 Haupteffekte, 153 mögliche 2-Faktoren-Wechselwirkungen, 816 mögliche 3-Faktoren-Wechselwirkungen usw. haben. Daher müssen Sie möglicherweise sehr viele Auswirkungen abschätzen und nur sehr wenige Ressourcen zur Verfügung haben, sodass Sie Ihre Bemühungen auf die vielversprechendsten/bedeutendsten Auswirkungen konzentrieren müssen.
Das Plackett & Burman-Design ist ein Screening-Design, das Ihnen hilft, die aufschlussreichsten Experimente basierend auf den oben genannten Wirkungsprinzipien zu nutzen.
Wenn ich die von Ihnen durchgeführte Analyse wiederhole, erhalte ich ähnliche Ergebnisse mit unterschiedlichen Methoden (siehe Datei im Anhang):
Allerdings würde ich zu diesem Zeitpunkt keine 2-Faktor-Wechselwirkungen wie A*M in das Modell einfügen, da dieser Begriff mit Haupteffekten verknüpft ist, die bereits während der Entwurfserstellung Teil des Modells sind:
In dieser Phase würde ich in Betracht ziehen, nur signifikante Haupteffekte im Modell zu verwenden und eine Designerweiterung durchzuführen, wenn Sie relevante und signifikante Zwei-Faktor-Wechselwirkungen identifizieren möchten.
Ich hoffe, diese (lange) Antwort kann Ihnen helfen,
Betreff: Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Um ein Missverständnis aufzuklären, das von geäußert wurde @Victor_G , der Interaktionsterm A*M ist nicht mit Haupteffekten verknüpft. Ein Alias wäre mit einem anderen Begriff im Modell identisch. Aliase werden auch als „verwirrt“ bezeichnet.
Aliase treten auf, wenn zwei Effekte perfekt korrelieren. Dies ist hier nicht der Fall. Die Eingabe von Aliasen in dasselbe Modell führt zu einer „Singularität“. A*M kann zusammen mit den anderen Termen geschätzt werden. A*M korreliert mit anderen Termen, seine Schätzung würde jedoch eine erhöhte Varianz und damit längere Konfidenzintervalle und eine geringere Trennschärfe aufweisen.
Betreff: Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Hoppla, ich habe vielleicht etwas zu schnell geantwortet, ohne meine Antwort zu überprüfen. Danke, dass Sie den Fehler bemerkt haben @Mark_Bailey !Betreff: Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Zuerst habe ich eine Frage: Was meinst du mit „ Zeilen im Design replizieren“?Handelt es sich hierbei tatsächlich um Wiederholungen (unabhängig und zufällig durchgeführt) oder handelt es sich um Wiederholungen (mehrere Datenpunkte für dieselbe Behandlung, die bei konstanter Behandlungskombination erfasst wurden)?
PB-Designs sollen Screening-Designs für Haupteffekte sein (im Wesentlichen geht man davon aus, dass Effekte höherer Ordnung vernachlässigbar sind).Bei einem gesättigten PB-Design wäre jedem DF ein Haupteffekt zugewiesen (z. B. hätten 20 PB-Durchläufe 19 Faktoren).Das Confounding in einem PB ist partiell und sehr komplex.Sie sind nicht unbedingt für sequentielle Iterationen gedacht, sondern dienen dazu, unbedeutende Faktoren effizient herauszufiltern.YMMV
Die Analyse der Ergebnisse mithilfe von Normal/Halbnormal-Diagrammen (erstmals von Daniel eingeführt) bezog sich auf nicht wiederholte Experimente.Es ist eine großartige Möglichkeit, nicht replizierte Designs zu analysieren, da es keine voreingenommene MSE für statistische Signifikanz gibt.Damit normale Diagramme funktionieren, muss das Modell gesättigt sein (jeder zugewiesene DF). Da es sich möglicherweise um randomisierte Replikate handelt, ist es unmöglich, die DFs zuzuweisen, daher weist JMP die Nullen als Platzhalter für diese DFs zu.Sie könnten sich ANOVA ansehen, da Sie möglicherweise über unvoreingenommene Schätzungen des MSE verfügen.
Betreff: Sind die Ergebnisse des zweistufigen Fit-Screenings mit einem Plackett-Burman-Verfahren gültig, das möglicherweise die Effektsparzität verletzt?Verehrte Gäste,
Zunächst einmal vielen Dank für Ihre Antworten und bitte um Entschuldigung für meine verspätete Antwort. Ich wollte versuchen, einige der von Ihnen erwähnten Konzepte besser zu verstehen, bevor ich antwortete, und musste dann eine andere Aufgabe priorisieren. Ich habe mir die Papiere von Lenth und Daniels angesehen und dann die spätere Arbeit von Larntz und Whitcomb, die dies auf Designs mit einigen Nachbildungen ausgeweitet hat. Verzeihen Sie mir, mein Hintergrund liegt nicht in der Statistik! So wie ich es verstehe:
- Es ist nützlich, ein Halbnormaldiagramm zu zeichnen und die Lenth-Methode zu verwenden, um zu bestimmen, welche Faktoren einen signifikanten Einfluss auf gesättigte Designs wie PB haben. Dies basiert auf dem Prinzip der Effektsparzität: Da nur wenige Faktoren einen Effekt haben, sind diejenigen, die einen Effekt haben, Ausreißer in einem Wahrscheinlichkeitsdiagramm. Die Methode von Lenth macht diese visuelle Inspektion quantitativer.
- Larntz und Whitcomb schlugen vor, dass wir im Fall von Replikaten diese „Null“-Terme hinzufügen können, um die zusätzlichen Informationen zu berücksichtigen, die diese liefern, und das ist es, was JMP tut, um das Modell zu sättigen und den Normalwert darzustellen Handlung.
- Da ich viel mehr Replikate habe als nur ein paar Mittelpunkte (um zu antworten @statman 's Frage: Soweit ich Ihre Definitionen verstehe, wären dies echte Replikate; Ich habe den ursprünglichen Entwurf dupliziert, die Laufreihenfolge randomisiert und alle 40 Läufe während des Experiments unabhängig behandelt. Ich sollte über genügend Informationen verfügen, um sie mithilfe der ANOVA/linearen Regression zu analysieren, anstatt auf Diagrammen und der Lenth-Methode zu antworten.
Deshalb habe ich in JMP „Modell anpassen“ verwendet, wobei nur die Haupteffekte enthalten waren @Victor_G darauf hingewiesen (glaube ich @Mark_Bailey sagt, dass das Design es mir vielleicht ermöglichen würde, Wechselwirkungen zu untersuchen, aber dass ich aufgrund von Korrelationen eine geringere Leistung hätte. Zu diesem Zeitpunkt interessiere ich mich jedoch nicht wirklich über die Haupteffekte hinaus. Ich habe gesehen, dass die Residuen im Diagramm „Residuum nach Vorhersage“ leicht heteroskedastisch aussahen (die physikalischen Eigenschaften des Systems, das ich untersuche, würden dies unterstützen, ich würde erwarten, dass die Varianz ein Anteil der Antwort ist und nicht eine konstante Varianz). für alle Antworten), also habe ich die Antwort log10-transformiert und „Modell anpassen“ erneut ausgeführt und die folgende ANOVA-Tabelle erhalten:
(Berichte für beide „Fit-Modelle“ beigefügt)
Dies scheint einigermaßen gut mit den Ergebnissen der Plattform „Fit 2-Level Screening“ übereinzustimmen.
Als @statman Es wurde darauf hingewiesen, dass PB ein Screening-Design ist und dazu verwendet werden sollte, Faktoren zu identifizieren, die nicht signifikant sind, damit sie in zukünftigen Interaktionen entfernt werden können. In meinem Fall scheinen die meisten meiner Faktoren tatsächlich einen Effekt gehabt zu haben und weitere Untersuchungen zu rechtfertigen, vorausgesetzt, dass die Größe des Effekts eine reale und nicht nur statistische Bedeutung hat.
Scheint Ihnen allen ein vernünftiger Ansatz zu sein? Nochmals vielen Dank für Ihre Hilfe.
Beste Wünsche,
Noah
EDIT: Ich sollte hinzufügen, dass ich ANOVA/lineare Regression zunächst in Betracht gezogen habe, aber Bedenken hinsichtlich der Überanpassung an die Anzahl der Faktoren hatte, die ich habe, und dachte, dass die Screening-Plattform damit möglicherweise besser umgehen kann. Ich bin mir nicht sicher, ob das eine falsche Annahme war!
