Analyse eines kundenspezifischen Designs mit BlöckenMithilfe des benutzerdefinierten Designers wurde ein DOE mit 36 Durchläufen für 7 Faktoren erstellt: 5 kontinuierliche und 2 kategoriale. Jeden Tag werden 4 Läufe durchgeführt, sodass der Eingabeparameterliste ein Blockierungsfaktor mit 9 Blöcken hinzugefügt wird. Die DOE-Auswertung zeigt eine gute Parameterleistung, eine akzeptable niedrige Korrelation zwischen den Faktoren und die Blöcke, die nahezu orthogonal zu den Faktoren sind. Die Analyse der Ergebnisse durch Anpassen einer Antwortoberfläche kann auf verschiedene Arten erfolgen; Welcher der folgenden Punkte ist richtig/empfohlen? Ich betrachte Block als einen zufälligen Effekt.
1. Block in Zufallseffekt umwandeln und Standard-Kleinste-Quadrate + REML verwenden: nach dem Entfernen nicht wirksamer f-Parameter -> 17 aktive Effekte, viele Interaktionen und quadratische Effekte: R² = 0,97 R²adj = 0,94 AICc = 327 Das sieht so aus Passt zu mir...? Allerdings liegt R²adjusted immer noch nahe an R²...
2. Schrittweise & Block = fester Effekt (schrittweise akzeptiert keine zufälligen Effekte?): 10 feste Effekte: 3 feste Blockeffekte und 7 Parameter -> 5 Haupteffekte, 1 Interaktion und 1 quadratischer Effekt. Wenn ich den Block als Zufallseffekt betrachte, habe ich vor der Erstellung des Modells die 3 festen Blockeffekte in 3 Zufallseffekte umgewandelt. Ist das richtig? Bei der Erstellung des REML-Modells erhalte ich R² = 0,90 R²adj = 0,87 AICc = 256
Die beiden Modelle unterscheiden sich deutlich! Ich würde das zweite Modell mit geringeren #Effekten & AICc und immer noch R² = 0,9 bevorzugen. Es gibt zu wenige Durchläufe, um einen Testsatz zu erstellen. Was ist also Ihre Meinung?
Anmerkung: Im zweiten, schrittweisen Verfahren kann ich stattdessen oder durch Zuweisen der 3 festen Blockeffekte als 3 zufällige Effekte auch ein REML-Modell erstellen, indem ich den 9-Level-Block als einen zufälligen Effekt aufnehme. Ist das der richtige Weg?
Danke für den Input! Frank
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenDie Screening-Plattform ist für zweistufige Faktoren . Es modelliert alle Faktoren mit mehr als zwei Ebenen (z. B. 9 Blöcken) als Potenzen fester Effekte, in diesem Fall bis zur 8. Potenz, und nicht als zufällige Effekte. In diesem Fall sollten Sie die Screening-Plattform nicht nutzen.
Außerdem dient diese einfache Plattform dem Screening von Faktoren, nicht von Effekten. Es ignoriert Ihr angegebenes Modell, um Kontraste basierend auf den Schlüsselprinzipien der Rasterung zu erstellen.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenVielen Dank, Cameron, für diesen nützlichen Kommentar. Ich werde mir diese mehr oder weniger vergessene DOE-Screening-Analyseplattform ansehen. Ich stimme zu, dass der Ansatz mit festen Blöcken viele Freiheitsgrade verbraucht. Andererseits wird dadurch sichergestellt, dass letztendlich nur starke Effekte herausgefiltert werden, sodass ich mit meinem Modell mit niedrigerem, aber stärkerem Effekt R² = 0,9 zufrieden bin. Ich habe die umständliche Standard-Rückwärtsauswahl der kleinsten Quadrate ausprobiert und manchmal ist es schwierig zu beurteilen, wann ein Effekt entfernt werden soll oder nicht. Würden Sie einen Interaktionseffekt mit p = 0,075 ablehnen? Mit der Rückwärtsauswahl finde ich fast jedes Mal ein anderes Modell. Die Beurteilung von p ist entscheidend!! Ich bevorzuge einen festen/stufenweisen Effekt und tatsächlich muss der Block beim Erstellen des endgültigen Modells in einen zufälligen Effekt umgewandelt werden. Grüße, Frank
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenOK, danke für die Eingaben. Schade, dass Stewise keine zufälligen Effekte bewältigen kann, wäre großartig; Eine Rückwärtsanalyse ist umständlich, wenn viele Faktoren beteiligt sind. Ist das AICc-Kriterium für die Beurteilung der Modelle nicht geeignet? Das erste Modell hat 17 signifikante Effekte, R² = 0,98, aber AICc ist viel höher als das zweite, niedrigere #Effektmodell mit R² = 0,9?
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenLetztendlich können Sie erst dann feststellen, ob Sie überfit sind, wenn Sie einige Bestätigungsläufe durchführen. Sie haben wirklich ein Screening-Design, daher würde ich mir zu diesem Zeitpunkt keine allzu großen Sorgen über eine Überanpassung machen, solange ein guter Teil der Modellbegriffe wegfällt. Ich erwarte auch noch nicht, in Ihrem Designbereich genaue Vorhersagen zu treffen.
Hier gibt es keinen falschen oder richtigen Weg. Wenn Sie schrittweise vorgehen, müssen Sie Blöcke ja als behoben behandeln. Dadurch werden viele Freiheitsgrade verschwendet, wodurch alle Effekttests weniger aussagekräftig werden. Sie sollten nur ganze Effekte erzwingen können, damit einige Begriffe für einzelne Blöcke nicht wegfallen.
Nachdem Sie schrittweise ein Modell ausgewählt haben, sollten Sie den Block manuell wieder in a ändern
ein zufälliger Effekt in einer regulären Anpassung der kleinsten Quadrate mit REML.
Stepwise wird heutzutage meist zugunsten von Methoden mit Regularisierung verachtet. Im Basis-JMP gibt es das nicht, daher ist die schrittweise Vorgehensweise die einzige Lösung für die automatisierte Modellauswahl.
Normalerweise führe ich die Modellauswahl manuell durch. Es gibt auch die Screening-Plattform für Screening-Designanalysen. Ich habe es seit ein paar Jahren nicht mehr benutzt, aber es ist einen Blick wert.Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenDiese Antwort wurde versehentlich doppelt erstellt. Gelöschter InhaltBetreff: Analyse eines benutzerdefinierten Designs mit BlöckenIch habe darauf hingewiesen, dass Sie bei der Verwendung von Custom Design kein Modell einschließlich der Interaktionen angegeben haben. Warum habe ich das erwähnt? Weil ich mich gefragt habe, wie gut das Experiment zur Schätzung der Wechselwirkungen geeignet ist, die Sie in Ihre Modelle einbauen. Ich habe mich gefragt, ob dies zu Ihrer Herausforderung beiträgt, das beste Modell zu finden.
Sie sagen, dass das Design eine gute Leistung und Korrelation für diese Effekte aufweist. Machen Sie sich in diesem Fall darüber keine Sorgen.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenZitat von George Box: „Alle Modelle sind falsch.“ Einige sind nützlich. Wählen Sie diejenige aus, die Sie nützlich finden, aber denken Sie nicht, dass sie „die Wahrheit“ ist. Ein weiteres Zitat von Box: „Verliebe dich nie in ein Model.“
Also der knallharte Traditionalismus-Ansatz:
Der Entwurf, der gebaut wird, hängt vom zu schätzenden Modell ab. Wenn Sie das Modell wechseln, verfügen Sie möglicherweise nicht mehr über das beste Design. Sie haben einen zufälligen Block. Sie haben das Design als zufälligen Block erstellt. Ihre Analyse sollte einen Zufallsblock haben.
Der nicht-traditionelle Ansatz:
Sie könnten sicherlich Ihren schrittweisen Ansatz verwenden, aber seien Sie sich darüber im Klaren, dass Sie Ihren Fehlerterm ändern, indem Sie den Zufallseffekt als behoben behandeln. Daher verwendet das Modell, das schrittweise erstellt wird, nicht denselben Fehlerterm wie Ihre erste Analyse. Wenn Sie den richtigen Fehlerbegriff verwenden könnten, erhalten Sie möglicherweise andere ausgewählte Modellbegriffe. Das Design wurde nicht für diese Analyse erstellt. Warum hätten Sie es also versuchen sollen?
Abschließend möchten wir Ihnen bei der Beantwortung Ihrer Frage helfen, welches Modell das beste ist:
Letztendlich haben Sie zwei konkurrierende Modelle. Wie vergleichen sich ihre vorhergesagten Werte? Gibt es Bereiche des Designraums, die Ihnen drastisch unterschiedliche Vorhersagen liefern? Wie bei allen Modellen eines DOE müssen Sie es überprüfen. Wählen Sie einige Bedingungen zum Testen aus. Versuchen Sie, Standorte einzubeziehen, an denen sich die Modelle erheblich unterscheiden. Führen Sie diese Tests durch. Welches Modell schneidet besser ab? Letztendlich entscheiden SIE, welches Modell das beste ist. Ich würde diese Entscheidung auf der Grundlage der realen Leistung treffen.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenHallo Frank, es tut mir leid, dass Sie die Antworten nicht hilfreich fanden. Wir versuchen zu helfen! Leider gibt es nichts, was mehr Verwirrung stiftet als feste versus zufällige Effekte!
Dennoch denke ich, dass Sie Ihre eigene Frage bereits beantwortet haben.
„In dem Buch Optimal Design von Goos und Jones wird empfohlen, die durch die täglichen Blöcke erzeugten zufälligen Variationen zu extrahieren, indem man sie als zufällige Effekte zuordnet und REML verwendet, was ich auch getan habe.“ Mark und ich sind uns einig, dass dies die richtige Analyse dafür ist. Aber die Antwort, die Sie erhalten, scheint Ihnen nicht zu gefallen.
Wir sind uns alle einig, dass die Verwendung von schrittweisen und blockweisen Effekten als feste Effekte in diesem Fall nicht angemessen ist: „Beim schrittweisen Einsatz muss ich alle Faktoren fest analysieren – was falsch ist, weil Block ein Zufallseffekt ist.“Aber Sie bevorzugen die Antwort, die es Ihnen gibt.
„Welches Modell ist jetzt die beste Vermutung? Wie zu überprüfen?"Sie können entscheiden, welches Modell das „Beste“ ist. Es hängt davon ab, was „am besten“ für Sie bedeutet.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenTut mir leid, aber die obigen Kommentare verwirren mich. Ich verstehe es nicht und habe immer noch keine Antwort auf meine Frage.
Ich habe ein schönes 36-Run-blockiertes DOE mit 9 4-Run-zufälligen Blöcken erstellt. Wenn ich mir die Farbkarte mit Haupt-, Interaktions- und Potenzeffekten ansehe, ist alles fast blau, was darauf hindeutet, dass keine oder nur eine geringe Korrelation zwischen quadratischen und Interaktionseffekten besteht. Die Leistungsberechnungen sind auch in Ordnung, also sieht das für mich nach einem schönen DOE aus? Die Frage ist nur, wie man analysiert? In dem Buch „Optimal Design“ von Goos und Jones wird empfohlen, die durch die täglichen Blöcke erzeugten zufälligen Variationen zu extrahieren, indem man sie als zufällige Effekte zuordnet und REML verwendet, wie ich es getan habe. Allerdings erhalte ich mit der Standardmethode der kleinsten Quadrate und umgekehrt ein völlig anderes Modell (17 Effekte!) als mit der schrittweisen Methode (siehe oben). Aber! Bei der schrittweisen Verwendung muss ich alle festen Faktoren analysieren – was falsch ist, da Block ein zufälliger Effekt ist – und dann ein Modell erstellen, das Block als zufällig zuweist; Ich erhalte ein schönes Modell mit geringerem Effekt, das sich vom ersten mit R² = 0,9 unterscheidet, aber ist diese Art der Analyse des DOE in Ordnung, dh erster Block = fest und dann zufällig?? Welches Modell ist nun die beste Vermutung? Wie zu überprüfen?
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenIch sollte klarstellen, dass Sie im Rahmen der Erkundung verschiedener möglicher Modelle versuchen können, den Blockeffekt zu beseitigen. Persönlich würde ich mich wohler fühlen, wenn der Blockierungseffekt im endgültigen Modell vorhanden wäre, auch wenn er nicht als signifikant eingeschätzt wird.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenIch bin mit Phils Rat hinsichtlich der Wahl, den Blockierungseffekt als fest oder zufällig zu behandeln, nicht einverstanden. Es kommt darauf an. Es gibt viele Fälle, in denen eine Interpretation mit festem Effekt sinnvoll und gerechtfertigt ist. In Ihrem Fall stimme ich Ihnen und Phil zu, dass der Day-Effekt am besten als Zufallseffekt interpretiert werden kann.
Sie fügen einen Blockierungsfaktor hinzu, wenn Sie die Blockwirkung als fest behandeln möchten. Sie fügen keinen Blockierungsfaktor hinzu, wenn Sie den Blockierungseffekt als zufällig behandeln möchten. Sie wählen die Option „Gruppe läuft in zufällige Blöcke der Größe 4“ im Abschnitt „Designgenerierung“ von „Benutzerdefiniertes Design“ aus, anstatt einen Blockierungsfaktor hinzuzufügen.
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenDanke, Frank.
Das in „Custom Design“ spezifizierte Modell hatte also nur die Haupteffekte und Quadrate? Die 2-Faktor-Wechselwirkungen waren nicht im Modell enthalten? In diesem Fall klingen 36 Läufe sinnvoller.
Sie haben Recht, dass Zufallseffekte weder in Stepwise noch in der Gen Reg-Plattform unterstützt werden (vielleicht möchten Sie dies in hinzufügen). Wunschzettel ). Die wahrscheinlich beste Methode besteht darin, das REML-Modell mit dem Block-Zufallseffekt und allen anderen Effekten anzupassen und eine „manuelle“ schrittweise Rückwärtsregression aus der Effektzusammenfassung durchzuführen. Es hört sich so an, als hätten Sie dies möglicherweise bereits getan.
Eine zu berücksichtigende Sache ist, wie groß der Blockeffekt im Verhältnis zum Restfehler ist – sehen Sie sich die Schätzungen der REML-Varianzkomponenten im Anpassungsmodellbericht an. Wenn die untere und obere Grenze der Varianzschätzung von 95 % 0 einschließt, möchten Sie möglicherweise den Blockeffekt ganz entfernen. Anschließend können Sie wie gewohnt schrittweise vorgehen.
Es hört sich so an, als hätten Sie auch versucht, einen Modus mit signifikanten Interaktionen anzupassen, obwohl Sie diese im Modell in „Custom Design“ nicht angegeben haben. Es wird also davon abhängen, wie gut das Experiment zur Abschätzung dieser Effekte geeignet ist.
Phil
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenHallo Phil, es war ziemlich einfach, ein benutzerdefiniertes DOE mit 9 Blöcken und 7 Faktoren und 36 Läufen zu erstellen. Modellbegriffe sind Haupt- und Potenzbegriffe, Aliasbegriffe sind Zweitinteraktionen.
Wenn ich versuche, eine Antwortoberfläche durch schrittweises Auswählen anzupassen, erhalte ich die JMP-Warnung „Zufällige Effekte werden durch schrittweises Auswählen nicht unterstützt“?? Ich muss also zuerst eine schrittweise Analyse fester Blöcke durchführen und dann ein Modell mit Zufallsblöcken erstellen. Ist das ein gerechtfertigter Weg?
Betreff: Analyse eines benutzerdefinierten Designs mit BlöckenHallo Frank,
Eine Diskussion zu zufälligen und festen Effekten für blockierte Experimente finden Sie in Goos & Jones, Optimal Design of Experiments. Da ist ein kostenloser Kapitel-Download verfügbar, das sich mit dem Thema eines blockierten RSM beschäftigt. Es gibt ein weiteres Kapitel in dem Buch über ein blockiertes Screening-Design, das ebenfalls relevant ist.
Ich glaube nicht, dass es eine einfache Antwort auf Ihre Frage gibt. Ich würde jedoch sagen, dass man sich darin einig ist, dass die Schätzung von Blöcken als zufällige Effekte „statistisch korrekter“ ist. Wenn Sie mit „Benutzerdefiniertes Design“ ein Blockdesign erstellen, sollte ein Dialogfeld „Modell anpassen“ mit dem Blockeffekt als Randon-Effekt und REML-Anpassung angezeigt werden.
In Ihrem Ansatz Nr. 2 macht es für mich keinen Sinn, die drei festen Blockeffekte, die Sie als signifikant eingestuft haben, zu nehmen und sie dann in zufällige Effekte umzuwandeln. Sie sollten, wie Sie sagen, den 9-Level-Block als einen einzelnen Zufallseffekt betrachten.
36 Läufe für einen blockierten RSM mit 7 Faktoren scheinen eine ziemlich kleine Anzahl an Läufen zu sein. Ich bin mir nicht sicher, wie Sie das in Custom Design entworfen haben. Ich denke, das würde auf mehr Rus hindeuten.
Grüße,
Phil
