Vergleicht man: Warum sind D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo,
Ich arbeite an Custom DoE (JMP16). Ich habe 4 Faktoren (1 kontinuierliche und 3 diskrete Zahlen, mit Einschränkungen). Ich habe 1 Antwort. Ich weiß, dass diese 4 Faktoren wichtig sind und Wechselwirkungen haben. Mein Ziel ist es, die Reaktion zu optimieren, um die optimalen Faktorniveaus zu finden die zu höchstmöglicher Effizienz führen. Ich habe alle quadratischen und Wechselwirkungseffekte eingeschlossen.
Ich verwende die I-Optimalität, da dies kein Screening-Design ist.
- Das erste Design (v5) hat keine Replikate. Es hat insgesamt 18 Läufe.
- Das zweite Design (v6) hat Duplikate. Es hat insgesamt 36 Läufe (ich habe es erweitert).
- Das dritte Design (v7) hat dreifach. Es hat insgesamt 54 Läufe (ich habe es erweitert).
Für dieses Experiment, das ich vorhabe, ist es für mich einfacher, Duplikate oder Triplikate (mit den gleichen Bedingungen) einmal im Labor hinzuzufügen. Deshalb macht es mir nichts aus, wenn ich mehr Läufe habe, solange diese die gleichen Bedingungen haben (Duplikate oder Dreifachläufe), weil ich sie alle zusammen laufen lassen kann, solange es sich um Wiederholungen der gleichen anfänglichen 18 Läufe handelt.
[Wenn ich stattdessen einfach die Funktion „Replikatläufe hinzufügen“ verwenden sollte, fügt JMP viel zu viele weitere Läufe mit zu vielen unterschiedlichen Bedingungen hinzu, um sie zu testen (Ressourcenbeschränkung). Wenn Sie beispielsweise nur 4 Wiederholungsläufe hinzufügen, generiert JMP ein Design mit einer Standardgesamtzahl von Läufen = 27, was zu viele verschiedene Bedingungen zum Testen sind ... Deshalb Ich beschloss, mein gesamtes Design zu replizieren, anstatt die Augment-Funktion zu verwenden .]
- Ich vergleiche die Designs v5, v6 und v7 (im Anhang). Mein Diagramm „Anteil des Designbereichs“ ist jedoch leer. Warum ist es leer? oder sind die Daten so klein, dass ich sie nicht sehen kann?
- Die "Power Analysis" und "Power Plot" sehen für v6 und v7 ziemlich gut aus. Aber ich bin sowieso daran interessiert, die Reaktion zu optimieren (nicht in den Haupteffekten).
- Die D/G/A/I-Effizienzen sind jedoch schrecklich SCHLECHT und alle sind gleich. Sind diese alle gleich, weil Design v6 ein Duplikat von Design v5 ist und Design v7 ein Triplikat von Design v5 ist? und warum sind diese Werte so niedrig (0,5 und 0,3)?Sind meine Entwürfe schlecht?
Ich habe versucht, das nachzuschlagen, aber alles, was ich im DOE-Leitfaden gefunden habe, ist:
„Relative Effizienzwerte, die größer als 1 sind, weisen darauf hin, dass das Referenzdesign für die gegebene Maßnahme vorzuziehen ist. Werte kleiner als 1 zeigen an, dass das verglichene Design dem Referenzdesign vorzuziehen ist. Das 16-Durchlauf-Design hat in allen Metriken eine geringere Effizienz als die beiden anderen Designs, was darauf hinweist, dass die größeren Designs vorzuziehen sind."
Aber das hat mir nicht viel geholfen.
Vielen Dank im Voraus!!
DAMHIRSCHKUHMac OSRe: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Gern geschehen ! Ich freue mich zu lesen, dass Sie sich mit diesem Design wohl fühlen und es im Labor ausprobieren werden.
Bitte senden Sie einige Neuigkeiten darüber, wie es funktioniert hat, und wenn Sie irgendwelche Probleme oder Fragen haben, ist die JMP Community hier! 
Dir auch ein schönes Wochenende @ADouyon !Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Vielen Dank, @Victor_G , für Ihre unschätzbare Hilfe bei der Verfeinerung dieses Designs! Ich schätze es aufrichtig!!!
Ich fühle mich jetzt wohler und sicherer beim Testen dieses Designs im Labor 
Vielen Dank für all Ihre super hilfreichen Erläuterungen und dafür, dass Sie immer so schnell geantwortet haben!
Habe ein schönes Wochenende, @Victor_G !!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Großartig, ich denke, es ist sinnvoller, sich zuerst über die Haupteffekte und Wechselwirkungen zu vergewissern und dann das Design zu erweitern, um die Varianzvorhersage zu optimieren.
1- Wenn Sie Ihre Experimente in Stapeln von 12 Läufen ausführen können, ist es sicherer und wird empfohlen, die Blockierung zu verwenden. In Ihrem Fall scheint ein zufälliger Block wie Sie eine gute Wahl zu sein, da Sie nicht besonders daran interessiert sind, den Unterschied zwischen den beiden Läufen zu kennen, sondern mehr an der Variabilität in den beiden Läufen.
2- Das Problem mit der „Augment Design“-Plattform ist, dass Sie wahrscheinlich Ihre zufällige Blockierung verlieren werden (denn selbst wenn Sie sie vor dem Start der Plattform in die Faktoren einfügen, wird sie danach nicht berücksichtigt, und Sie werden nur Zugriff auf die Option „Erweitern“ haben, nicht auf die Option „Replizieren“). Zwei Optionen, um Ihr Design zu erweitern und zu replizieren:
- Sie kopieren einfach Ihre ersten 24 Zeilen, fügen sie danach ein und ändern die zufälligen Blockebenen (1 wird 3, 2 wird 4).
- Sie generieren direkt ein Design mit 48 Läufen, indem Sie in der Designgenerierung angeben, dass Sie 24 Wiederholungsläufe pro Gruppe von 12 Experimenten wünschen. Am Ende erhalten Sie das Design tv8 (im Anhang) und von dort aus können Sie die 48 Experimente dieses Designs direkt ausführen, wenn Sie über genügend Budget für Experimente verfügen.
Die beiden Ansätze sind ähnlich, auch wenn der zweite (tv8 im Vergleich zu augmented tv7 per Copy/Paste) effizienter ist (bessere Aufteilung der experimentellen Läufe in die verschiedenen Blöcke, siehe Screenshots).
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Danke @Mark_Bailey für die erklärung!!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @Victor_G , vielen Dank für die Klarstellung und schnelle Antwort, wie immer!!
Ich habe mein Design jetzt aufpoliert, um alle 4 Faktoren einzubeziehen ( nicht X4 ignorieren, da der Effekt dieses Faktors noch völlig unbekannt ist) und alle Wechselwirkungen mit Schätzbarkeit auf 'notwendig' gesetzt, sowie den quadratischen Effekt meiner Zeitvariable (X3) ebenfalls auf 'notwendig' gesetzt. Ich habe die anderen quadratischen Effekte der anderen 3 Variablen (X1, X2, X3) beibehalten, wobei die Schätzbarkeit auf „wenn möglich“ eingestellt war, da ich annehme, dass es eine Krümmung geben wird, daher möchte ich das Design in Zukunft erweitern.
[Ich erwarte signifikante Effekte von den Wechselwirkungstermen mit den meisten Faktoren, außer Wechselwirkungen mit der Variablen X4, über die ich keine Informationen im Voraus habe. Aus diesem Grund habe ich alle Interaktionen zur Schätzbarkeit in diesem ausgefeilten Design auf „notwendig“ gesetzt].
In meinem vorherigen Design, "i_tv5_Iopt_changedEst_remov2_24runs" , ich hatte die Begriffe 'X1*X1' und 'X2*X4' entfernt, aber da ich keine Beweise dafür habe, dass diese nicht signifikant sind , (und basierend auf den verschiedenen Klarstellungen, bei denen Sie mir geholfen haben) Ich beschloss, sie im neuen polierten Design zu belassen ('X1*X1' mit auf 'wenn möglich' gesetzter Schätzbarkeit und 'X2*X4' auf 'notwendig' gesetzt).
Das polierte Design mit dem Namen "tv6_Dopt_24rns_QTermsIfPoss_ExceptX3X3_110322" ist beigefügt.
Die Varianz scheint jetzt zugenommen zu haben, aber nach dem, was Sie mir erklärt haben, verstehe ich, dass dies in Ordnung ist, da ich plane, dieses Design in Zukunft zu erweitern.
Jetzt habe ich mich gefragt, wie wichtig die Variable "Blockieren" ist?
Meine Experimente können in einem (Reaktions-)Container ausgeführt werden, der gezielt getestet werden kann bis zu 12 verschiedene Zustände (Behandlungen) gleichzeitig . Da dieses Design 24 verschiedene Behandlungen (24 Läufe) hat, muss ich zuerst 12 Behandlungen durchführen und dieses Experiment abschließen. Dann werde ich, sobald ich mit dieser ersten Charge von 12 Behandlungen fertig bin, ein weiteres Experiment mit den restlichen 12 Behandlungen durchführen. Soll ich dann die Variable "blocking" hinzufügen?
Ich habe versucht, diese "blockierende" Variable hinzuzufügen, indem ich die Zahl "12" eingab, wo es heißt "Gruppe läuft in zufällige Blöcke der Größe" (= 12) (Design angehängt, benannt "tv7_liketv6_withBlocking"). Ich habe bemerkt, dass dies meine Varianz leicht erhöht hat (siehe Screenshot, Farbe Orange für dieses tv7-Design.
1- Habe ich diesen Teil richtig gemacht? @Victor_G ?
2- Und da ich im Container Platz für Duplikate habe, kann ich jetzt auch das Design erweitern, um es zu duplizieren, richtig? Was mache ich mit der Variable "Random Block" beim Duplizieren des Designs? Siehe den 1. beigefügten Screenshot, sollte ich ihn auch in das Feld „X, Faktor“ einfügen?
Vielen Dank @Victor_G !!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Die Vorhersagevarianz ist eine hilfreiche Information, wenn zwei oder mehr Designs verglichen werden, wenn die Vorhersage das primäre Ziel dieses Experiments ist – je niedriger die Varianz, desto besser das Design.
Denken Sie daran, dass es keine Informationen über die Varianz der Antwort gibt, bevor die Daten gesammelt werden. Dieses Diagramm geht davon aus, dass diese Varianz 1 ist, was unwahrscheinlich ist. Das Diagramm geht auch vom linearen Modell und seinen Annahmen aus, einschließlich konstanter Varianz im gesamten Antwortbereich. Wenn Sie eine Schätzung der Antwortvariablen haben, multiplizieren Sie die Skala in diesem Diagramm mit Ihrer Schätzung, um die tatsächliche Vorhersagevarianz zu ermitteln. Die Quadratwurzel dieser Varianz ist der Standardfehler der Vorhersage.
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
- Sie haben Recht, da Sie dem Screening nur wenige Faktoren hinzufügen, habe ich Ihnen empfohlen, den quadratischen Effekt für die Zeit hinzuzufügen, da chemische oder biologische Prozesse im Laufe der Zeit selten linear abhängig sind. Daher ist es möglicherweise am besten, diesen quadratischen Term direkt im Modell zu haben . Und da Sie bei diesem Zeitfaktor (für Dezimalzahlen) "Einschränkungen" hatten, wählen Sie für diesen Faktor einen diskreten numerischen Typ mit 3 Stufen, der automatisch die quadratischen Terme im Modell mit der Schätzbarkeit "wenn möglich" hinzufügt, so sollten Sie sein Okay mit diesen Einstellungen.
- Diese Buckets sind nicht vollständig voneinander getrennt, es ist eher eine Hilfe und um Sie während Ihres DoE-Erstellungsprozesses zu führen, damit Sie selbst einschätzen können, in welchem Stadium Sie sich befinden. Abhängig von Ihrem experimentellen Budget kann es verlockend sein, nur ein großes DoE durchzuführen, aber es kann an Ressourcenmangel liegen, da die meisten Effekte wahrscheinlich nicht signifikant sind oder keinen großen Einfluss auf die Reaktion haben werden. Aus diesem Grund neige ich dazu, die Verwendung von DoE während einer Studie mit diesen 3 Schritten zu beschreiben: Screening, Optimierung und Vorhersage, da es hilft, herauszufinden, was Sie bereits über das System wissen und was Sie wissen möchten, um es besser zu verstehen und zu verstehen Ihr System vorhersagen. Ich habe in früheren DoE-Schulungen die Abbildung verwendet, die ich hier als Screenshot eingefügt habe. Aber wie Sie sagen, kann es je nach Situation etwas zu einfach aussehen, und alle Studien, die DoE verwenden, durchlaufen diese 3 Phasen nicht, da Vorkenntnisse, Domänenerfahrung oder historische Daten zu einem angemessenen Verständnis des Systems beitragen können.
In Ihrem Fall ist die Anzahl der Faktoren ziemlich gering, aber Sie sind sich über die Signifikanz einiger Effekte (X4 und Wechselwirkungen/quadratischer Effekt mit X4) nicht sicher. Ich würde also ein D-Optimalitätskriterium wählen, um Parameterschätzungen so genau wie möglich zu bewerten und die Möglichkeit zu haben, signifikante Effekte von nicht signifikanten zu trennen.
Ihr Design macht Sinn, und das DoE mit 24 Läufen ("i_tv5_Iopt_changedEst_remov2_24runs"), das vor der Replikation durchgeführt wird, scheint ein guter Kompromiss zwischen der Größe der Läufe und dem Screening von Effekten zu sein. Und aufgrund des Vorhandenseins von 5 wiederholten Läufen sollten Sie in der Lage sein, das Rauschen in Ihrer Reaktion und mangelnde Anpassung abzuschätzen.
Es ist möglicherweise noch kein Vorhersagemodell (abhängig von der gewünschten Genauigkeit), aber es ist ein erster guter Schritt, um zu beurteilen, welche Terme signifikant sind, und von dort aus können Sie das Design erweitern, um die Vorhersagegenauigkeit zu verbessern.
Ich hoffe, diese Antwort hilft Ihnen,
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Danke @Victor_G für die schnelle Antwort und für die klare Antwort!!
- Also, aber wenn einer meiner Faktoren Zeit ist, würden Sie dann die quadratischen Effekte/Terme direkt in diesem ersten „Proof of Concept“-Design hinzufügen oder würden Sie noch warten, um sie später (in der nächsten Iteration) beim Erweitern hinzuzufügen?
Ich erinnere mich, dass Sie mich in meinem allerersten Beitrag gewarnt haben, dass ich quadratische Effekte haben sollte, wenn ich einen Faktor habe, der Zeit ist und eine kontinuierliche Variable ist ( https://docs.google.com/presentation/d/1BOYJfa54Kt2MnH5TrSpSOOr6-GLIwlJKUhZPFK8gxXM/edit?usp=sharing ). Obwohl mein Zeitfaktor ein diskreter numerischer Faktor mit 3 Stufen ist (da ich keine Dezimalzahlen akzeptieren kann), macht das einen Unterschied?
- In JMP DOE scheinen wir die Dinge je nach Zweck wirklich in Eimer aufzuteilen; 1) Screening, 2) Optimierung, 3) Vorhersage.
Aber haben die Leute immer so eine klare Trennung in ihrer Arbeit / ihrem Design?
Mein Design hat 4 Faktoren, von denen ich sicher weiß, dass 3 einen signifikanten Haupteffekt haben. Es gibt nur 1 Faktor (X4), bei dem ich nicht sicher bin, ob er im Design sehr wichtig sein wird (ich vermute, er wird nicht so wichtig sein wie die anderen 3, aber ich habe keinen Beweis). Ich vermute, dass die Interaktionseffekte bei den meisten Interaktionsbedingungen signifikant sein werden (wahrscheinlich alle außer denen, die mit X4 interagieren, was wiederum meiner Meinung nach nicht so signifikant sein wird, aber ich habe keinen Beweis). [Und ich vermute, ich werde auch quadratische Effekte haben ...]
Daher scheint mein Design wie eine Mischung aus Screening (weil ich einen Faktor habe, von dem ich nichts weiß) + Optimierung (weil ich 3 Faktoren habe, von denen ich mir zu 99,999 % sicher bin, dass sie einen wirklich signifikanten Effekt haben). Wäre das sinnvoll? Könnten Sie dies klären @Victor_G da dies das zu Beginn gewählte Optimalitätskriterium beeinflusst (ich bin verwirrt, ob ich D- oder I-Optimalität wählen soll)?
Tausend Dank @Victor_G !!!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Ja, im Allgemeinen erstellen Sie nicht nur ein Design, sondern erweitern es mehrmals, wenn Ihr Wissen über den Prozess/das System/die Formulierung zunimmt.
Sie können damit beginnen, nur Haupteffekte zu screenen (abhängig von der Anzahl der Faktoren und der erforderlichen Anzahl von Läufen können Sie in dieser Phase direkt Interaktionsterme hinzufügen), dann Interaktionen, um das Wissen über das System zu optimieren, und dann quadratische Effekte, um eine robuste Vorhersage zu erstellen Modell.
Je nach Anzahl und Art der Faktoren gibt es möglicherweise bessere Alternativen: Beispielsweise können für eine große Anzahl von Faktoren (>5 und nur kontinuierliche oder zweistufige kategoriale Faktoren) Definitive Screening Designs (DSD) eine gute Wahl sein zum unvoreingenommenen Screening von Haupteffekten und haben die Möglichkeit, einige Wechselwirkungen und quadratische Terme zu erkennen.
Hoffe diese Antwort hilft dir weiter,
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Vielen Dank @Victor_G !! Das macht Sinn!
Ist es also im Allgemeinen eine gute Praxis, Interaktionsterme zuerst mit den Hauptfaktoren zu testen und später durch Hinzufügen quadratischer Terme zu erweitern? (Nur bestätigen, da Ihr Vorschlag diese Reihenfolge hat).
Vielen Dank @Victor_G !!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Es gibt keine „harte Regel“ oder „Grenzwert“, wie gering die (relative ?) Vorhersageabweichung sein sollte, da diese Anforderung je nach Thema, Domäne und Geschäftswert unterschiedlich sein kann. In einigen Bereichen und spezifischen Anwendungen (z. B. Pharmazie) gibt es Normen über die erforderliche Genauigkeit der Modelle, in anderen bleibt dieser Wert im Ermessen der Wissenschaftler / Experimentatoren. Es sollte ein Kompromiss zwischen einer angemessenen Genauigkeit gemäß dem möglichen experimentellen Budget und Einschränkungen des Design-/Experimentierraums gefunden werden.
Ich bin nicht überrascht von dem Vergleich und den Ergebnissen, die Sie zwischen den beiden Designs haben, da eine Erhöhung der Anzahl von Durchläufen die Vorhersagevarianz verringert (Sie haben mehr Freiheitsgrade und folglich eine bessere Schätzung von Fehlern/Rauschen und von Effekten ).
Wenn Sie sich in einer „Proof-of-Concept“-Phase befinden und nicht ganz sicher sind, welche Faktoren Sie in Ihr Modell und Design eingeben sollen, finde ich es ziemlich gefährlich, einen Faktor zu entfernen, wenn Sie nicht ganz sicher sind, dass dieser Faktor keinen Einfluss auf die Antwort hat (S).
Um sicher zu gehen, würde ich lieber mit einem Design beginnen, das eine höhere Vorhersagevarianz hat (aber mehr Faktoren bewertet werden), um sicherzugehen, dass kein Effekt verpasst wird. Sobald dieses Screening (auf Haupteffekte und Wechselwirkungen) abgeschlossen ist, können Sie Ihr Design jederzeit erweitern, um die Vorhersagevarianz zu verringern (Vorhersagemodell) und/oder neue Terme in das Modell eingeben (wie quadratische Effekte zur Optimierung des Modells).
Ihre Wahl hängt davon ab, in welcher Phase Sie sich für das Design befinden (Screening, Optimierung, Vorhersage?) und das Wissen, das Sie bereits über Ihren Prozess / Ihr Produkt / Ihre Formulierung / ... haben.
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @Victor_G !
Vielen Dank für deine Antwort, super hilfreich!!
Um dem nachzugehen, wie niedrig muss die Vorhersagevarianz sein? was wäre der abschaltwert?
Auf der JMP-Hilfeseite heißt es " Eine geringe Vorhersagevarianz ist erwünscht."
Ich bin zwischen zwei DOE-Designs, 'tv5' (24 Behandlungen, 48 Läufe, weil dupliziert) Und 'tv7' (12 Behandlungen, 24 Läufe, weil dupliziert) , beide angehängt. In Bezug auf die vorhergesagte Varianz hat das Design „tv5“ eine bessere (geringere) vorhergesagte Varianz.
Aber „tv5“ hat doppelt so viele Behandlungen wie „tv7“ (24 vs. 12), was bedeutet, dass ich die Experimente mit „design tv7“ viel schneller durchführen kann. Design 'tv7' hat nur 3 Faktoren; Ich habe 'X4' fallen gelassen, um zu versuchen, die Anzahl der erforderlichen Experimente zu reduzieren. Ich möchte, dass dieses erste Experiment nur ein Proof of Concept ist, um zu zeigen, was wir mit JMP erreichen können, daher bevorzuge ich nicht zu viele Behandlungen/Läufe in meinem ersten Design, aber ich mache mir Sorgen, dass die vorhergesagte Varianz zu groß ist hoch für tv7, oder?
Vielen Dank, @Victor_G !!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
In Bezug auf Ihre erste Frage zu Ihrer G-Effizienz, die niedriger als Ihre D-Effizienz ist, ist es ziemlich schwierig, verschiedene Effizienzmetriken nur für ein Design zu vergleichen. Denken Sie daran, dass Effizienzmetriken aggregierte Maße/Statistiken von Optimalitätskriterien sind, sodass sie beim Vergleich von Designs einen guten Überblick bieten können, aber nicht ausreichen, um eine Entscheidung zu treffen.
- Wenn Sie sich Sorgen um die Genauigkeit Ihrer vorhergesagten Antworten machen, ist das "Prognosevarianzprofil" meiner Meinung nach viel informativer, da Sie untersuchen und bestimmen können, in welchem Bereich Ihres experimentellen Raums Ihre Vorhersage der relativen Varianz am höchsten ist. In Ihrem neuesten Design haben Sie eine ziemlich hohe relative Varianzvorhersage, wenn X2 auf dem niedrigsten Niveau (1) und X4 auf dem höchsten Niveau (10) ist, was normal ist, da aufgrund der unzulässigen Kombinationen keine Punkte in diesem Bereich liegen (siehe Screenshot „Experimental-space-X4-X2“). Dies kann auch erklären, warum das aggregierte Maß für die G-Optimalität, die G-Effizienz, niedrig ist (aufgrund des eingeschränkten experimentellen Bereichs, der die relative Vorhersagevarianz erhöht).
So können Sie sich ein gutes Verständnis verschaffen, indem Sie Ihre experimentellen Punkte / Räume visualisieren und sich das "Prognoseabweichungsprofil" ansehen. Sehen Prognoseabweichungsprofil (jmp.com) für weitere Details und zur Berechnung der tatsächlichen Varianz der Vorhersage.
In Bezug auf Ihre zweite Frage sind diese erwarteten Antwortwerte keine Vorhersage der Antwort, denn wenn dies der Fall wäre, wissen Sie bereits, was die genauen Werte der Koeffizienten in Ihrem Regressionsmodell sind, sodass Sie wahrscheinlich kein experimentelles Design durchführen werden wenn du es schon wüsstest.
Es ist eher eine Anleitung/Hilfe, die Sie auf zwei verschiedene Arten verwenden können:
- Um anhand des von Ihnen erstellten Modells und der Modellkoeffizienten, die Sie frei wählen/ändern können, zu wissen, welche Werte Sie von den experimentellen Antworten erwarten können (vergessen Sie nicht, den Koeffizienten Ihres Achsenabschnitts zu ändern, um Antwortwerte im Bereich von zu haben was Sie erwarten würden, und nicht um 0/1 zentriert, abhängig von den anderen Koeffizienten).
- Um mit Hilfe der Power-Spalte zu beurteilen, was der niedrigste Unterschied wäre, der mit Ihrem Design für ein bestimmtes Signifikanzniveau und einen bestimmten RMSE nachweisbar wäre (oder die Wahrscheinlichkeit, ihn zu erkennen und zu beeinflussen).
Ich hoffe, diese Antwort ist hilfreich,
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Daher sind die Standardwerte von 1 für den RMSE und alle Koeffizienten nützlich. Dieses Setup spiegelt den Fall wider, in dem Sie erwarten, dass der absolute Wert aller Effekte mindestens doppelt so hoch ist wie der RMSE. Es handelt sich um einen relativen Vergleich.
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Danke @Mark_Bailey zur abklärung!
Das macht Sinn!
Im Moment sind die erwarteten Koeffizienten standardmäßig alle 1. Da alle Koeffizienten den gleichen Wert (=1) haben, sind die erwarteten Reaktionen zwischen den verschiedenen Behandlungen/Läufen sehr ähnlich (im Bereich von -0,9 bis 9). Rechts? Doch im wirklichen Leben diese Werte werden wahrscheinlich nicht alle gleich sein und auch diese Werte werden wahrscheinlich nicht gleich 1 sein . Habe ich das richtig verstanden?
Vielen Dank!!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Ja, genau das bedeutet es. Diese Information ist eine Konsistenzprüfung, wenn Sie die Leistungsanalyse auf diese Weise verwenden. Sie können erwartete Koeffizienten eingeben und die erwartete Antwort für jeden Lauf überprüfen, oder Sie können die erwartete Antwort eingeben und die entsprechenden Koeffizienten überprüfen, die Sie aus der Regressionsanalyse erhalten. Dies sind nur zwei verschiedene Möglichkeiten, JMP die Größe der Effekte mitzuteilen, die Sie für die Durchführung der Leistungsanalyse erwarten. Sie sind unterschiedlich, aber sie müssen konsistent sein.
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @Victor_G , vielen Dank, dass Sie sich die Zeit genommen haben, alles zu erklären und mich auf zusätzliche Ressourcen hingewiesen haben! Es ist sehr hilfreich!
Ich habe mich gefragt, ist die Tatsache, dass Die G-Effizienz (32) ist niedriger als die D-Effizienz (41), ein Problem, wenn mein Ziel eine Optimierung ist und die optimale Reaktion genau vorhersagen (nicht nach Faktoren suchen)?
Außerdem lese ich die JMP-Hilfeseite zu „Design und erwartete Antworten“ . Es heißt ausdrücklich " Die Gliederung „Design und erwartete Antworten“ zeigt das Design, dem eine Spalte „Erwartete Antwort“ vorangestellt ist. Jeder Eintrag in der ersten Spalte ist die erwartete Reaktion, die den Designeinstellungen entspricht. Die erwartete Reaktion wird anhand der erwarteten Koeffizienten berechnet... Die erwartete Antwort ist Die Antwortwert, der unter Verwendung der erwarteten Koeffizientenwerte als Koeffizienten im Modell erhalten wird. Wenn die Gliederung zum ersten Mal angezeigt wird, basiert die Berechnung der erwarteten Reaktionswerte auf den Standardwerten in der Spalte „Erwarteter Koeffizient“. Wenn Sie neue Werte in der Spalte Erwartete Antwort festlegen, klicken Sie auf Wenden Sie Änderungen auf erwartete Antworten an um die Spalten Erwarteter Koeffizient und Leistung zu aktualisieren" .
Ich bin jedoch immer noch etwas verwirrt, da die Erklärung ziemlich kurz ist. Diese erwarteten Response-Werte sind keine Vorhersage der Response, richtig? Diese Werte bedeuten nicht, dass diese Response-Werte das sind, was ich erwarten sollte, nachdem ich die Experimente im Labor durchgeführt habe, oder?
Diese Werte reichen derzeit von -0,9 bis 9 in meinem duplizierten i_tv5-Design (im Anhang), aber das bedeutet nicht, dass ich erwarten sollte, eine Antwort innerhalb dieses Bereichs von -0,9 bis 9 zu erhalten, nachdem ich das Experiment im Labor durchgeführt habe, oder? ?
Danke @Victor_G !!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Zuerst habe ich gerade den JMP-Hilfeabschnitt überprüft, und bei Verwendung der Plattform "Designs vergleichen" ist die Erklärung, die ich zum Wirkungsgradverhältnis gegeben habe, korrekt. Sehen Designs verschiedener Auflagengrößen (jmp.com)
Zu deinen neuen Fragen:
- Da Einschränkungen Teil der Designerstellung sind (sie werden berücksichtigt, um zu wissen, welcher Teil des experimentellen Raums eingeschränkt/verboten ist, und der Koordinatenaustauschalgorithmus versucht, die Punkte in diesem neuen Raum optimal zu platzieren), können Sie Ändern Sie die Einschränkungen nicht, nachdem Sie Ihr Design generiert haben. Andernfalls finden Sie möglicherweise Punkte, die sich im neu verbotenen/eingeschränkten Teil Ihres Experimentierraums befinden, sodass diese Läufe nicht durchführbar sind. Ich fürchte, Sie müssen von vorne anfangen. Wenn Sie über die Einschränkungen und das Problem sprechen, das ich mit den Namen der Variablen identifiziert habe, können Sie das Skript bearbeiten, aber überprüfen Sie bitte, ob die Variablennamen in meiner Bearbeitung korrekt sind, um sicherzustellen, dass die Designtabelle, die Sie bereits haben Respektieren Sie die Einschränkungen.
Wenn Sie auf das Skript "DoE Dialog" klicken, wird ein neues Fenster geöffnet, mit allen Informationen, die Sie hatten, bevor Sie auf "Make Design" geklickt haben, damit Sie überprüfen können, wie die Terme schätzbar waren in Ihrem Design (siehe Screenshot).
- Da es sich bei diesem X4*X4 nicht um einen „notwendigen“ schätzbaren Begriff handelt, werden Sie ihn nicht auf der Plattform „Evaluate Design“ sehen, da die Anzahl der Läufe ist kleiner als die Gesamtzahl der Parameter, die Sie schätzen möchten (notwendig + wenn möglich). In der JMP-Hilfe zur Konstruktionsdiagnose: " Diese Diagnosen werden nicht für Designs angezeigt, die Faktoren enthalten, deren Änderungen auf „Schwer“ oder „Sehr schwer“ eingestellt sind, oder Effekte, deren „Schätzbarkeit“ auf „Wenn möglich“ festgelegt ist.“ (Quelle: Designdiagnose (jmp.com) ). Aus diesem Grund haben Sie eine "schlechtere" Designdiagnose, wenn Sie dieses Design mit einem Design vergleichen, bei dem dieser Begriff Schätzbarkeit auf "Notwendig" gesetzt ist (da dies diesmal bei der Bewertung des Designs berücksichtigt wird).
Aber in der Analyse wird dieser Term trotzdem beibehalten, denn wenn ein Haupteffekt zB nicht signifikant ist, macht das einige Freiheitsgrade frei, um einen anderen Effekt/Term abzuschätzen. Weitere Einzelheiten zu diesem speziellen Design (mit "wenn möglich" schätzbaren Begriffen) können Sie hier nachlesen: Optimalitätskriterien (jmp.com) Es gibt mehrere Möglichkeiten, diese Art von Designs zu analysieren, ich habe einige in einem anderen Ihrer Beiträge erwähnt: Gelöst: Betreff: Fehler beim Vergleichen mehrerer DOE-Designs – JMP User Community
Ich würde vorschlagen, Ihr Design mit der Schätzbarkeit des Terms X4*X4 auf „Wenn möglich“ zu belassen und zu versuchen, Ihr Design zu erweitern, wenn die von Ihnen gemessenen Antworten einen starken Hinweis darauf zeigen, dass dieser Term signifikant sein könnte, und/oder wenn es Ihnen an Präzision mangelt für Ihre vorhergesagte(n) Antwort(en). DoE ist nicht unbedingt ein "alles auf einmal"-Ansatz, es ist oft am besten, mit kleineren Entwürfen zu beginnen und sie auf die effizienteste und optimale Weise zu erweitern (sequentieller/iterativer Ansatz).
3. Hier finden Sie Ihre Antworten: Leistungsanalyse (jmp.com) Sie können die Werte der erwarteten Antwort (oder der erwarteten Koeffizienten) frei ändern, um zu sehen, wie sich die erwarteten Koeffizienten verhalten (oder umgekehrt, wie sich die erwarteten Werte der Antwort ändern). Vergessen Sie nicht, den Intercept-Koeffizienten so zu ändern, dass er in Ihrem konkreten Fall Antworten über 10 hat, wenn Sie näher an den erwarteten Antworten für Ihren Anwendungsfall sein möchten.
4. Das Optimalitätskriterium kann sich abhängig davon ändern, wie Sie das Design erweitern. Wenn Sie beispielsweise von einem Screening-Design zu einem RSM-Design wechseln (durch Hinzufügen von Wechselwirkungen und quadratischen Termen im Modell), kann sich das Optimalitätskriterium von D zu I optimal ändern. Die beste Option ist, zu prüfen, welche von JMP festgelegt wurde (Sie können in der Tabelle direkt unter dem Namen der Tabelle und über den Skripten nachsehen, welches Kriterium ausgewählt und wie das Design generiert wurde), oder es festzulegen, wenn Sie es wissen Fortschritt (rotes Dreieck in der Custom Design-Plattform, Optimalitätskriterium und dann das relevanteste auswählen).
Hoffe diese Antwort hilft dir,
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @Victor_G Und @Mark_Bailey ! Ich danke Ihnen für Ihre Hilfe! Sehr geschätzt!
@Mark_Bailey , danke für den Einblick! Ähnlich zu @Victor_G , ich frage mich auch, ob dieses Verhältnis von 0,5 und ~0,333 (Effizienz), das wir beim Vergleich mit einem doppelten bzw. dreifachen Design sehen, dann irgendeine Bedeutung hat?
1- Danke @Victor_G für das Auffangen dieses Fehlers in den Beschränkungen! Ich frage mich, kann ich die Einschränkungen tatsächlich bearbeiten, nachdem ich die DOE-Tabelle bereits generiert habe, oder muss ich von vorne beginnen?
In der gleichen Anmerkung, nachdem ich bereits eine DOE-Tabelle erstellt habe, wie kann ich die „Schätzbarkeit“ der verschiedenen Terme (Haupteffekte, quadratische Terme usw.) überprüfen/sehen?
2- Ich habe auch eine andere seltsame Sache bemerkt, die mit meinem (jetzt aktualisierten) Design passiert (i_tv5 beigefügt). Ich habe die angegeben X4*X4-Begriff als „wenn möglich“ in der Auswahl „Schätzbarkeit“.
Nachdem ich die DOE-Tabelle generiert habe, sehe ich, wenn ich dann das „>Modell“ (im linken Bereich) überprüfe, alle Begriffe, die ich vor der Generierung des Designs eingefügt habe. Wenn ich jedoch zu '> Design bewerten' gehe (ebenfalls im linken Bereich), bemerke ich, dass der Begriff X4*X4 verschwunden ist. Dort wird es nicht angezeigt.Hat JMP diesen Begriff aus dem Design entfernt, weil es nicht genügend Läufe gibt, um diesen x4*x4-Begriff zu analysieren (die Gesamtanzahl von Läufen beträgt 24)?
Wenn ich die Schätzbarkeit dieses Begriffs auf „notwendig“ ändere, wird das Design am schlechtesten (im Anhang): a) die Vorhersagevarianz ist höher, b) die Leistungsanalyse ist alles 0 und c) die Designeffizienzen sind 10x niedriger.
Dieses Problem mit dem x4*x4-Begriff bereitet mir Schwierigkeiten beim Vergleichen von Designs. Ich habe versucht, dieses Design mit einem duplizierten Design (im Anhang) zu vergleichen. Die Fehlermeldung erscheint erneut ☹ „Das Modell für das primäre Design kann nicht von allen Designs angepasst werden. Entfernen von unschätzbaren Modellbegriffen.“
Wie kann ich das lösen? Ignoriere ich diese Fehlermeldung einfach, wenn JMP sie trotzdem ignoriert? Ich glaube, dass dieser X4 * X4-Begriff möglicherweise nicht signifikant ist (aber nicht 100% sicher).Aufgrund von Ressourcenbeschränkungen kann ich nicht mehr als 24 Läufe durchführen.
Was würden Sie empfehlen, wenn ich nur 24 Läufe machen kann und gleichzeitig denke, dass dieser Begriff nicht sehr aussagekräftig ist (aber noch nie getestet wurde)?
3- Andererseits; was bedeuten die Werte unter „Design und erwartete Reaktionen“ (siehe Screenshot) bedeuten? Diese Werte ergeben für mich überhaupt keinen Sinn. Das Ziel dieses Designs ist es, die Reaktion zu maximieren. Ich habe die untere Grenze auf 10 gesetzt. Die Werte, die ich in diesem Abschnitt „Design und erwartete Antworten“ sehe, sind <10 oder 0 oder einige sind negative Werte. Ist das ein Problem?
4- Eine letzte kurze Frage: Wenn ich ein Design erweitere, bleibt das Optimalitätskriterium im erweiterten Design? Mir ist aufgefallen, dass, wenn ich ein Design durch Erweitern dupliziere, das duplizierte Design anscheinend auf das „empfohlene“ Optimalitätskriterium zurückgeht…. Aber was ist die Empfehlung von JMP, ist es D- oder I-Optimalität, was ist das?
Danke euch allen für eure Hilfe!!
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @Mark_Bailey ,
Die bereitgestellten Screenshots stammen von der Plattform "Designs vergleichen", daher sind die Wirkungsgrade "schon" relativ, da sie hier im Vergleich zum "schlechtesten" Design (v5 mit 18 Durchläufen) berechnet werden.
Die Effizienz von v5 gegenüber v6 (36 Läufe) beträgt also 0,5 (Effizienz v5/v6 = 0,5), was bedeuten sollte, dass die Effizienz von v6 doppelt so hoch ist wie die von v5?
Und wenn die Logik stimmt, dann beträgt die Effizienz von v5 gegenüber v7 (54 Läufe) 0,333, was bedeutet, dass die Effizienz von v7 dreimal höher ist als die von v5, also ist v7 das beste Design (im Vergleich zu anderen), nicht v6, das es hat relative Designeffizienz von 0,5 im Vergleich zu v5.
Oder habe ich etwas falsch verstanden?
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Die vom FDS-Diagramm verwendete Skala für die Vorhersagevarianz sieht falsch aus. Ich vermute, dass alle Werte größer als das Maximum auf der Skala sind. Haben Sie versucht, die Skala zu ändern?
Für Terme höherer Ordnung ist die Leistung immer geringer. Außerdem ist die Leistung nicht so wichtig, wenn Sie die Analyse nicht verwenden, um zu bestimmen, welche Effekte wichtig sind. Die Vorhersagevarianz ist wichtiger, wenn das Modell zur Optimierung der Faktoreinstellungen verwendet wird.
Die Wirkungsgrade werden für die Anzahl der Läufe normalisiert, sodass die Replikation eines Designs die Effizienz nicht ändert. Effizienz ist als absolute Größe nicht hilfreich. Es informiert Sie über das aktuelle Design im Vergleich zu einem theoretischen Design, was oft unmöglich ist. Verwenden Sie es als Vergleichsmaßstab, um zwei oder mehr Designs zu vergleichen. Das Design mit Wirkungsgrad = 1/2 ist also besser als das Design mit Wirkungsgrad = 1/3.
Re: DoEs vergleichen - Warum sind die D/G/A/I-Effizienzen alle gleich und schrecklich NIEDRIG?Hallo @ADouyon ,
Für Ihre erste Frage ist der Bruchteil des Designraumdiagramms für jedes einzelne Design leer, was seltsam ist. Wenn Sie sich Ihr Skript für unzulässige Kombinationen ansehen, liegt möglicherweise ein Problem vor, da die Namen Ihrer Faktoren in der Datentabelle in Ihrem Skript "Unzulässige Kombinationen" nicht identisch sind (daher kann JMP bei der Interpretation verloren gehen, was "Pulse" und welche Spalte es ist ist zum Beispiel).
Wenn ich das Skript „Unzulässige Kombinationen“ mit anonymisierten Namen für Spalten (X1, X2, X3, X4) ändere, kann ich den Anteil des Designbereichsdiagramms für jedes einzelne Design sehen und es erscheint im Designvergleich (siehe Screenshot ). Das korrigierte Skript für unzulässige Kombinationen ist hier (stellen Sie sicher, dass ich keinen Fehler gemacht habe, X1/X2/X4 im Skript zu invertieren):
X2 == 1 & (X4 >= 0.0595238095238095 & X4 <= 10) | (
X2 == 2 | X2 == 3) & X4 == 0
Bedenken Sie bei Ihrer zweiten Frage zum Effizienzvergleich von Designs, dass Ihre Referenz in dieser Plattform basierend auf Ihren Screenshots die v5 ist (also das kleinste Design mit 18 Läufen). Also berechnet JMP die relativ Wirkungsgrade von v5 im Vergleich zu v6 und v7 (als Bruch: v5-Effizienz dividiert durch V6- oder v7-Effizienz für alle Effizienzkriterien). Anhand Ihres Screenshots können Sie sehen, dass v6 für D/G/A/I-Effizienzkriterien zweimal effizienter als v5 ist, wenn Sie 18 Läufe hinzufügen, und v7 für D/G/A dreimal effizienter als v5 ist /I-Effizienzkriterien, wenn Sie 36 Läufe hinzufügen (weil die relative Effizienz von v5 im Vergleich zu v7 0,333 beträgt).
Wenn Sie den Vergleich basierend auf Ihrem „mittleren“ Design mit 36 Läufen sehen möchten, starten Sie die Designvergleichsplattform aus der Datentabelle Ihres Designs mit 36 Läufen. Sie sollten den relativen Vergleich haben, wie in meinem beigefügten Screenshot gezeigt (und Sie werden tatsächlich sehen, dass v6 relative Effizienzwerte hat, die doppelt so hoch sind wie für v5).
