Vielen Dank an alle, die hier sind. Ich spreche über „Viele Designs, wenig Zeit“. Ich bin Ryan Lekivetz, Director of Advanced Analytics, R&D bei JMP. Ich leite das DOE- und Zuverlässigkeitsteam hier bei JMP. Ich dachte, das wäre ein interessantes Thema, denn in der neuesten Version von JMP haben wir den Design Explorer erweitert. Falls Sie ihn noch nicht kennen, werden Sie ihn am Ende dieses Vortrags sehen.
Aber ich dachte, vorher sehen Sie hier schon mal einen kleinen Überblick. Wir machen einen kleinen Umweg und sprechen vielleicht kurz über die Idee hinter der Versuchsplanung. Ein Teil davon war… Ich habe mir einige frühere Vorträge zum Thema Entdeckungen angesehen und festgestellt, dass wir seit der Einführung von Vergleichsdesigns in JMP 13 nicht mehr viel darüber gesprochen haben. Ich glaube, das ist jetzt fast 10 Jahre her. Ich glaube, es wäre keine Entdeckungskonferenz, wenn Sie dieses Zitat nicht sehen würden, oder? „Alle Modelle sind falsch, aber manche sind nützlich.“
Zugegeben, wenn wir ein Experiment entwerfen, höre ich immer wieder Kritik, dass diese Modelle zu einfach seien und meinen Prozess nie wirklich erklären könnten. Warum hat sich die Versuchsplanung so lange bewährt? Letztendlich ermöglichen sie die Erstellung von Modellen, die zum Verständnis und zur Verbesserung unserer Systeme beitragen. Zugegeben, sie werden nicht perfekt sein, aber zumindest können wir uns ein besseres Bild davon machen, welche Faktoren oder Effekte das System antreiben.
Ich gehe bei der Gestaltung eines Experiments oft von der Idee eines Varianzbias-Kompromisses aus. Das werden wir an den Ergebnissen dieser unterschiedlichen Versuchspläne sehen. Ich denke, das ist es, worauf ich bei der Auswahl eines Designs achte. Es geht um die Frage: Welche Modelleffekte habe ich? Die Modellterme, die ich JMP mitteile, im Vergleich zu den Termen, die ich vielleicht nicht berücksichtigt habe, die aber vielleicht Teil dieses nützlichen Modells wären. Wenn ich mehr Durchläufe hätte und mehr Daten gesammelt hätte, könnte sich herausstellen, dass einige dieser Effekte oder Terme wichtig sind.
Schauen wir uns ein einfaches Beispiel an. Ich habe ein einfaches Experiment mit drei Faktoren X1, X2 und X3 durchgeführt und einige Antworten gesammelt. Wenn ich an den Kompromiss zwischen Varianzverzerrung und der Schätzeffizienz denke, erkenne ich den Standardfehler der Effektschätzung, in diesem Fall X1, X2, X3, relativ zu diesem Standardfehler.
Wenn dieses Y stark verrauscht ist, kann ich möglicherweise nicht viel dazu sagen. Aber wenn wir uns das genauer ansehen, sehen wir, dass ich gerade einige Daten generiert habe. Lassen Sie uns das einfach ausführen. Wie Sie hier sehen, lag der RMSE bei etwa 1. Wenn wir uns die Parameterschätzungen ansehen, steht dieser Standardfehler in direktem Zusammenhang mit dem relativen Standardfehler von 0,2.
Das zeigt mir, dass dieses Design idealerweise in der Lage sein sollte, große Effektschätzungen und große Haupteffektschätzungen zu erkennen. Genau das sehen wir hier: die Schätzeffizienz, die geringfügige Steigerung, die ich nicht besser erreichen könnte. Mit diesem Design könnte ich nichts Besseres erreichen.
Die eigentliche Frage ist nun: „Was wäre, wenn ich falsch liege?“ Dieses Design hier habe ich entworfen. Im DOE-Dialog bin ich davon ausgegangen, dass es Haupteffekte gibt. Ich hatte X1, X2 und X3 und sagte einfach, dass ich nur Haupteffekte habe. Was wäre, wenn sich herausstellen würde, dass es tatsächlich eine Interaktion zwischen X1 und X2 gibt? Vielleicht ist es zu spät, ich habe die Daten bereits gesammelt, aber was würde passieren? Hier, dasselbe Design. Wenn ich mir das Evaluierungsdesign ansehe, was wäre, wenn ich einfach diese spezielle Interaktion hinzugefügt hätte? X1 und X2.
Wir sehen hier, ich glaube, ich verwende hier mein anderes Design, aber was wir hier erhalten, ist eine Zunahme der X2- und X3-Interaktion. Das alles zeigt mir, dass meine Variante von X2 und X3 durch die Hinzufügung dieser X1- und X2-Interaktion etwas angestiegen ist, weil ich das nicht so konzipiert habe. Ich würde sagen, das zeigt sich oft auch in der Alias-Matrix, wo, wenn Sie sich das jemals angesehen haben, die negativen Drittel darauf zu sehen sind.
Wo ist das eigentlich wichtig? Wenn wir an dieses Evaluierungsdesign denken, ist dies eigentlich dasselbe Design wie hier. Ich habe die X1-X2-Interaktion explizit hinzugefügt. Das bedeutet, ich nehme X1 mal X2. Denken wir darüber nach. Hier habe ich nun diese Schätzung.
Wenn wir uns nun die Farbkarte der Korrelationen ansehen, sehen Sie, dass wir das oft tun. Hier erhalten Sie die größeren Teile. Aber was macht das jetzt schon? Nehmen wir an, ich hätte X1 und X2, ich könnte immer noch meine Haupteffekte modellieren. Was macht es schon, wenn ich so etwas modelliere?
Schauen wir uns unsere Parameterschätzungen an. Nun, Sie bemerken, dass die Dinge nicht unbedingt signifikant waren, aber was macht das schon? Ich meine, alles war in Ordnung, also welche Rolle spielt so etwas? Nehmen wir an, ich mache das immer und immer wieder. Hier sehen Sie diese Y-Simulation. Schauen wir uns die Formel dahinter an. Nehmen wir an, dies wäre mein wahres Modell. Ich habe diese Haupteffekte: X1, X2, X3 bewirken alle etwas, sowie die Interaktion für X1, X2.
Was aber, wenn ich das bei der Modellierung übersehen habe? JMP bietet die Möglichkeit, dies mithilfe einer Simulation immer wieder zu tun. Sehen wir uns an, was dabei passiert. Ich zeichne einfach immer wieder aus dieser Verteilung. Ich füge lediglich ein wenig zufälliges Rauschen hinzu. Wie wir hier sehen, lag der Mittelwert von X1 genau bei 2, was ich mir gewünscht hätte. X2 lag bei 3, was wir erwartet hätten. X3 hingegen lag bei 1.
Warum ist das so? Das hat mit der Aliasmatrix zu tun. Da ich X1 und X2 übersehen habe, wird X3 um ein Drittel der Parameterschätzung verzerrt. Wenn wir diesen Term im Modell nicht haben, werden wir Fehler machen. Das müssen wir bei der Planung eines Experiments immer bedenken. Wir werden unser Bestes tun, um das Modell zu erstellen, das wir für richtig halten. Aber oft, wenn wir uns die Diagnose ansehen, ist das der Grund, warum wir die Farbkarte zur Korrelation so oft aufrufen: Wir vergleichen die Terme im Modell mit denen, die vielleicht im Satz der Aliasterme enthalten waren, und überlegen, was passieren könnte, wenn sich diese als wichtig erweisen.
Hier kommt das benutzerdefinierte Design ins Spiel. Wenn Sie noch nicht viele Designexperimente in JMP durchgeführt haben, ist benutzerdefiniertes Design die erste Option, die wir haben. Es erstellt ein optimales Design für Ihre spezifischen experimentellen Einstellungen. Wir gehen hier in das benutzerdefinierte Design ein. Wir gehen davon aus, dass wir ein nützliches Modell haben. Auch hier gilt: Nicht alle Modelle sind falsch. Wir gehen davon aus, dass wir das System ausreichend verstehen, um zu sagen: „Okay, wenn ich mir diese Haupteffekte oder vielleicht einige Interaktionen ansehe, kann ich ein Design basierend auf diesem nützlichen Modell erstellen?“
Eines der Dinge beim benutzerdefinierten Design, selbst wenn Sie sich den Hover ansehen, ist die Idee eines optimalen Designs. Diese Idee der Effizienz im optimalen Design hängt wirklich davon ab, was wir mit dem Experiment tatsächlich erreichen wollen. Insbesondere wenn wir hier einfach benutzerdefiniertes Design starten, gibt es, wie Sie sehen, unsere verschiedenen Optimalitätskriterien, all diese verschiedenen Buchstaben, D, I und A, und empfohlen. Worauf läuft das hinaus?
Nun, der erste grundlegende Satz besteht darin, Modellterme zu schätzen. Wenn wir davon ausgehen, dass wir dieses nützliche Modell haben, möchte ich vielleicht sicherstellen, dass ich diese wirklich gut schätzen kann.
Ob es meine Haupteffekte oder meine Wechselwirkungen sind – ich möchte hier nicht auf die mathematischen Details eingehen. So etwas wie D-Optimalität bedeutet, dass Sie das allgemeine Konfidenzellipsoid für diese Parameterschätzungen minimieren. Es bedeutet, dass Sie alle diese Faktoren gleichzeitig berücksichtigen. Während A eher einem Durchschnitt entspricht, minimieren Sie lediglich die durchschnittliche Varianz dieser Parameterschätzungen.
Diese sind großartig, wenn ich nur sagen möchte: „Ich möchte wirklich sicherstellen, dass ich die richtigen Begriffe verwende.“ Aber ist das ein nützliches Modell? Kann ich herausfinden, was die wichtigsten Dinge in diesem nützlichen Modell sind?
Woher kommt das? Wenn wir hier im benutzerdefinierten Design nachsehen, basiert es auf dem Modell, das ich JMP mitgeteilt habe. Standardmäßig enthält es hier vielleicht nur die Haupteffekte. Diese Aliasbegriffe sind möglicherweise wichtig, aber ich habe sie nicht in das Modell aufgenommen. Wenn ich JMP hingegen mitteilte, dass ich diese Zwei-Faktor-Interaktionen möchte, basiert es auf dem Modell, das ich JMP mitgeteilt habe. Das ist die Idee des benutzerdefinierten Designs.
Nehmen wir stattdessen an, ich glaube, ich habe bereits ein brauchbares Modell. Vielleicht bin ich mehr an einer besseren Vorhersage der Antwort interessiert. Hier kommt die andere I-Optimalität ins Spiel. Hier versuche ich lediglich, den Durchschnitt zu minimieren. Wenn ich den gesamten Designbereich betrachte, möchte ich einfach sicherstellen, dass ich insgesamt gute Arbeit leiste. Ich würde die I-Optimalität verwenden.
Was sich bei einigen dieser unterschiedlichen Effizienzen zeigt, ist, dass G-optimal einfach sagt: „Minimieren Sie den Worst Case. Stellen Sie sicher, dass ich nie zu schlecht abschneide.“ Auch hier sieht man Dinge. Alias-Optimalität ist eher ein Kompromiss. Sie sagt: „Schützen Sie mich vor der Verzerrung durch diese Alias-Begriffe. Versuchen Sie, mich vor den Begriffen zu schützen, die ich vielleicht nicht im Modell hatte, die aber wichtig sein könnten, und geben Sie mir gleichzeitig ein insgesamt vernünftiges Design.“
Sie sehen auch sogenannte „Wenn möglich“-Terme. Wenn ich zu diesem DOE zurückgehe: Was sind „Wenn möglich“-Terme? Schauen wir uns das mal an. Hier kann ich JMP jetzt sagen: „Vielleicht sind diese Interaktionen wichtig, vielleicht auch nicht. Ich kann sie jetzt auf „Wenn möglich“ setzen.“ Das sagt JMP nur: „Geben Sie mir die notwendigen Terme. Sie müssen sicherstellen, dass Sie diese schätzen. Wenn Sie die „Wenn möglich“-Terme nicht schätzen können, tun Sie es, aber sie werden nicht so kritisch sein wie die notwendigen Terme.“
Wie kommt das alles ins Spiel? Ich kann JMP sagen: „Das ist, was ich will. Ich habe mein Modell, ich habe meine Alias-Terme, meine verschiedenen Optimalitätskriterien.“ Eines der größten Probleme ergibt sich tatsächlich bei der Designbewertung. Ich habe mein Design erstellt und JMP gesagt: „Das ist, was ich tun möchte.“ Es stellt sich heraus, dass einige dieser Diagnosen relativ zur Stichprobengröße sind, andere nicht.
Wenn Sie über Dinge wie die Power-Analyse nachdenken, ist die Power nicht wirklich von der Stichprobengröße abhängig. Natürlich gilt: Je größer die Stichprobe, desto höher die Power für Ihre Effektschätzungen, aber das ist nicht relativ zur Stichprobengröße.
Dasselbe gilt für Dinge wie: Der Standardfehler der Schätzung ist nur eine Berechnung, aber die prozentuale Erhöhung des Konfidenzintervalls ist relativ zur Stichprobengröße.
Ebenso ist die Farbkarte der Korrelationen nur eine Berechnung, aber die verschiedenen Effizienzmetriken, die wir am Ende erhalten, sind relativ zur Stichprobengröße. Hier ist nur das von mir erstellte 12-Run-Design. Ich habe nur die Haupteffekte erwähnt. Wie bereits erwähnt, handelt es sich bei einigen dieser Faktoren, wie der Leistung, lediglich um einfache Berechnungen. Dinge wie die Designdiagnose sagen: „Das ist 100 % D-effizient.“ Der Grund dafür ist, dass es sich um ein 12-Run-Design handelt und die beste Effizienz erreicht, die man für ein 12-Run-Design erreichen kann.
Gleichzeitig könnte ich dasselbe für ein 16-Run-Design tun. Betrachten wir nun die Power-Analyse, stellen wir wenig überraschend eine größere Stichprobe fest. Nun zur Designdiagnose. Auch hier liegen die Effizienzen D, G und A alle bei 100 %, da diese Effizienzen relativ zur Stichprobengröße sind.
Das bedeutet, dass ich bei einem 16-Run-Design nichts Besseres erreichen kann. Ebenso gilt für den 12-Run-Fall: Bei 12 Runs ist es nicht besser. Heißt das, ich sollte das 12-Run-Design dem 16-Run-Design vorziehen? Nun, das kommt darauf an. Wenn ich mir 16 Runs leisten könnte, gäbe es vielleicht noch andere Dinge, die ich mir ansehen würde, um sicherzugehen, dass ich das wirklich möchte.
Hier kann es manchmal tatsächlich problematisch werden: Wenn ich darüber nachdenke, welche davon ich vergleichen möchte und welche nicht, kommen wir zu Vergleichsdesigns. Bevor ich einen Umweg mache, möchte ich über definitive Screening-Designs sprechen. Wenn Sie schon einmal an JMP Discovery-Konferenzen teilgenommen haben, werden Sie oft von definitiven Screening-Designs gehört haben. Tatsächlich steht dies ganz oben auf unserer Liste der definitiven Screening-Designs.
Ich möchte hier nicht zu sehr in die mathematischen Details gehen. Definitive Screening-Designs sind aufgrund der Idee der Faltung einer Konferenzmatrix etwas Besonderes. Ich betrachte definitive Screening-Designs gerne als Kompromisspläne. Sie wurden tatsächlich als sogenanntes optimales Design entdeckt, wenn man sich an die verschiedenen Optimalitätskriterien erinnert. Es waren jedoch sehr effiziente Designs, bei denen wir Nullen auf der Diagonale beließen und einen Mittelpunkt hinzufügten. Einer der Gründe für die Beliebtheit definitiver Screening-Designs liegt darin, dass sich diese Designs orthogonal darstellen, wenn man den Kompromiss zwischen Varianzverzerrung und -effekt betrachtet.
Diese Haupteffekte, zurück zu dieser Schätzung: Die Haupteffekte werden sehr gut geschätzt. Sollten sich jedoch Wechselwirkungen oder quadratische Effekte ergeben, sind diese Haupteffekte davor geschützt. Wir verfügen über einen integrierten Schutz vor quadratischen Effekten oder Wechselwirkungen im Nutzmodell. Durch die Konstruktion des Designs erhalten wir diesen Schutz vor Haupteffekten.
Wenn Sie an meine beiden anderen Designs denken, warum sollten wir das verwenden? Ich würde sagen, das wirklich Schöne daran ist, dass wir durch die Nullen sicherstellen können, dass ein nichtlinearer Effekt auftritt, wenn etwas mitten in unserem Designraum passiert. Das würden wir mit der herkömmlichen Verwendung von plus und minus eins nicht erkennen. Ich stelle mir das so vor: Wenn ich einen Kuchen backe, sollte ich vielleicht 350 Grad verwenden. Wenn ich aber 325 oder 375 Grad verwende, ist es vielleicht nicht ganz richtig.
Wenn ich JMP sagen würde, dass mein Bereich zwischen 325 und 375 liegen soll, hätte ich bei 350 noch nie etwas gesehen, obwohl ich vielleicht sicherstellen möchte, dass ich das tue.
Eine weitere Sache, die ich hier nur am Rande erwähnen möchte, ist Ihnen vielleicht noch nicht aufgefallen: In Kursen zur Versuchsplanung wird oft über die klassischen teilfaktoriellen Versuchspläne gesprochen, die in unserer Screening-Design-Plattform auftauchen. Darin versteckt sind aber auch sogenannte nahezu orthogonale und orthogonale gemischtstufige Versuchspläne, die eigentlich eine Art Spezialfall des definitiven Screenings darstellen. Sie sind tatsächlich unter dem klassischen Versuchsplan versteckt. In der neuesten Version von JMP werden Sie unter anderem feststellen, dass wir diese Pläne deutlich leichter auffindbar gemacht haben.
Das andere Problem mit diesem definitiven Screening-Design ist, dass ich es mit einem benutzerdefinierten Design nicht erreichen kann. Ich sagte, es sei dieser kompromittierte Plan mit dem Alias-Optimum, aber es stellte sich heraus, dass die Nullen genau richtig erzwungen wurden. Wer schon einmal versucht hat, ein definitives Screening-Design und ein benutzerdefiniertes Design zu erstellen, weiß, dass dies möglich ist, aber es ist mit viel Arbeit verbunden. Ich hingegen muss nur auf diese Plattform gehen und es läuft automatisch. Es wird problemlos für mich erstellt.
Nehmen wir an, ich spreche mit Kollegen und wir diskutieren über drei verschiedene Designs. Jemand hat es bereits durchgesehen. Ich habe ein 12-Run-Design, das gerade aus einem kundenspezifischen Design für fünf Faktoren hervorgegangen ist. Ich habe dieses definitive Screening-Design mit fünf Faktoren und außerdem dieses 16-Run-Design. Das 16-Run-Design wird teurer. Aber was will ich tun? Hier kommt der Vergleich von Designs ins Spiel.
Jetzt kann ich mehrere Designs auf einer einzigen Plattform vergleichen. Ich muss nicht mehr darüber nachdenken, einzelne Evaluierungsdesigns zu starten und herauszufinden, welche sinnvoll zu vergleichen sind und welche nicht. Wie bereits erwähnt, können Sie Spaltennamen abgleichen oder JMP dies überlassen. So können wir mehrere Modelle berücksichtigen.
Sie finden Vergleichsdesigns. Unter DOE, Design Diagnostics, finden Sie Vergleichsdesigns. Sie sehen, dass meine aktuelle Datentabelle die mit dem 16. Durchlauf ist. Vergleichen wir sie mit dem 12. und dem 13. Durchlauf. Unten kann ich JMP angeben, wie die Spalten zugeordnet werden sollen. Probieren wir einfach mal den automatischen Abgleich aus.
JMP versucht herauszufinden, wie das geht. Wir sehen hier, dass es tatsächlich den richtigen Faktor gefunden hat. Auch wenn die Faktoren unterschiedliche Namen haben, versucht JMP, den Abgleich für Sie durchzuführen. Was ist das Schöne an Vergleichsdesigns? Jetzt kann ich mir Dinge wie Power-Analysen ansehen. Jetzt kann ich sie mit meinen Kollegen durchgehen und entscheiden, welches der drei Designs ich verwenden soll. Natürlich kostet mich der 16. Durchlauf mehr, aber ich erhalte dafür auch eine höhere Power.
Ich kann mir die Dinge ansehen. Dieses Bruchteil-des-Design-Space-Diagramm hat mit der Vorhersagevarianz zu tun. Wie gut ist die Leistung über den gesamten Bereich? Das Schöne daran: Da wir uns in Vergleichsdesigns befinden, können wir das Konzept der relativen Effizienz nutzen. Ich muss mir keine Gedanken über den Vergleich mit einer bestimmten Laufgröße machen, ich kann diese Vergleiche direkt durchführen.
Nun würden Sie sagen: „Demnach würde ich vielleicht nur die 16 oder die 12 verwenden wollen. Warum sollte ich dann überhaupt den DSD verwenden?“ Nun, das führt uns wieder zurück. Es sind diese unterschiedlichen Korrelationen. Diese Modell- versus Alias-Begriffe. Wenn sich herausstellen sollte, dass ich so etwas wie eine Zwei-Faktor-Interaktion habe, ist das das Schöne an Vergleichsdesigns. Ich kann das Was-wäre-wenn-Spiel spielen. Wir sehen tatsächlich, dass in diesem Fall eines der Designs aufgrund seiner Art, wie es aufgebaut war, nicht einmal zu dieser bestimmten Interaktion passen würde.
Jetzt könnte ich sagen: „Das ist problematisch. Ich versuche einfach, etwas anderes hinzuzufügen.“ Sie sehen, dieses spezielle Design bringt mir nicht viel. Überlegen Sie mal: Wenn ich versuche, Interaktionen hinzuzufügen, sieht es so aus, als hätte das Design mit 16 Läufen Probleme. Ich versuche, sie alle hinzuzufügen. JMP sagt mir: „Dieses Design hier hat tatsächlich Probleme, Interaktionen einzufügen. Übrigens habe ich es konstruiert, weil ich das bei der Konstruktion nicht berücksichtigt hatte. Jetzt kann ich es nicht einmal richtig hinzufügen.“
Dies führt zurück zu der Idee, wenn ich mir Sorgen um diese Aliasbegriffe mache. Hier sind Aliasbegriffe, bei denen es sich um diese Zwei-Faktor-Interaktionen handelt. Wenn ich mir Sorgen um Interaktionen mache, dann würde ich vielleicht lieber so etwas wie ein definitives Screening-Design verwenden. Dabei können mir die Vergleichsdesigns helfen, das herauszufinden.
Okay, ich würde sagen, der Designvergleich ist ein fantastisches Tool. Seitdem wir es integriert haben, sogar in JMP, nutzen wir es regelmäßig. Das Problem mit den Designvergleichen ist allerdings, dass ich jede einzelne Datentabelle erstellen musste und ein Gespür dafür entwickeln musste, welche Designs ich vergleichen wollte.
Aber vorher möchte ich lieber über weitere Designs nachdenken, bevor ich einen umfassenden Designvergleich durchführe. Hier kommt der Design Explorer ins Spiel. Falls Sie den Design Explorer noch nie gesehen haben: Ich starte hier einfach noch einmal „Benutzerdefiniertes Design“ und mache dasselbe. Wir fügen einfach fünf verschiedene Faktoren hinzu. Ich gehe auf „Weiter“.
Nehmen wir an, wir probieren dieses Haupteffektmodell aus. Direkt darunter sehen Sie den Design-Explorer. Sobald er verfügbar ist, können Sie verschiedene Designoptionen anhand der aktuellen Faktoren und des Modells erkunden, um ein Design auszuwählen. Klicken wir auf den Design-Explorer und sehen wir, was wir bekommen. Hier steht, dass ich das Haupteffektmodell habe. Ich habe dieses Modell hier.
Wir sehen Auswahloptionen für ein einzelnes Design oder eine Kombination bestimmter Optionen. Vielleicht möchte ich jetzt mit jemandem sprechen und sagen: „Versuchen wir es mit einem D- und einem A-optimalen Design und erhöhen wir die Anzahl vielleicht von 12 auf 20 Durchläufe.“ Wenn ich den Design Explorer das machen lasse, sehen Sie, was er tatsächlich getan hat: Er erstellt jetzt die D-optimalen Designs mit 12, 16 und 20 Durchläufen und die A-optimalen Designs mit 12, 16 und 20 Durchläufen.
In früheren Versionen des Design Explorers konnte ich nur Dinge tun, die ich innerhalb des benutzerdefinierten Designs generieren konnte. In der neuesten Version von JMP kann ich nun tatsächlich ein definitives Screening-Design einbringen. Vielleicht möchte ich jetzt vergleichen, was passieren würde, wenn ich ein definitives Screening-Design erstellen würde.
Jetzt kann ich einige dieser unterschiedlichen Effizienzen vergleichen und sehen, was passiert. Wie Sie sehen, wird mir Folgendes angezeigt: Die Haupteffekte sind orthogonal zu den quadratischen Effekten und den Zwei-Faktor-Interaktionen. Das gibt mir einen Hinweis darauf, dass ich durch die Auswahl noch etwas mehr erreichen kann. Jetzt kann ich vergleichen, wie diese verschiedenen Designs im Vergleich zu anderen Optionen abschneiden.
Dies ist ein Design, das Sie vielleicht noch nie zuvor gesehen haben, nämlich nahezu orthogonale Arrays, die eigentlich nur versuchen, auszugleichen. Dieses Haupteffekt-Screening-Design versucht lediglich, jedes Spaltenpaar miteinander auszubalancieren. Ähnliches gilt für Dinge wie das orthogonale Mix-Level-Design, ein anderer Designtyp, der in der Vergangenheit unter dieser Screening-Plattform verborgen war.
Jetzt kann ich schnell all diese verschiedenen Designs erstellen und überlegen, welches ich verwenden möchte. Gleichzeitig bin ich jetzt vielleicht etwas überfordert. Ich sage mir: „Okay, ich weiß gar nicht, wo ich anfangen soll. Warum schicke ich das nicht an einen Kollegen?“ Wir haben diese erweiterte Datentabelle. Ich habe Effizienzen im Vergleich zu Läufen, ein Streudiagramm der Effizienzen. Und das Schöne daran ist, dass ich das jetzt an einen Kollegen schicken kann. Ich habe hier Skripte, die er ausführen kann, um diese Designs zu erstellen.
Wenn ich das alleine mache, kann ich mir sagen: „Okay, dieses 17-Run-DSD sieht gut aus. Ich schaue mal, wie es aussieht.“ Ich kann die Designbewertung auch direkt von hier aus durchführen. Wenn ich fertig bin, erstelle ich die Auswahl. Mein definitives 17-Run-Screening-Design ist einsatzbereit.
Das ist der Design Explorer. Ich bin da. Wenn du bei Discovery bist, spreche ich gerne darüber. Wenn nicht, kannst du unten einen Kommentar hinterlassen. Dieser hier ist online.
Ein paar abschließende Gedanken. Selbst mit dem Design Explorer kann es Ihnen vorkommen, als hätten Sie zu viele Designs. Mir gefällt dieses Zitat: „Zufällige Entdeckungen werden oft gefeiert, aber bewusste Entdeckungen sind zuverlässiger.“
Okay, damit sind alle Modelle falsch. Ein anderes Zitat, das mir gefällt, lautet: „Der beste Zeitpunkt, ein Experiment zu planen, ist, nachdem man es durchgeführt hat.“ Ich glaube, bei jedem Experiment, das ich durchgeführt habe, denkt man sich immer: „Ich wünschte, ich hätte das getan.“ Oder im Nachhinein denkt man: „Das war doch offensichtlich, wenn ich nur vorher daran gedacht hätte.“ Aber eigentlich ist es einfach so: Wenn man über die Durchführung eines Design-Experiments nachdenkt, ist man schon einen Schritt voraus.
Selbst aus fehlgeschlagenen Experimenten – oder was ich als fehlgeschlagene Experimente bezeichne – lernt man immer etwas darüber, was man beim nächsten Mal tun würde. Man sollte die Versuchsplanung als einen sequenziellen Prozess betrachten. Sie hilft einem tatsächlich dabei, herauszufinden, was man beim nächsten Mal tun sollte.
Was ich aber noch erwähnen möchte: Die Art und Weise, wie Sie modellieren, spielt eine Rolle. Generell gilt: Solange Sie über die Gestaltung eines Experiments nachdenken, verbringen wir bei JMP unsere Tage damit, darüber nachzudenken, wie wir den Benutzer bei der Durchführung des Experiments optimal positionieren können, um ihn beispielsweise durch definitive Screening-Designs vor Verzerrungen zu schützen und dergleichen.
Aber letzten Endes kommt es darauf an, wie man bei der Modellierung vorgeht. Wenn man an Dinge wie definitive Screening-Designs und die „If Possible“-Begriffe all dieser Interaktionen denkt, probiere ich bei der Planung eines Experiments oft verschiedene Modellierungstechniken aus, um sicherzustellen, dass ich keine dieser Begriffe übersehen habe, die ich vielleicht im ursprünglichen Modell nicht berücksichtigt hatte, oder um sicherzustellen, dass das Modell, das ich für nützlich halte, das nützlichste ist, das ich finden konnte.
Ich würde sagen, das trifft auch sehr zu, wenn man sich Dinge wie die Power-Analyse ansieht. Wenn ich mir diese vier Faktoren mit Interaktionen anschaue, wenn ich mir die Power-Analyse für diese Haupteffekte und Zwei-Faktor-Interaktionen ansehe, erwarte ich nur sehr selten, dass jeder einzelne dieser Terme in meinem endgültigen Modell vorkommt.
Wenn ich über Dinge wie Power-Analysen nachdenke, führe ich oft Simulationen durch, um das Was-wäre-wenn-Spiel zu spielen. Was wäre, wenn zwei davon signifikant wären? Oder was wäre, wenn drei davon signifikant wären? Denn es kommt sehr selten vor, dass mein endgültiges Modell alle diese Faktoren berücksichtigt. Das ist meiner Meinung nach auch etwas, das man bei der Planung solcher Experimente im Hinterkopf behalten sollte: Wie tief werde ich bei der Modellauswahl und dem Was-wäre-wenn-Spiel einsteigen?
Vielen Dank für Ihre Zeit. Ich hoffe, Sie fanden diesen Vortrag hilfreich. Gerne können Sie unten Ihre Kommentare oder Fragen hinterlassen. Vielen Dank.
