Bei der Planung von Experimenten wird häufig die statistische Aussagekraft von Effekten herangezogen. Bradley Jones hat mehrere Blogbeiträge zu diesem Thema verfasst. Im Wesentlichen geht es darum, wie hoch die Wahrscheinlichkeit ist, dass wir bei einem bestimmten Modell nicht vernachlässigbare Effekte erkennen können. Natürlich sind hierfür bestimmte Annahmen/Spezifikationen erforderlich, wie z. B. Effektstärke, Fehler und Signifikanzniveau der Tests. Wenn Sie mit dem Thema nicht vertraut sind, empfehle ich Ihnen, einige dieser früheren Blogbeiträge zu lesen.
Wenn unsere Antwort kontinuierlich ist und wir von einem linearen Regressionsmodell ausgehen, können wir die Ergebnisse aus der Power-Analyse unter Design-Evaluierung verwenden. Was aber, wenn unsere Antwort auf Pass/Fail-Daten basiert und wir bei jedem Versuchsdurchlauf zehn Versuche planen? Für diese Antwort können wir ein logistisches Regressionsmodell anpassen, die Ergebnisse aus der Design-Evaluierung können wir jedoch nicht verwenden. Dennoch interessiert uns die Power...
Was zu tun?
Wir könnten eine Literaturrecherche durchführen, um die Power abzuschätzen, und hoffen, etwas Passendes zu finden (und dies für jeden spezifischen Fall tun, der in Zukunft auftritt). Es ist jedoch einfacher, eine Monte-Carlo-Simulation auszuführen. Dazu müssen wir in der Lage sein, Antworten entsprechend einem angegebenen logistischen Regressionsmodell zu generieren. Passen Sie für jede dieser generierten Antworten das Modell an und prüfen Sie für jeden Effekt, ob der P-Wert unter einen bestimmten Schwellenwert (beispielsweise 0,05) fällt. Dies war in früheren Versionen von JMP mit JSL möglich, erfordert jedoch ein gewisses Maß an Erfahrung mit Skripten, insbesondere mit der Skripterstellung für Formeln und der Extraktion von Informationen aus JMP-Berichten. Außerdem müssen Sie sich die Zeit nehmen, das Skript zu schreiben. In JMP Pro 13 können Sie jetzt Monte-Carlo-Simulationen mit nur wenigen Mausklicks durchführen.
Das klingt großartig
Als ich die neue Ein-Klick-Simulation zum ersten Mal sah, war ich begeistert und dachte an die Einsatzmöglichkeiten in geplanten Experimenten. Ein Schlüsselelement für die Ein-Klick-Simulation ist eine Spalte mit einer Formel mit einer Zufallskomponente. Wenn Sie meinen vorherigen Blogbeitrag zur überarbeiteten Funktion „Antworten simulieren“ in DOE gelesen haben, wissen Sie, dass wir bereits eine Möglichkeit haben, eine solche Formel zu generieren, ohne sie selbst schreiben zu müssen.
1. Erstellen Sie das Design und erstellen Sie dann eine Tabelle mit aktivierter Option „Antworten simulieren“.
In diesem Beispiel verwenden wir vier Faktoren (AD) und planen ein Experiment mit acht Durchläufen. Ich gehe davon aus, dass Sie mit dem Custom Designer vertraut sind. Falls nicht, können Sie hier mehr über die Custom Design-Plattform erfahren. Dieses Beispiel lässt sich im Wesentlichen genauso einrichten wie ein Beispiel in unserer Dokumentation .
Bevor Sie auf die Schaltfläche „Tabelle erstellen“ klicken, müssen Sie sicherstellen, dass im Hotspot oben auf der Plattform „Benutzerdefiniertes Design“ die Option „Antworten simulieren“ ausgewählt wurde. 
2. Einrichten der Simulation
Nachdem die Datentabelle erstellt ist, müssen wir nun unsere Simulation über den zuvor beschriebenen Dialog „Antwort simulieren“ einrichten. Unter „Verteilung“ wählen wir „Binomial“ und setzen N auf 10 (d. h. 10 Versuche pro Zeile des Designs). Hier habe ich verschiedene Koeffizienten für AD gewählt, wobei Faktor D einen Koeffizienten von 0 hat (d. h. dieser Faktor ist inaktiv). Der Dialog „Antwort simulieren“ lautet: 
Wenn wir auf die Schaltfläche „Übernehmen“ klicken, erhalten wir eine Spalte „Y simuliert“, die die Anzahl der Erfolge aus 10 Versuchen simuliert, und eine Spalte, die die Anzahl der Versuche angibt (die in „Modell anpassen“ verwendet wird). Für Modellierungszwecke habe ich die Spalte „Y simuliert“ in Y kopiert. 
Wenn wir uns die Formel für „Y simuliert“ ansehen, sehen wir, dass sie einen Antwortvektor basierend auf dem im Dialogfeld „Antworten simulieren“ angegebenen Modell generieren kann. 
3. Passen Sie das Modell an
Nachdem wir nun eine Formel zur Simulation von Antworten haben, müssen wir die Modellierung für die simulierten Antworten einrichten. In diesem Fall möchten wir p-Werte für die Effekte wiederholter logistischer Regressionsanalysen auf die simulierten Antworten erfassen. Zunächst müssen wir die Analyse für eine einzelne Antwort durchführen. Wenn wir die Fit-Model-Plattform starten, können wir die Anzahl der Versuche zur Antwortrolle (Y) hinzufügen und die Persönlichkeit in ein verallgemeinertes lineares Modell mit Binomialverteilung ändern. Mein Fit-Model-Start sieht folgendermaßen aus: 
Klicken Sie auf die Schaltfläche „Ausführen“, um das Modell anzupassen. Der Abschnitt des Berichts, der uns interessiert, ist die Gliederung „Parameterschätzungen“. 
Für die erste simulierte Reaktion wurden A, B und C als aktiv befunden, D hingegen nicht (was korrekt ist). Dies gilt natürlich nur für eine einzelne Simulation. Wir könnten einen neuen Reaktionsvektor simulieren und die p-Werte für jeden Effekt verfolgen oder die Ein-Klick-Simulation nutzen und dies für uns erledigen lassen.
4. Führen Sie die Simulation aus
Die Spalte, die uns für diesen Blogbeitrag interessiert, ist „Prob>ChiSq“. Klicken Sie mit der rechten Maustaste auf diese Spalte, um das Menü aufzurufen. (Wenn Sie JMP Pro verwenden, sehen Sie unten über Bootstrap eine Option zum Simulieren.) 
Das angezeigte Dialogfeld bietet die Auswahl zwischen den auszublendenden und den einzublendenden Spalten. Für unsere Simulationen verwenden wir anstelle der Antwort Y „Y simuliert“, da diese die Formel mit dem zufälligen Binomialwert enthält. Anstatt Y bei der ersten Verwendung von „Modell anpassen“ hätten wir auch „Y simuliert“ verwenden und es durch sich selbst ersetzen können. Die Anzahl der Stichproben gibt an, wie oft eine Antwort simuliert werden soll. Hier habe ich sie bei 2500 belassen. 
Klicken Sie nun einfach auf „OK“ und lassen Sie es laufen. Nach einer kurzen Wartezeit wird eine Datentabelle angezeigt, die für jeden Effekt aus dem Dialogfeld „Modell anpassen“ eine Spalte (sowie eine Simulations-ID, SimID) und 2501 Zeilen enthält – die erste ist die ursprüngliche Anpassung und als ausgeschlossen markiert, während die anderen Zeilen den Ergebnissen einer unserer 2500 simulierten Antworten entsprechen. Die Werte sind die p-Werte für jeden Effekt aus „Modell anpassen“. 
Die Ein-Klick-Simulation hat die Datentabelle außerdem mit einem Verteilungsskript vorbefüllt und, da sie erkennt, dass es sich bei den Ergebnissen um P-Werte handelt, mit einem weiteren Skript namens „Power Analysis“. Die Ausführung des Power Analysis-Skripts liefert eine Verteilung der P-Werte für jeden Effekt sowie eine Zusammenfassung mit dem Titel „Simulierte Power“ mit der Ablehnungsrate bei verschiedenen Alpha-Niveaus. Betrachten wir beispielsweise den Effekt von Faktor B, sehen wir, dass bei Alpha = 0,05 in 2103 von 2500 Fällen die Nullhypothese „kein Effekt“ bei einer Ablehnungsrate (empirische Power) von etwa 84 % abgelehnt wurde.
Normalerweise klicke ich mit der rechten Maustaste auf eine der simulierten Leistungstabellen und wähle „Kombinierte Datentabelle erstellen“. Dadurch wird eine Datentabelle erstellt, die die Ablehnungsraten für jeden Term auf den vier verschiedenen Alpha-Niveaus angibt. Dies erleichtert die Anzeige der Ergebnisse im Graph Builder, beispielsweise die Ergebnisse für Alpha = 0,05. 
Jetzt können wir sehen, dass wir über eine hohe Trennschärfe verfügen, um die Effekte für A und B zu erkennen (erinnern Sie sich, dass sie die größten Koeffizienten hatten), während C und der Achsenabschnitt bei etwa 50 % liegen. Da D in unserer Simulation inaktiv war, liegt die Ablehnungsrate erwartungsgemäß bei etwa 0,05. Wir könnten bei einer Trennschärfe von 50 % besorgt sein, vorausgesetzt, der Effekt von C ist korrekt. Da diese Simulationen so einfach durchzuführen sind, können wir ganz einfach zu „Antworten simulieren“ zurückkehren und die Anzahl der Versuche für jede Zeile des Designs ändern, bevor wir eine weitere Ein-Klick-Simulation ausführen. Ebenso könnten wir ein größeres Design erstellen, um zu sehen, wie sich das auf die Trennschärfe auswirkt. Wir könnten sogar versuchen, die Modellierung mithilfe einer verallgemeinerten Regression mit einer Binomialverteilung durchzuführen.
Abschließende Gedanken
Ein wichtiger Aspekt dieser neuen Funktion besteht für mich darin, dass man damit problemlos verschiedene „Was-wäre-wenn“-Szenarien durchspielen kann. Dies gilt insbesondere in Screening-Situationen, in denen bei der Datenanalyse häufig Modellauswahltechniken zum Einsatz kommen. Jetzt können Sie empirische Power-Berechnungen durchführen, die zu Ihrer geplanten Analyse passen und Sie auf Fallstricke aufmerksam machen, die während der Analyse auftreten können. Obwohl dies vor JMP 13 möglich war, fand ich normalerweise nicht die Zeit, bei jedem Design eine eigene Formel zu erstellen. In der kurzen Zeit, in der ich die Ein-Klick-Simulation verwende, hat mir die einfache Formelerstellung und Simulationsausführung Erkenntnisse gebracht, die ich sonst nicht gewonnen hätte, und ist zu einem wichtigen Werkzeug in meinem Werkzeugkasten geworden.
