Quando si progetta un esperimento, un parametro diagnostico comune è la potenza statistica degli effetti. Bradley Jones ha scritto diversi post sul blog proprio su questo argomento . In sostanza, qual è la probabilità di rilevare effetti non trascurabili dato un modello specifico? Naturalmente, per farlo è necessario un insieme di ipotesi/specifiche, come dimensioni dell'effetto, errore e livello di significatività dei test. Se non avete familiarità con l'argomento, vi consiglio di leggere alcuni di questi post precedenti.
Se la nostra risposta è continua e ipotizziamo un modello di regressione lineare, possiamo utilizzare i risultati dello schema di analisi della potenza nella sezione "Progettazione e valutazione". Tuttavia, cosa succede se la nostra risposta si basa su dati di tipo "superato/fallito", in cui prevediamo di effettuare 10 prove per ogni ciclo sperimentale? Per questa risposta, possiamo adattare un modello di regressione logistica, ma non possiamo utilizzare i risultati dello schema di valutazione della progettazione. Ciononostante, siamo comunque interessati alla potenza...
Cosa fare?
Potremmo effettuare una revisione della letteratura per valutare la stima della potenza e sperare di trovare qualcosa di applicabile (e farlo per ogni caso specifico che si presenterà in futuro). Tuttavia, è più semplice eseguire una simulazione Monte Carlo. Per farlo, dobbiamo essere in grado di generare risposte in base a un modello di regressione logistica specificato. Per ciascuna di queste risposte generate, adattare il modello e, per ciascun effetto, verificare se il valore p scende al di sotto di una certa soglia (ad esempio 0,05). Questo era possibile nelle versioni precedenti di JMP utilizzando JSL, ma richiede un certo livello di dimestichezza con gli script, in particolare con le formule di scripting e con l'estrazione di informazioni dai report JMP. Inoltre, è necessario trovare il tempo per scrivere lo script. In JMP Pro 13 , è ora possibile eseguire simulazioni Monte Carlo con pochi clic del mouse.
Sembra fantastico
La prima volta che ho visto la nuova simulazione con un clic, sono rimasto estasiato, pensando ai possibili utilizzi negli esperimenti progettati. Un elemento chiave necessario per utilizzare la funzionalità di simulazione con un clic è una colonna contenente una formula con una componente casuale. Se avete letto il mio precedente post sul blog sulla versione rinnovata di Simulate Responses in DOE , saprete che abbiamo già un modo per generare una formula di questo tipo senza doverla scrivere noi stessi.
1. Crea il progetto, quindi crea una tabella con l'opzione Simula risposte selezionata
In questo esempio, abbiamo quattro fattori (AD) e pianifichiamo un esperimento di otto esecuzioni. Darò per scontato che tu abbia familiarità con Custom Designer, ma in caso contrario, puoi leggere informazioni sulla piattaforma Custom Design qui . Questo esempio può essere impostato essenzialmente nello stesso modo di un esempio nella nostra documentazione .
Prima di fare clic sul pulsante Crea tabella, è necessario assicurarsi che Simula risposte sia stato selezionato dall'hotspot nella parte superiore della piattaforma Progettazione personalizzata. 
2. Impostare la simulazione
Una volta creata la tabella dati, dobbiamo impostare la simulazione tramite la finestra di dialogo "Simula risposta" descritta in precedenza . In "Distribuzione", selezioniamo "Binomiale" e impostiamo N a 10 (ovvero 10 prove per ogni riga del disegno). Qui, ho scelto diversi coefficienti per la distribuzione, con il fattore D con coefficiente pari a 0 (ovvero, quel fattore è inattivo). La finestra di dialogo "Simula risposta" che utilizzerò è la seguente: 
Facendo clic sul pulsante Applica, otteniamo una colonna "Y Simulated" che simula il numero di successi su 10 prove e una colonna che indica il numero di prove (utilizzata nel modello di adattamento). Per scopi di modellazione, ho copiato la colonna "Y Simulated" in "Y". 
Se osserviamo la formula per Y simulato, vediamo che può generare un vettore di risposta basato sul modello fornito nella finestra di dialogo Simula risposte. 
3. Adattare il modello
Ora che abbiamo una formula per simulare le risposte, dobbiamo impostare la modellazione per le risposte simulate. In questo caso, vogliamo raccogliere i valori p per gli effetti delle analisi di regressione logistica ripetute sulle risposte simulate. Dobbiamo prima eseguire l'analisi per una singola risposta. Se lanciamo la piattaforma Fit Model, possiamo aggiungere il numero di prove al ruolo di risposta (Y) e modificare la personalità in Modello Lineare Generalizzato con Distribuzione Binomiale. Il mio avvio di Fit Model si presenta in questo modo: 
Fare clic sul pulsante Esegui per adattare il modello. La sezione del report che ci interessa è la struttura delle stime dei parametri. 
Per la risposta simulata iniziale, A, B e C sono risultati attivi, mentre D non lo era (il che è corretto). Naturalmente, questo vale solo per una singola simulazione. Potremmo continuare a simulare un nuovo vettore di risposta e tenere traccia di questi valori p per ciascun effetto, oppure potremmo usare la simulazione con un clic e lasciare che lo faccia per noi.
4. Esegui la simulazione
La colonna che ci interessa per questo post del blog è "Prob>ChiSq". Facciamo clic con il pulsante destro del mouse su quella colonna per aprire il menu e (se avete JMP Pro ), in basso, sopra Bootstrap, vediamo l'opzione "Simula". 
La finestra di dialogo che si apre offre la possibilità di scegliere tra "Colonna da sostituire" e "Colonna da sostituire". Per le nostre simulazioni, invece di usare la risposta Y, vogliamo usare "Y simulata", poiché contiene la formula con il binomiale casuale. Invece di usare "Y" quando abbiamo utilizzato per la prima volta "Adatta modello", avremmo potuto usare "Y simulata" e sostituirla con se stessa. Il numero di campioni si riferisce al numero di volte in cui simulare una risposta. Qui l'ho lasciato a 2500. 
Ora clicchiamo semplicemente su OK e lasciamo che venga eseguito. Dopo una breve attesa, ci viene presentata una tabella dati contenente una colonna per ciascun effetto dalla finestra di dialogo Adatta modello (oltre a un ID di simulazione, SimID) e 2501 righe: la prima è l'adattamento originale, contrassegnata come esclusa, mentre le altre righe corrispondono ai risultati di una delle nostre 2500 risposte simulate. I valori sono i p-value per ciascun effetto dalla finestra di dialogo Adatta modello. 
La simulazione con un clic ha anche precompilato la tabella dati con uno script di distribuzione e, poiché riconosce i risultati come valori p, con un altro script chiamato Analisi di potenza. L'esecuzione dello script di Analisi di potenza fornisce una distribuzione dei valori p per ciascun effetto, nonché un riepilogo intitolato Potenza simulata con il tasso di rifiuto a diversi livelli di alfa. Ad esempio, se osserviamo l'effetto del fattore B, vediamo che con alfa = 0,05, 2103 volte su 2500 l'ipotesi nulla di nessun effetto è stata rifiutata per un tasso di rifiuto (potenza empirica) di circa l'84%.
In genere, clicco con il pulsante destro del mouse su una delle tabelle di potenza simulata e seleziono "Crea tabella dati combinati". In questo modo, si ottiene una tabella dati che riporta i tassi di rifiuto per ciascun termine ai quattro diversi livelli alfa. Questo semplifica la visualizzazione dei risultati in Graph Builder, ad esempio per alfa = 0,05. 
Ora possiamo vedere che abbiamo un'elevata potenza per rilevare gli effetti per A e B (ricordiamo che avevano i coefficienti più elevati), mentre C e l'intercetta sono intorno al 50%. Poiché D era inattivo nella nostra simulazione, il tasso di rifiuto è intorno allo 0,05, come ci aspetteremmo. Potremmo essere preoccupati per una potenza del 50% supponendo che l'effetto di C sia corretto. Grazie alla facilità di esecuzione di queste simulazioni, è semplice tornare a Simula risposte e modificare il numero di prove per ogni riga del disegno prima di eseguire un'altra simulazione con un clic. Allo stesso modo, potremmo creare un disegno più ampio per vedere come ciò influisce sulla potenza. Potremmo anche provare a modellare utilizzando la regressione generalizzata con una distribuzione binomiale.
Considerazioni finali
Per me, un aspetto chiave di questa nuova funzionalità è che consente di analizzare diversi scenari ipotetici con facilità. Questo è particolarmente vero se ci si trova in una situazione di screening, in cui non è insolito utilizzare tecniche di selezione dei modelli durante l'analisi dei dati. Ora è possibile disporre di calcoli di potenza empirica che corrispondono all'analisi che si intende utilizzare e che aiutano a individuare eventuali insidie che possono presentarsi durante l'analisi. Sebbene ciò fosse possibile prima di JMP 13, in genere non trovavo il tempo di creare una formula personalizzata ogni volta che valutavo un progetto. Nel breve periodo in cui ho utilizzato la simulazione con un clic, la facilità con cui posso creare la formula ed eseguire le simulazioni mi ha portato a intuizioni che altrimenti non avrei raccolto, ed è diventata uno strumento importante nella mia cassetta degli attrezzi.
