Ok, quindi parliamo di progettazione e analisi di esperimenti quando abbiamo una risposta pass/fail. Parlerò di risposte pass/fail durante questa sessione. Tuttavia, questo si applicherà davvero a qualsiasi caso in cui abbiamo a che fare con una risposta che ha due categorie, ovvero binarie, che puoi essere una delle due categorie o l'altra. Sono reciprocamente esclusive ed esaustive. Pass/fail, go/no-go, sì/no, finché quella risposta ha due categorie reciprocamente esclusive ed esaustive. Divideremo la sessione in quattro parti diverse. Inizieremo con un esempio. Forse, si spera, ti sembrerà familiare.
Spero che sia qualcosa che potresti aver visto in passato in termini di gestione di un esperimento con risposte di fallimento passate. Entreremo un po' in cose che possono andare male. Dopo di che, parleremo del modello perché tutto dipende dalle ipotesi di base che sto facendo sul modello e da dove ciò guida la direzione in termini di analisi che scelgo e in termini di dimensionamento dell'esperimento. Una volta che avremo finito con le diapositive di PowerPoint, vedremo effettivamente come analizzerei i dati sperimentali, i dati di esempio che presenterò.
Parleremo di alcune delle opzioni disponibili sia in JMP che in JMP Pro. Quindi, infine, concluderemo con come si dimensiona un esperimento? Come si scopre con gli esperimenti pass/fail, non sono le esecuzioni sperimentali, ma il numero di esecuzioni sperimentali, il numero di prove per condizioni sperimentali che contano. Parleremo di come abbiamo impostato in JMP Pro, di come abbiamo impostato la simulazione che ci consentirà di determinare se questo numero di prove è abbastanza buono. Parliamo del nostro esempio, quindi stiamo creando widget. Abbiamo un processo in cui non siamo particolarmente soddisfatti del tasso di fallimento.
Abbiamo identificato quattro diversi fattori che pensiamo ci aiuteranno a migliorare il nostro tasso di guasto per questi widget, abbiamo un additivo, abbiamo una fase di compressione, dove ci sono tre fattori che varieremo. Abbiamo temperatura, pressione e tempo di attesa che varieremo. La domanda è: il widget ha un difetto? Elaboriamo il widget. Sì, ha un difetto, no, non ha un difetto. Se ha un difetto, lo chiamiamo guasto. L'attuale tasso di difetto è del 15% e lo useremo alla fine per dimensionare il nostro esperimento.
Il nostro obiettivo è di ridurre il tasso di errore al cinque percento. Tuttavia, saremmo felici se fossimo in grado di identificare una differenza di circa il tre-cinque percento. Se fossimo in grado di rilevare che il nostro tasso di difetto scende a, diciamo, il dieci percento, allora saremmo felici. Vorremmo essere in grado di rilevarlo. L'altra cosa Tutto ciò che voglio sapere è che ogni esecuzione dura circa 10 minuti. Non sono illimitato in termini di quante esecuzioni voglio. Posso fare circa sei esecuzioni all'ora.
Bene, diciamo che inseriamo questo fattore in JMP. Apriamo un progettista personalizzato. Decidiamo di volere un progetto di superficie di risposta. Aggiungeremo tre punti centrali e questo è il progetto che ci viene in mente. Fin qui tutto bene. Prendiamo il progetto, lo inviamo all'operatore che eseguirà l'esperimento e loro ci restituiscono questo. Abbiamo 24 esecuzioni, circa 4 ore per eseguire questo esperimento. Ci viene detto che quegli uno e quegli zero rappresentano un'osservazione con un difetto o un'osservazione senza un difetto. Ora, vado ad analizzare i dati, li inserisco in JMP.
Ora, so che quegli uno e quegli zero non sono dati continui. Sono dati categoriali. Sono dati binari. Li tratterò come tali. Forse ne so abbastanza da sapere che ciò con cui ho a che fare è chiamato regressione logistica. Il modello, poiché ho progettato questo esperimento in JMP, il modello di superficie di risposta appare nella mia finestra di dialogo di costruzione del modello. Vado ad adattare l'analisi e, subito, dovrei preoccuparmi. Per quanto riguarda quelle stime dei parametri, ricevo questo messaggio che dice che quelle stime dei parametri sono instabili.
Diciamo che ne parlo con qualcuno che è un po' più esperto di questo tipo di esperimenti e mi dice, beh, il problema è che hai fatto solo una prova per un set di condizioni di trattamento. Devi davvero farne più di una per essere in grado di ottenere una buona stima. Diciamo che torno dentro e ne parlo con l'operatore perché non gli piace l'idea di aumentare la dimensione del mio esperimento da una prova a cinque prove. Ora ho un esperimento che durerà circa 20 ore. Ma li ho convinti che dobbiamo davvero farlo, decidere di rieseguire l'esperimento in cui ora ho cinque prove, per ogni set di condizioni sperimentali.
Recupero i miei dati. Ho due nuove colonne che sono tornate con il mio esperimento. Ho quella colonna Y5 che corrisponde al numero di volte in cui è stato riscontrato un errore. Ho la colonna con la N che corrisponde al numero di prove, per un set di condizioni sperimentali. Ora, questa volta, invece di lavorare con i dati di conteggio, penso, forse quello che farò è dividere il numero di prove fallite, diviso per il numero di prove totali, e lo tratterò come dati continui. Qui ho la proporzione di errori per un dato set di condizioni sperimentali.
Tratterò questo come dati continui. Mi fa sentire più a mio agio perché ho più familiarità con la modellazione dei dati in questo modo. Lo stesso modello che abbiamo visto l'ultima volta, tuttavia, anziché usare la regressione logistica, userò semplicemente i quadrati di locazione standard. Bene, finora tutto bene. Uso la mia tecnica di modellazione preferita, forse userò la mia tecnica di riduzione del modello preferita, e poi mi viene in mente questo modello finale. Di nuovo, finora tutto bene. La prossima cosa che voglio fare è ottimizzare.
Voglio sapere quali condizioni porteranno a quel tasso di errore il più basso possibile. Uso l'ottimizzatore all'interno del profiler e mi dice di impostare tutto il tempo a 45 secondi, di impostare la temperatura a 45 gradi C e questo dovrebbe darmi un tasso di errore previsto inferiore a zero. Potrei essere disposto a scartare questa possibilità perché è abbastanza vicino allo zero da dire, beh, forse è solo molto vicino allo zero, non è sotto lo zero. Ma so che tecnicamente non è possibile. Non posso avere tassi di errore sotto lo zero. Anche se potessi procedere con questo, potrei dire a me stesso, beh, quanto è accurata questa stima?
Quanto sono davvero vicino allo zero? Ho costruito un modello scadente? Tutto torna al modello che ho... Le ipotesi che ho fatto, quando tratto i dati come continui e le ipotesi che probabilmente dovrei fare Quando ho dati pass/fail. Questo è il nostro modello tipico. Abbiamo sul lato sinistro, abbiamo le nostre risposte, le nostre osservazioni. Nel nostro caso, è la probabilità di un fallimento. Mi dispiace, sul lato sinistro, abbiamo la probabilità di un fallimento.
Sul lato destro, abbiamo i nostri modelli lineari, ciò che stiamo provando, la relazione che stiamo cercando di costruire tra i nostri input e i nostri output. Questo è solitamente ciò che consideriamo. Le ipotesi tipiche in questo caso sono che quella relazione sia lineare, che il mio intervallo di risposta sia illimitato e che i miei residui siano normali. I miei residui sono, adatto un modello ai dati, qualunque cosa rimanga, quelli sono i miei residui. Presumo che siano distribuiti normalmente, il che significa che sono simmetrici attorno allo zero e hanno tutte queste belle proprietà. Questa è una parte del problema.
Se abbiamo a che fare con le probabilità, la nostra risposta assomiglia davvero a qualcosa del genere, dove ho qualcosa che penso sia più una forma a S che una relazione lineare. Quella relazione lineare non regge davvero. Nemmeno l'intervallo di risposta illimitato regge perché so che, poiché ho a che fare con le probabilità, non può avere nulla sotto zero, non può avere nulla sopra uno. Anche il punto finale, l'ipotesi di errori normali non funziona. Se ci pensi, man mano che mi avvicino sempre di più allo zero, quando i miei valori previsti si avvicinano sempre di più allo zero, il mio residuo I avrà sempre meno spazio per operare. Quello tra il mio valore stimato e lo zero, inizia a ridursi.
Non posso avere errori simmetrici prossimi allo zero. Allo stesso modo, non posso avere errori simmetrici man mano che mi avvicino sempre di più a uno. In questo caso qualcosa deve cedere. Ora, spero che ci sia una soluzione a questo problema che sia semplice. Una semplice trasformazione, probabilmente. Speriamo, e forse l'uso di una distribuzione diversa. Possiamo farlo in JMP? La risposta è che abbiamo tre diverse opzioni. La prima opzione, che abbiamo già visto nell'esempio, è la regressione logistica. Questa consiste nell'usare la trasformazione Logit sui dati.
In questo caso, non stiamo guardando le probabilità come una risposta, stiamo guardando il rapporto dei nostri due diversi livelli di risposta. La probabilità di un fallimento divisa per una probabilità di un superamento, e stiamo prendendo il logaritmo di questo. Stiamo prendendo quel logaritmo per rendere la relazione una relazione lineare. Un altro modo di vedere questo è che, poiché abbiamo solo due livelli diversi, potrebbe essere il rapporto della probabilità del fallimento diviso per 1 meno la probabilità di fallimento. Ora, se hai mai usato questo tipo di modelli prima, e hai sentito il termine probabilità e probabilità logaritmiche, questa è esattamente la definizione.
Quella primissima parte dell'equazione è la definizione di cosa sono le probabilità. È il rapporto tra un livello e il rapporto tra l'altro livello. Queste sono le mie probabilità, e poi sto solo prendendo il logaritmo di quelle. Questa è un'opzione. Un'altra opzione è usare quella che viene chiamata analisi di convalida. Con l'analisi di convalida, sto solo usando una trasformazione diversa. In questo caso, sto usando l'inverso della distribuzione normale. O se l'ho mai costruito nell'editor di formule o usando JSL, questa è solo la normale funzione quantile.
Ora, c'è una terza opzione possibile in JMP. Richiede un po' di lavoro e non entreremo nei dettagli in termini di utilizzo, ma voglio presentarla perché la si vede molto nella letteratura, ed è la funzione complementare Log. Ora, non è disponibile direttamente in JMP. Dobbiamo usare qualcosa come la piattaforma non lineare per costruirla da soli. Può essere approssimata con, c'è una distribuzione chiamata Smallest Extreme Value Distribution, ma dovremo lasciarla per un altro giorno. In realtà, ci concentreremo sulle cose che sono disponibili pronte all'uso in JMP.
Ora, c'è una seconda grande ipotesi che dobbiamo fare qui, e cioè, anche data la trasformazione che scegliamo, che sia Logit o Probit, assumeremo che l'errore sia una distribuzione binomiale. Perché è composta da due parti. Non solo sto eseguendo la trasformazione, sto anche assumendo una distribuzione diversa. Come ho detto, le prime due sono disponibili direttamente nelle piattaforme in JMP, quindi sono facili. Ci concentreremo su quelle. L'ultima può essere modellata usando la piattaforma non lineare. La cosa bella è che tutto è disponibile dalla piattaforma del modello di adattamento. Ho tre diverse opzioni in JMP.
Posso usare la regressione logistica, che, di nuovo, abbiamo visto nell'esempio. C'è un'opzione chiamata modello lineare generalizzato, e c'è una forte relazione tra la regressione logistica nominale e quella lineare generalizzata. Quindi, per gli utenti di JMP Pro, abbiamo la regressione generalizzata, che mi offre anche un sacco di altre opzioni. Ora, c'è un'altra piattaforma in cui puoi fare una semplice regressione logistica che è adatta Y per X. Ma, poiché abbiamo a che fare con una condizione sperimentale e di solito abbiamo più di un fattore, non ne parlerò. Ma per la semplice regressione logistica, adatta Y per X funziona anche.
Prima di entrare nel dettaglio di come implemento questo in JMP, dobbiamo parlare dell'organizzazione dei dati perché come organizziamo i dati, quali sono i dati che sappiamo come organizzare i dati? È facile impostarlo nella finestra di dialogo del modello di adattamento. Lasciatemi fare un esempio rapido e semplice. Diciamo che abbiamo un esperimento a due fattori, tempo e temperatura. Abbiamo fatto un fattoriale completo, quindi abbiamo tutte le possibili combinazioni di tempo e temperatura. Diciamo che abbiamo intenzione di fare cinque prove per trattamento sperimentale.
Per trattamento, intendo riga, il nostro set unico di combinazioni, la nostra riga in questa tabella dati. Ho tre modi diversi in cui posso impostare i dati. Il primo modo in cui potrei impostare i dati è semplicemente come dati grezzi. Ogni riga nella mia tabella dati corrisponde a una prova. Noterai che la prima riga nei dati grezzi è una combinazione di trattamento uno, con un dato orario e temperatura. In questo caso, la mia risposta binaria è se la mia risposta è verde o rossa. Quella prima risposta era verde. La seconda riga è di nuovo la combinazione di trattamento uno, e quella risposta era rossa e così via.
Questo è il formato raw. Tutti e tre questi approcci possono usare il formato raw. Ora, posso riassumere. A volte ha più senso riassumere i dati. Quando riassumo i dati, sto riassumendo sia la condizione di trattamento che il livello di risposta. Noterete che, per la prima riga, nella pila riassunta, ho la condizione di trattamento uno, ho tutti i verdi e ho due casi in cui ho visto il verde. La seconda riga è la mia seconda combinazione di trattamento, tre osservazioni di verde e così via. Quello che ho appena aggregato, sulla mia combinazione di trattamento e sui miei livelli di risposta.
Bene, tutti e tre gli approcci possono usare quel formato di stack riassuntivo. La terza organizzazione, e probabilmente la più naturale per molte persone perché assomiglia molto all'organizzazione che userei per un modello lineare, ed è il formato di suddivisione riassunta. In questo caso, ho aggregato, di nuovo, la combinazione di trattamento, ma solo per uno dei miei livelli di trattamento. Noterai che in questo caso, ho contato il numero di volte in cui ho visto un'osservazione verde per ogni prova, e ho anche contato il numero di prove. Se dovessi, diciamo, creare un DOE usando il progettista personalizzato, questo è il formato che mi aspetterei di usare, se stessi inserendo dati.
Se volessi usare il formato stack riassuntivo, dovrei effettivamente duplicare queste esecuzioni. Ne avrei una per il mio verde, una per il mio rosso e riorganizzare le cose in modo leggermente diverso. Ora, la regressione logistica non può usare questo formato. Devo usare uno degli altri due formati. I modelli lineari generalizzati e la regressione generalizzata possono usare questo formato. Qualcosa da notare se si prevede di usare la regressione logistica. Okay, quindi lasciatemi fare questo. Basta con il PowerPoint. Lasciatemi andare in JMP e parliamo di come avrei analizzato ciascuno di quegli esempi, con i dati sperimentali che abbiamo visto.
Ok, facciamo la regressione logistica. Inizieremo con il primo esempio, la regressione logistica. Noto anche che ho il mio stack riepilogativo, ho un formato qui. Ho una colonna che contiene i miei passaggi e i miei fallimenti, il conteggio. Questi sono dati aggregati. Ho il conteggio anche in un'altra colonna. Bene, quindi è abbastanza semplice. Tutto ciò di cui parleremo sarà un modello di sottoadattamento. Poiché l'ho progettato in JMP, viene fornito insieme al mio modello.
Questo è il mio modello di superficie di risposta in cui ho progettato l'esperimento. Ha già precompilato la mia finestra di dialogo qui. Ma tutto quello che voglio sottolineare è che qui ho, la mia risposta in questo caso è nominale. Questo è pass/fail. Ho anche bisogno di quei conteggi lì perché ho aggregato i miei dati. Sceglierò il mio livello di destinazione, e questo dipende davvero dall'orientamento in cui voglio vedere il mio output, se voglio fare cose dall'orientamento pass o dall'orientamento fail. Lasciami solo impostare questo. Riportiamolo a pass. Ora, ho un paio di scelte diverse qui.
Entrambe sono regressioni logistiche. Ho una regressione logistica nominale. Se conosco un po' di regressione stepwise, posso anche eseguire una regressione stepwise sul mio modello Logit, sul mio modello di regressione logistica. Anche questa è un'opzione. Bene, quindi restiamo con la logistica nominale originale. Eseguirò il mio modello. Di nuovo, userò una tecnica di riduzione dei dati o una tecnica di riduzione del modello. Potrei semplicemente entrare lì e rimuovere manualmente gli elementi dal modello e così via. Oppure avrei potuto usare la regressione stepwise per questo.
Davvero, non è importante perché ho il modello giusto per iniziare. Lasciatemi rimuovere un altro termine dal mio modello. Ecco fatto. Diciamo che questo è il nostro modello finale, siamo soddisfatti di questo modello. Andiamo nel nostro Profiler. Lasciatemi scorrere fino in fondo al Profiler, ingrandirlo un po', così possiamo vedere meglio. Ora, uno dei vantaggi dell'utilizzo di questo modello è che il mio profilo, i miei passaggi e fallimenti, sono vincolati, ma dobbiamo avere probabilità tra zero e uno. Lasciatemi attivare le mie Funzioni di desiderabilità. Ora, questo sembrerà un po' diverso perché è davvero diviso in due gruppi.
Ho la mia quota di passaggi che voglio raggiungere e la quota di fallimenti. Abbasserò semplicemente quegli errori a zero perché non voglio ottimizzare per nessun errore. Aumenterò la mia Desiderabilità sui miei passaggi e, andiamo avanti e massimizziamo la mia Desiderabilità. Mi dice, di nuovo, lo stesso tempo intero in temperatura. Tuttavia, ottengo una stima migliore di quale sia quel tasso di fallimento previsto o il tasso di superamento previsto in questo caso. Questo mi dice che dovrei avere circa, con quelle impostazioni, dovrei avere circa un tasso di superamento del 96%, quindi circa un tasso di fallimento del quattro percento.
Di sicuro non sotto zero e un po' più lontano da zero di quanto mi sarei aspettato. Ok, passiamo ai nostri modelli lineari generalizzati e useremo il formato split riassuntivo. Di nuovo, questo è qualcosa che se hai usato modelli lineari prima di questo, dovrebbe sembrarti familiare, questo formato. Ho queste sono probabilmente le osservazioni che sono venute dal mio esperimento di progettazione. Ho contato il numero di osservazioni in uno dei miei livelli e, in questo caso, ho contato il numero di elementi fallimentari e poi ho il numero totale di prove.
Bene, di nuovo, andrò nella mia finestra di dialogo Adatta modello. Questa è impostata in modo un po' diverso. Per questa particolare organizzazione, ho due variabili continue. La prima deve essere il conteggio del mio livello individuale e la seconda deve essere il mio conteggio totale. Ho già impostato di default qui su Modello lineare generalizzato. Ho scelto la mia distribuzione. In questo caso, è impostato di default su Binomiale. Qui è dove ho la possibilità di guardare Logit o Probit. Abbiamo ottenuto leggere differenze in termini di probabilità. Andiamo avanti con Logit. Ora, di default, Logit e Regressione logistica mi daranno gli stessi risultati.
Ciò che rende i modelli lineari generalizzati un po' un vantaggio è che ho la possibilità di allentare alcune delle ipotesi che abbiamo visto prima. Una di queste ipotesi è che il termine di errore segue una distribuzione binomiale. Con gli errori binomiali, sono fissi, sono gli stessi indipendentemente da quale sia quella probabilità. Attivando la mia sovradispersione, dico, beh, la variabilità è un po' più grande di quanto mi aspetto, o l'errore potrebbe essere un po' più grande di quanto mi aspetto. Allenta un po' quell'ipotesi di errori binomiali.
Posso anche adattare le mie stime per potenziali bias. Attiverò semplicemente la mia sovradispersione. Di nuovo, eseguirò il mio modello. Ora, uno degli svantaggi di questo approccio è che qui non hai la capacità di procedere per gradi. Devi entrare lì e farlo manualmente o far assumere un modello prima di decidere con quale modello finale vuoi lavorare. Di nuovo, lo farò manualmente. Troverò i miei tre fattori importanti. Noterai che se dovessi confrontarlo con la regressione logistica, poiché avevo attivato quella sovradispersione, la mia variabilità è in realtà un po' più grande di quanto stimato.
Il mio valore P è un po' più grande. Qui devo chiedermi, beh, voglio davvero credere che anche se non sono significativi, non valga la pena di rimanere nel modello e così via. Ma la cosa bella è che ho la possibilità di dover essere in grado di rilassare quella particolare ipotesi nel modello. Di nuovo, se voglio accendere il mio Profiler e fare la mia ottimizzazione, è disponibile anche quello. Ho le stesse belle capacità. In questo caso, un'organizzazione un po' diversa perché non sto modellando i fallimenti passati, sto modellando la probabilità. È il profiler che siamo più abituati a vedere. Ovviamente, in questo caso, non voglio ottimizzare questo perché starei massimizzando i miei fallimenti. Lo minimizzerò. Andiamo avanti e ottimizziamolo.
Di nuovo, mi dice sempre, 45 secondi, temperatura, 45 secondi. Mi darà una stima leggermente diversa, anche se sono molto vicine. Di nuovo, la cosa bella è che sono limitato qui. Non importa dove va quel cursore, sono limitato tra zero e uno con quelle probabilità. Bene, quindi per l'esempio finale, parliamo di regressione generalizzata. Ora, questa è una funzionalità solo di JMP Pro. Mi dà un paio di altre opzioni aggiuntive. Ottengo lo stesso punto da cui iniziare, adattare il modello, stessa configurazione perché ho i miei dati suddivisi riepilogati.
Tuttavia, sceglierò la regressione generalizzata. Ora, sceglierò una distribuzione diversa. In questo caso, so che la mia risposta è impostata con due variabili diverse qui. Ho una risposta binomiale, oppure posso scegliere beta-binomiale. Beta-binomiale è una tecnica analoga all'utilizzo di quell'opzione di sovradispersione nel mio modello lineare generalizzato. Ciò mi consente di tenere conto di una varianza che cambia in funzione di dove si trova la probabilità. In questo caso, ci atterremo all'impostazione predefinita. Andiamo avanti ed eseguiamo il modello.
Se hai già utilizzato la regressione generalizzata, sai che tutte le tue tecniche di riduzione del modello sono disponibili su questa piattaforma. Quello che probabilmente farei in questo caso è probabilmente usare una di queste tecniche. Lasciami assicurarmi di avere il mio... Farò rispettare l'ereditarietà. Usiamo la regressione stepwise in avanti. Ho un sacco di opzioni diverse qui. Se non hai mai visto una regressione generalizzata prima, ho un sacco di belle opzioni diverse in termini di tecniche di riduzione del modello. Userò la regressione stepwise in avanti, che è l'impostazione predefinita per la regressione stepwise. Fai clic su Vai ed ecco il mio modello finale.
Di nuovo, molto coerente. Tutti e tre questi modelli mi stanno mostrando risultati molto coerenti. Le stime dei parametri saranno leggermente diverse. Le probabilità saranno leggermente diverse. Ok, quindi ora la domanda è: ho eseguito abbastanza prove per essere in grado di rendere questo esperimento davvero utile? Questo ci porta a come dimensionare correttamente il mio esperimento? Lasciatemi tornare al mio mazzo di diapositive di PowerPoint per un paio di brevi diapositive sull'impostazione dell'esperimento.
Il modo in cui lo faremo, il modo in cui dimensioneremo l'esperimento e, a proposito, questa è una funzionalità disponibile solo in JMP Pro. Per gli utenti non JMP Pro, potreste essere in grado di scrivere uno script JSL per questo, ma sarebbe molto macchinoso. JMP Pro rende questo estremamente facile in termini di impostazione. Inizieremo con il progettista personalizzato. Quello che faremo è costruire il nostro progetto previsto utilizzando il progettista personalizzato. Prima di generare la tabella finale che vediamo, attiveremo le risposte simulate.
Questo sarà nell'hotspot nell'angolo in alto a sinistra. Una volta creata la tabella dati, avremo una finestra di dialogo in cui potremo modificare i coefficienti. Quindi nella prossima diapositiva parlerò un po' di come impostiamo quali sono quei coefficienti? Cambieremo quei coefficienti. Li cambieremo alla grandezza desiderata. Di nuovo, entrerò un po' più nel dettaglio nella prossima diapositiva. Una volta modificati i coefficienti, imposteremo l'errore su binomiale e selezioneremo la dimensione del campione, il numero di prove che vogliamo vedere e poi faremo clic su Applica.
Ciò che mi dà l'opzione di risposta simulata, verrà creato, poiché ho scelto errori binomiali, mi darà due colonne, una colonna con il numero di prove simulate, successi delle prove e l'altra con il numero totale di prove. Questo è ciò che useremo per fare la nostra simulazione complessiva. Parliamo di come impostiamo questi coefficienti perché questo è un passaggio cruciale in termini di dimensionamento dell'esperimento. Il modo in cui impostiamo questi coefficienti dipenderà dal modello sottostante. Questo è se scelgo un modello Logit o Probit.
Il mio esempio utilizzerà i dati che abbiamo visto al momento, utilizzerà l'esempio che abbiamo visto al momento con il modello Logit. Ciò determinerà come impostiamo quei valori, la probabilità di base. Se ricordate dal nostro esempio, abbiamo detto che, beh, alla base, abbiamo circa un tasso di fallimento del 15%. Questa sarà la nostra base. Quindi dobbiamo chiederci, beh, a quale probabilità vorrò essere in grado di vedere una differenza? Di nuovo, ricordate, abbiamo detto che se fossimo stati in grado di vedere un cambiamento al 10%, allora saremmo stati felici. Quindi questa è la dimensione che vogliamo nel nostro esperimento, questa capacità di vedere un cambiamento passando dal 15% al 10% di miglioramento.
Quello che faremo è usare effettivamente la trasformazione che abbiamo visto per calcolare i valori alla nostra baseline, al nostro 10%, alla probabilità che vogliamo rilevare. Prenderemo la differenza di quei due valori e la useremo come coefficiente. Se stiamo usando questa baseline Logit è solo quel 15% diviso per 1 meno il 15%. La nostra baseline è -1,73. Se siamo interessati a vedere un cambiamento al tasso di fallimento del 10%, di nuovo, lo inserirò semplicemente nell'equazione. È 0,1 diviso per 1 meno 0,1. Ciò mi dà un negativo 2,2. Ciò rende il coefficiente solo la differenza tra quei due valori. Userò circa 0,5 come coefficienti.
Basta con PowerPoint. Andiamo a vedere come si fa in pratica. Ho il mio esperimento, i miei fattori sperimentali. Userò semplicemente il progettista personalizzato. Lasciatemi andare avanti e caricare i miei fattori lì. Costruirò il progetto che voglio. Se ricordate, ho detto, beh, ho un progetto di superficie di risposta. Aggiungiamo tre punti centrali lì. Facciamolo in 24 esecuzioni, diciamo. Andrò avanti e cliccherò Crea progetto, lascerò che funzioni e determini il progetto migliore dall'algoritmo. Prima di generare quell'ultima tabella, andrò all'hotspot e dirò Simula risposte. Ora, creerò la mia tabella. Quella tabella mi dà il mio progetto e cambierò i miei coefficienti con i valori che ho calcolato.
Lasciatemi andare avanti e reimpostarli. Ho detto che la mia intercetta era -1,73. Imposterò ciascuno dei miei coefficienti a 0,5. Lasciatemi copiare questo, così posso incollarli. Infine, imposterò la mia distribuzione, la mia distribuzione di errore su Binomiale. Ora, farò clic sul pulsante Applica. Voglio che teniate d'occhio quella tabella. Ciò che farà è generare quelle due colonne che userò per la mia analisi. Lasciatemi tornare indietro un secondo. Volevo impostare la dimensione del mio campione. Non posso dimenticare di farlo. Se ricordate nell'esperimento originale, avevo cinque esecuzioni. Quella seconda volta che ho eseguito l'esperimento. Lo riapplicherò. Ora ho le equazioni corrette lì dentro.
Queste sono le colonne che userò per l'analisi iniziale e per fare la simulazione. Ora, se volessi, potresti effettivamente firmare questi effetti. Con firma intendo renderli negativi o positivi, a seconda della relazione che ti aspetti di vedere. Per una questione di tempo, non ne ho parlato. Ho una diapositiva che spiega come potrei esaminare questi diversi effetti e dire, beh, dovrebbe essere positivo o negativo? Anche questo può essere fatto. Certamente, influenzerà i risultati in misura minore rispetto all'effettiva entità delle dimensioni dell'effetto. Ma tanto che con la maggior parte dei progetti, a meno che non siano completamente ortogonali, c'è correlazione in quegli effetti, e se un effetto è positivo o negativo potrebbe avere una certa influenza sui miei valori di potenza.
Ora che ho finito, ora che ho effettivamente generato il mio progetto iniziale, andrò nel mio Fit Model. Analizzerò il progetto. Devo assicurarmi di inserire le mie simulazioni e prove. Di solito userò, con questa particolare situazione, userò la regressione generalizzata e, ancora una volta, userò Binomiale per tutte quelle opzioni in termini di riduzione del modello. La cosa bella è che con la simulazione, tutte queste opzioni vengono portate a termine. Non devo preoccuparmi di scrivere script per poterlo fare. Andiamo avanti ed eseguiamolo. Di nuovo, userò la selezione in avanti. Farò clic su Vai. Lasciami scorrere verso il basso fino al mio modello di selezione in avanti. È proprio qui.
Ora che ho la mia singola osservazione, quello che posso fare è cliccare con il tasto destro. Di solito passo il mouse su uno dei valori di probabilità. Faccio clic con il tasto destro e, in fondo, c'è un'opzione Simula. Devo assicurarmi che quella colonna formula con il numero simulato di successi sia selezionata in entrambi questi, e per impostazione predefinita, dovrebbe esserlo. Specificherò il numero di prove campione che voglio fare. Ora, una volta cliccato su vai, quello che succederà è che ogni iterazione della simulazione, ricalcolerà quella colonna formula e mi darà un nuovo set di numeri di prove dato il mio modello sottostante.
Farò questo per 2.500 esecuzioni, e poi aggregherà quei dati in un bel report. Ora, invece di perdere tempo e guardare il meccanismo, è veloce. Di solito ci vogliono solo circa mezzo minuto, forse un minuto. Ho effettivamente eseguito i risultati, e questo è l'aspetto dei risultati. Qui ho le mie 2.500 esecuzioni, meno la primissima esecuzione iniziale. Ho effettivamente aggiunto alcune funzioni aggiuntive qui, formule qui, che sarò felice di condividere. Ma questi sono i due script che vengono aggiunti quando viene generato questo report. L'analisi della potenza è solo un sottoinsieme della distribuzione. Diamo un'occhiata all'analisi della potenza.
Ciò che fa è darmi un sacco di dati in termini di per tutte quelle esecuzioni, qual è la distribuzione di quei valori P? Se ricordi il modello sottostante in questo caso, tutto era significativo. Ciò che mi dice è che questa è la distribuzione dei miei valori P che ho visto attraverso la mia simulazione, che il mio valore previsto è circa 1 su 10.000, quindi va bene. Ottengo un calcolo del mio intervallo di confidenza attorno al mio valore P previsto. In realtà, non penso che sia un intervallo di confidenza poiché stiamo utilizzando un approccio bayesiano.
Questo è un intervallo più credibile. Forse è un intervallo di confidenza. Ma limiterà dove si trova quel valore di probabilità. Ma un'informazione interessante e importante è il numero di volte in cui ho rifiutato la mia, in questo caso, ipotesi nulla. Questo mi dice che se dovessi scegliere un livello alfa di 0,01, avrei rifiutato quell'ipotesi nulla circa la metà delle volte, anche se so che, in effetti, la modello per essere un effetto reale. Se vado a 0,05, l'ho rifiutata circa tre quarti delle volte e così via.
Questa è l'informazione che uso per porre la domanda: ho dimensionato correttamente il mio esperimento? Sarò in grado di rilevare i miei effetti principali, i miei effetti principali e le interazioni a due fattori, qualsiasi altro effetto sul mio modello, un numero di volte sufficiente, una proporzione di volte sufficiente per rendermi soddisfatto del numero di esecuzioni che ho scelto? Ciò che mi sono spesso trovato a fare in questi casi, quindi non solo mi affido ad alcuni dei report integrati, ma ciò che farò è contare, ad esempio, il numero di effetti significativi corretti.
Inserirò un valore limite e calcolerò il numero di risposte corrette. Di nuovo, tutto questo sarà confezionato insieme al materiale, con un po' di spiegazione e le formule di come costruirei tutti questi modelli. Di nuovo, ho davvero bisogno di usare la mia definizione di rischio per determinare se ho catturato un numero sufficiente di quegli effetti significativi per rendere quell'esperimento degno di essere eseguito per 5 o 10 o 20 esecuzioni e così via. Bene, quindi questo conclude ciò che volevo mostrarti in JMP. Torniamo al nostro riepilogo.
Per riassumere, quando modellizzo questi dati, userò la piattaforma Fit Model, indipendentemente da quale delle tecniche utilizzo. Ho la regressione logistica, nel qual caso potrei usare sia la regressione logistica che la regressione stepwise con la regressione logistica in background. Ho modelli lineari generalizzati, che per impostazione predefinita mi daranno lo stesso output della regressione logistica, ma con la capacità aggiuntiva di allentare l'ipotesi sui miei errori e di correggere i bias. Quindi ho la regressione generalizzata se ho JMP Pro che mi consente di fare ciò che vedrei nella regressione logistica o nel modello lineare generalizzato, più l'ulteriore vantaggio di consentirmi di fare anche una produzione di modelli.
Quando dimensiono l'esperimento, costruirò il mio esperimento usando il progettista personalizzato e poi userò la funzione di simulazione integrata di JMP per poter eseguire il mio esperimento di simulazione bootstrap, la mia analisi di simulazione bootstrap. Questo conclude ciò di cui volevo parlare. Ci saranno informazioni aggiuntive nelle diapositive supplementari, che purtroppo non ho tempo di esaminare, ma spero che vi sia piaciuto ciò che avete visto e, si spera, che sia qualcosa che potrete usare in futuro e che sarà utile. Grazie mille.
