Bene, parliamo di come progettare e analizzare esperimenti quando abbiamo una risposta "superato/non superato". Parlerò di risposte "superato/non superato" durante questa sessione. Tuttavia, questo si applicherà a qualsiasi caso in cui abbiamo a che fare con una risposta che ha due categorie, ovvero binarie, in cui si può essere una delle due categorie o l'altra. Sono mutualmente esclusive ed esaustive. Superato/non superato, passa/non passa, sì/no, purché la risposta abbia due categorie mutualmente esclusive ed esaustive. Suddivideremo la sessione in quattro parti diverse. Inizieremo con un esempio. Forse, si spera, vi risulterà familiare.
Spero che sia qualcosa che potreste aver già visto in passato in termini di gestione di un esperimento con risposte di fallimento. Approfondiremo un po' le cose che possono andare storte. Dopodiché, parleremo del modello, perché tutto dipende dalle ipotesi di base che faccio sul modello e da dove queste orientano l'analisi che scelgo e il dimensionamento dell'esperimento. Una volta terminate le diapositive di PowerPoint, vedremo concretamente come analizzerei i dati sperimentali, i dati di esempio che presenterò.
Parleremo di alcune delle opzioni disponibili sia in JMP che in JMP Pro. Infine, concluderemo con come si dimensiona un esperimento. A quanto pare, con gli esperimenti pass/fail, non sono le esecuzioni sperimentali a fare la differenza, ma il numero di esecuzioni sperimentali, il numero di prove per condizione sperimentale. Parleremo di come abbiamo impostato JMP Pro, di come abbiamo impostato la simulazione che ci permetterà di determinare se questo numero di prove è sufficiente. Parliamo del nostro esempio, stiamo creando dei widget. Abbiamo un processo in cui non siamo particolarmente soddisfatti del tasso di fallimento.
Abbiamo identificato quattro diversi fattori che riteniamo ci aiuteranno a migliorare il tasso di difettosità di questi widget: abbiamo un additivo, abbiamo una fase di compressione, in cui ci sono tre fattori che varieremo. Abbiamo temperatura, pressione e tempo di mantenimento che varieremo. La domanda è: il widget presenta un difetto? Elaboriamo il widget. Sì, ha un difetto, no, non ha un difetto. Se ha un difetto, lo chiamiamo un guasto. L'attuale tasso di difettosità è del 15% e lo useremo alla fine per dimensionare il nostro esperimento.
Il nostro obiettivo è ridurre il tasso di guasto al cinque percento. Tuttavia, saremmo soddisfatti se riuscissimo a identificare una differenza di circa il tre-cinque percento. Se riuscissimo a rilevare che il nostro tasso di difettosità scende, diciamo, al dieci percento, allora saremmo soddisfatti. Vorremmo essere in grado di rilevarlo. L'altra cosa che voglio sapere è che ogni ciclo dura circa 10 minuti. Non ho un numero illimitato di cicli. Posso farne circa sei all'ora.
Bene, supponiamo di inserire questo fattore in JMP. Apriamo un designer personalizzato. Decidiamo di volere un design della superficie di risposta. Aggiungeremo tre punti centrali e questo è il design che otteniamo. Fin qui tutto bene. Prendiamo il design, lo inviamo all'operatore che eseguirà l'esperimento e lui ci restituisce questo. Abbiamo 24 esecuzioni, circa 4 ore per eseguire questo esperimento. Ci viene detto che quegli uno e quegli zeri rappresentano un'osservazione con un difetto o un'osservazione senza difetti. Ora analizzo i dati e li inserisco in JMP.
Ora, so che quegli uno e quegli zeri non sono dati continui. Sono dati categorici. Sono dati binari. Li tratterò come tali. Forse ne so abbastanza da sapere che quello con cui ho a che fare si chiama regressione logistica. Il modello, poiché ho progettato questo esperimento in JMP, il modello della superficie di risposta compare nella finestra di dialogo di costruzione del modello. Vado ad adattare l'analisi e, fin dall'inizio, dovrei preoccuparmi. Per quanto riguarda quelle stime dei parametri, ricevo questo messaggio che dice che sono instabili.
Supponiamo che ne parli con qualcuno un po' più esperto di questo tipo di esperimenti e che mi dica: "Beh, il problema è che hai eseguito una sola prova per una serie di condizioni di trattamento. In realtà dovresti farne più di una per ottenere una stima attendibile". Supponiamo che torni in sala e ne parli con l'operatore perché non gli piace l'idea di aumentare la durata del mio esperimento da una a cinque prove. Ora ho un esperimento che durerà circa 20 ore. Ma li ho convinti che dobbiamo proprio farlo, decidere di ripetere l'esperimento con cinque prove per ogni serie di condizioni sperimentali.
Recupero i miei dati. Ho due nuove colonne che sono tornate con il mio esperimento. Ho la colonna Y5 che corrisponde al numero di volte in cui è stato riscontrato un errore. Ho la colonna con la N che corrisponde al numero di prove, per un insieme di condizioni sperimentali. Ora, questa volta, invece di lavorare con i dati di conteggio, penso che forse quello che farò è dividere il numero di prove fallite per il numero di prove totali, e trattarlo come dati continui. Qui ho la proporzione di errori per un dato insieme di condizioni sperimentali.
Li tratterò come dati continui. Mi sento più a mio agio perché ho più familiarità con la modellazione dei dati in questo modo. Lo stesso modello che abbiamo visto l'ultima volta, tuttavia, invece di usare la regressione logistica, userò semplicemente i quadrati dei leasing standard. Bene, finora tutto bene. Uso la mia tecnica di modellazione preferita, forse userò la mia tecnica di riduzione del modello preferita, e poi ottengo questo modello finale. Di nuovo, finora tutto bene. La prossima cosa che voglio fare è ottimizzare.
Voglio sapere quali condizioni porteranno a un tasso di errore il più basso possibile. Uso l'ottimizzatore all'interno del profiler e mi dice di impostare il tempo totale a 45 secondi, di impostare la temperatura a 45 °C, e questo dovrebbe darmi un tasso di errore previsto inferiore a zero. Potrei essere disposto a scartare questa ipotesi perché è abbastanza vicino allo zero da dire, beh, forse è solo molto vicino allo zero, non è sotto lo zero. Ma so che tecnicamente questo non è possibile. Non posso avere tassi di errore inferiori a zero. Anche se potessi procedere con questa stima, potrei chiedermi: quanto è accurata questa stima?
Quanto sono davvero vicino allo zero? Ho costruito un modello sbagliato? Tutto si riduce al modello che ho... Le ipotesi che ho fatto quando tratto i dati come continui e le ipotesi che probabilmente dovrei fare quando ho dati di successo/fallimento. Questo è il nostro modello tipico. Abbiamo sul lato sinistro le nostre risposte, le nostre osservazioni. Nel nostro caso, è la probabilità di un fallimento. Mi dispiace, sul lato sinistro abbiamo la probabilità di un fallimento.
Sul lato destro, abbiamo i nostri modelli lineari, quello che stiamo cercando di fare, la relazione che stiamo cercando di costruire tra i nostri input e i nostri output. Questo è solitamente ciò che consideriamo. Le ipotesi tipiche in questo caso sono che la relazione sia lineare, che il mio intervallo di risposta sia illimitato e che i miei residui siano normali. I miei residui sono... Adatti un modello ai dati, quello che rimane, quelli sono i miei residui. Presumo che siano distribuiti normalmente, il che significa che sono simmetrici attorno allo zero, e che abbiano tutte queste belle proprietà. Questo è parte del problema.
Se abbiamo a che fare con le probabilità, la nostra risposta assomiglia più a questa, dove ho qualcosa che credo abbia più una forma a S che una relazione lineare. Questa relazione lineare in realtà non regge. Nemmeno un intervallo di risposta illimitato regge, perché so che, avendo a che fare con le probabilità, non può esserci nulla al di sotto di zero, né nulla al di sopra di uno. Anche il punto finale, l'ipotesi di errori normali, non funziona. Se ci pensate, man mano che mi avvicino sempre di più allo zero, quando i miei valori previsti si avvicinano sempre di più allo zero, il mio residuo I avrà sempre meno spazio per operare. Tra il mio valore stimato e lo zero, inizia a ridursi.
Non posso avere errori simmetrici prossimi allo zero. Allo stesso modo, non posso avere errori simmetrici man mano che mi avvicino a uno. In questo caso, qualcosa deve cedere. Ora, spero che ci sia una soluzione semplice a questo problema. Una semplice trasformazione, probabilmente. Si spera, e magari l'uso di una distribuzione diversa. Possiamo farlo in JMP? La risposta è che abbiamo tre diverse opzioni. La prima opzione, che abbiamo già visto nell'esempio, è la regressione logistica. Questa prevede l'utilizzo della trasformazione Logit sui dati.
In questo caso, non stiamo considerando le probabilità come una risposta, stiamo considerando il rapporto tra i nostri due diversi livelli di risposta. La probabilità di un fallimento divisa per la probabilità di un successo, e ne prendiamo il logaritmo. Prendiamo quel logaritmo per rendere la relazione lineare. Un altro modo di vedere la cosa è: poiché abbiamo solo due livelli diversi, potrebbe essere il rapporto tra la probabilità di fallimento diviso 1 meno la probabilità di fallimento. Ora, se avete mai usato questo tipo di modelli in precedenza e avete sentito i termini probabilità e logaritmo delle probabilità, questa è esattamente la definizione.
La prima parte dell'equazione è la definizione di cosa siano le probabilità. È il rapporto tra un livello e il rapporto tra l'altro livello. Queste sono le mie probabilità, e poi ne calcolo il logaritmo. Questa è un'opzione. Un'altra opzione è usare quella che viene chiamata analisi di successione. Con l'analisi di successione, uso solo una trasformazione diversa. In questo caso, uso l'inverso della distribuzione normale. Oppure, se l'ho mai costruito nell'editor di formule o usando JSL, si tratta semplicemente della normale funzione quantile.
Ora, c'è una terza opzione possibile in JMP. Richiede un po' di lavoro e non entreremo nei dettagli del suo utilizzo, ma voglio presentarla perché la si vede spesso in letteratura, ed è la funzione logaritmica complementare. Ora, non è disponibile direttamente in JMP. Dobbiamo usare qualcosa come la piattaforma non lineare per costruirla da soli. Può essere approssimata con una distribuzione chiamata Distribuzione del Valore Estremo Minimo, ma dovremo rimandare l'argomento a un altro giorno. In realtà, ci concentreremo sulle funzionalità disponibili di default in JMP.
Ora, c'è una seconda grande ipotesi che dobbiamo fare qui, e cioè che, anche data la trasformazione che scegliamo, che sia Logit o Probit, daremo per scontato che l'errore sia una distribuzione binomiale. Perché è composta da due parti. Non solo sto eseguendo la trasformazione, ma sto anche ipotizzando una distribuzione diversa. Come ho detto, le prime due sono disponibili direttamente nelle piattaforme di JMP, quindi sono semplici. Ci concentreremo su quelle. L'ultima può essere modellata utilizzando la piattaforma non lineare. Il bello è che tutto è disponibile dalla piattaforma di modellazione. Ho tre diverse opzioni in JMP.
Posso usare la regressione logistica, che, ancora una volta, abbiamo visto nell'esempio. C'è un'opzione chiamata modello lineare generalizzato, e c'è una forte relazione tra la regressione logistica nominale e quella lineare generalizzata. Poi, per gli utenti di JMP Pro, abbiamo la regressione generalizzata, che mi offre anche un sacco di altre opzioni. Ora, c'è un'altra piattaforma in cui è possibile eseguire una regressione logistica semplice che si adatta a Y per X. Ma, poiché abbiamo a che fare con una condizione sperimentale e di solito abbiamo più di un fattore, non ne parlerò. Ma per la regressione logistica semplice, si adatta anche a Y per X.
Prima di spiegare come implemento questo in JMP, dobbiamo parlare dell'organizzazione dei dati, perché come li organizziamo? Quali sono i dati che conosciamo? Come organizzarli? È facile impostarlo nella finestra di dialogo "Regola modello". Lasciatemi fare un esempio rapido e semplice. Supponiamo di avere un esperimento a due fattori, tempo e temperatura. Abbiamo eseguito un fattoriale completo, quindi abbiamo tutte le possibili combinazioni di tempo e temperatura. Supponiamo di pianificare cinque prove per trattamento sperimentale.
Per trattamento, intendo la riga, il nostro insieme unico di combinazioni, la nostra riga in questa tabella dati. Ho tre modi diversi per impostare i dati. Il primo modo è come dati grezzi. Ogni riga nella mia tabella dati corrisponde a una prova. Noterete che la prima riga nei dati grezzi è una combinazione di trattamento, con un orario e una temperatura specifici. In questo caso, la mia risposta binaria indica se la mia risposta è verde o rossa. La prima risposta era verde. La seconda riga è di nuovo la combinazione di trattamento, e quella risposta era rossa, e così via.
Questo è il formato raw. Tutti e tre gli approcci possono utilizzare il formato raw. Ora, posso riassumere. A volte ha più senso riassumere i dati. Quando riassumo i dati, lo faccio sia per la condizione di trattamento che per il livello di risposta. Noterete che, per la prima riga, nello stack riassuntivo, ho la condizione di trattamento uno, ho tutti i verdi e ho due casi in cui ho visto il verde. La seconda riga è la mia seconda combinazione di trattamento, tre osservazioni di verde e così via. Ciò che ho appena aggregato, è la mia combinazione di trattamento e i miei livelli di risposta.
Bene, tutti e tre gli approcci possono utilizzare questo formato di stack riassuntivo. La terza organizzazione, probabilmente la più naturale per molte persone perché assomiglia molto all'organizzazione che userei per un modello lineare, è il formato di suddivisione riassuntiva. In questo caso, ho aggregato, ancora una volta, la combinazione di più trattamenti, ma solo per uno dei miei livelli di trattamento. Noterete che in questo caso ho contato il numero di volte in cui ho visto un'osservazione verde per ogni prova e ho anche contato il numero di prove. Se dovessi, ad esempio, creare un DOE utilizzando il progettista personalizzato, questo è il formato che mi aspetterei di utilizzare, se stessi inserendo dati.
Se volessi usare il formato stack riepilogativo, dovrei effettivamente duplicare queste esecuzioni. Ne avrei una per il verde, una per il rosso e riorganizzare le cose in modo leggermente diverso. Ora, la regressione logistica non può usare questo formato. Devo usare uno degli altri due formati. I modelli lineari generalizzati e la regressione generalizzata possono usare questo formato. Un appunto da tenere a mente se si prevede di usare la regressione logistica. Ok, lasciatemi fare. Basta con il PowerPoint. Andiamo su JMP e parliamo di come avrei analizzato ciascuno di quegli esempi, con i dati sperimentali che abbiamo visto.
Ok, facciamo la regressione logistica. Iniziamo con il primo esempio, la regressione logistica. Noto anche di avere il mio stack riepilogativo, ho un formato qui. Ho una colonna che contiene i miei risultati positivi e negativi, il conteggio. Questi sono dati aggregati. Ho il conteggio anche in un'altra colonna. Bene, abbastanza semplice. Tutto ciò di cui parleremo sarà un modello di sottoadattamento. Poiché l'ho progettato in JMP, viene fornito insieme al mio modello.
Questo è il mio modello di superficie di risposta in cui ho progettato l'esperimento. La mia finestra di dialogo è già precompilata qui. Ma tutto quello che voglio sottolineare è che qui ho la mia risposta, in questo caso nominale. Questo è superato/fallito. Ho bisogno anche di quei conteggi lì perché ho aggregato i miei dati. Sceglierò il mio livello target, e questo dipende davvero dall'orientamento con cui voglio vedere l'output, se voglio fare le cose dall'orientamento superato o da quello fallito. Lasciatemi impostare questo. Riportiamolo a superato. Ora, ho un paio di scelte diverse qui.
Entrambe sono regressioni logistiche. Ho una regressione logistica nominale. Se conosco un po' di regressione stepwise, posso anche eseguire una regressione stepwise sul mio modello Logit, sul mio modello di regressione logistica. Anche questa è un'opzione. Bene, quindi restiamo con la logistica nominale originale. Eseguirò il mio modello. Di nuovo, userò una tecnica di riduzione dei dati o una tecnica di riduzione del modello. Potrei semplicemente intervenire e rimuovere manualmente gli elementi dal modello e così via. Oppure avrei potuto usare la regressione stepwise per questo.
In realtà, non è importante perché ho il modello giusto per cominciare. Lasciatemi rimuovere un altro termine dal mio modello. Ecco fatto. Diciamo che questo è il nostro modello finale, siamo soddisfatti di questo modello. Andiamo nel nostro Profiler. Scorro fino in fondo al Profiler, ingrandisco un po', così possiamo vedere meglio. Ora, uno dei vantaggi dell'utilizzo di questo modello è che il mio profilo, i miei successi e fallimenti, sono limitati, ma dobbiamo avere probabilità comprese tra zero e uno. Lasciatemi attivare le mie Funzioni di Desiderabilità. Ora, questo apparirà un po' diverso perché è effettivamente diviso in due gruppi.
Ho la percentuale di superamenti che voglio raggiungere e la percentuale di fallimenti. Abbasserò semplicemente questi fallimenti a zero perché non voglio ottimizzare per nessun fallimento. Aumenterò la Desiderabilità sui miei superamenti e, andiamo avanti, massimizzerò la mia Desiderabilità. Mi dice, di nuovo, la stessa temperatura per tutto il tempo. Tuttavia, ottengo una stima migliore di quale sia il tasso di fallimento previsto o, in questo caso, il tasso di superamento previsto. Questo mi dice che dovrei avere circa, con quelle impostazioni, un tasso di superamento del 96%, quindi circa un tasso di fallimento del 4%.
Certamente non sotto lo zero e un po' più lontano dallo zero di quanto mi sarei aspettato. Bene, passiamo ai nostri modelli lineari generalizzati e useremo il formato di suddivisione riassuntiva. Di nuovo, questo è qualcosa che se avete usato modelli lineari in precedenza, dovrebbe risultarvi familiare, questo formato. Ho queste che sono probabilmente le osservazioni che provengono dal mio esperimento di progettazione. Ho contato il numero di osservazioni in uno dei miei livelli e, in questo caso, ho contato il numero di elementi fallimentari, e poi ho ottenuto il numero totale di prove.
Bene, di nuovo, vado nella finestra di dialogo Adatta modello. Questa è impostata in modo leggermente diverso. Per questa particolare organizzazione, ho due variabili continue. La prima deve essere il conteggio del mio livello individuale e la seconda deve essere il mio conteggio totale. Ho già impostato di default il Modello Lineare Generalizzato. Ho scelto la mia distribuzione. In questo caso, è impostata di default su Binomiale. Qui ho la possibilità di guardare Logit o Probit. Abbiamo ottenuto lievi differenze in termini di probabilità. Procediamo con Logit. Ora, di default, Logit e Regressione Logistica mi daranno gli stessi risultati.
Ciò che rende i modelli lineari generalizzati un piccolo vantaggio è la possibilità di allentare alcune delle ipotesi che abbiamo visto in precedenza. Una di queste ipotesi è che il termine di errore segua una distribuzione binomiale. Con gli errori binomiali, sono fissi, sono gli stessi indipendentemente da quale sia la probabilità. Attivando la sovradispersione, la variabilità è leggermente maggiore di quanto mi aspetto, oppure l'errore potrebbe essere leggermente maggiore di quanto mi aspetto. Questo allenta un po' l'ipotesi degli errori binomiali.
Posso anche correggere le mie stime per potenziali bias. Attiverò semplicemente la sovradispersione. Di nuovo, eseguirò il mio modello. Ora, uno degli svantaggi di questo approccio è che non si ha la possibilità di procedere per gradi. Bisogna intervenire manualmente o far assumere un modello prima di decidere con quale modello finale si desidera lavorare. Di nuovo, lo farò manualmente. Individuerò i miei tre fattori importanti. Noterete che se confrontate questo con la regressione logistica, poiché avevo attivato la sovradispersione, la mia variabilità è in realtà leggermente maggiore di quanto stimato.
Il mio valore P è leggermente più alto. Qui devo chiedermi se voglio davvero credere che, anche se non sono significativi, non valga la pena di rimanere nel modello e così via. Ma la cosa bella è che ho la possibilità di poter allentare quella particolare ipotesi nel modello. Di nuovo, se voglio attivare il mio Profiler ed effettuare la mia ottimizzazione, anche questo è disponibile. Ho le stesse ottime capacità. In questo caso, un'organizzazione leggermente diversa perché non sto modellando i fallimenti passati, sto modellando la probabilità. È il profiler che siamo più abituati a vedere. Ovviamente, in questo caso, non voglio ottimizzare questo perché massimizzerei i miei fallimenti. Voglio minimizzarlo. Andiamo avanti e ottimizziamolo.
Di nuovo, mi dice tutto il tempo, 45 secondi, temperatura, 45 secondi. Mi darà una stima leggermente diversa, anche se sono molto vicine. Di nuovo, la cosa bella è che qui sono limitato. Non importa dove vada quel cursore, sono limitato tra zero e uno con quelle probabilità. Bene, quindi per l'esempio finale, parliamo di regressione generalizzata. Ora, questa è una funzionalità esclusiva di JMP Pro. Mi offre un paio di altre opzioni aggiuntive. Ho lo stesso punto di partenza, adattamento del modello, stessa configurazione perché ho i miei dati suddivisi riepilogati.
Tuttavia, sceglierò la regressione generalizzata. Ora, sceglierò una distribuzione diversa. In questo caso, conosco la mia risposta perché è impostata con due variabili diverse. Ho una risposta binomiale, oppure posso scegliere la beta-binomiale. La beta-binomiale è una tecnica analoga all'utilizzo dell'opzione di sovradispersione nel mio modello lineare generalizzato. Questo mi permette di tenere conto di una varianza che cambia in funzione di dove si trova la probabilità. In questo caso, manterremo la distribuzione predefinita. Andiamo avanti ed eseguiamo il modello.
Se avete già utilizzato la regressione generalizzata, sapete che tutte le vostre tecniche di riduzione del modello sono disponibili su questa piattaforma. Quello che probabilmente farei in questo caso è usare una di queste tecniche. Lasciatemi assicurarmi di avere... Voglio applicare l'ereditarietà. Usiamo la regressione stepwise in avanti. Ho un sacco di opzioni diverse qui. Se non avete mai visto una regressione generalizzata prima, ho un sacco di opzioni diverse interessanti in termini di tecniche di riduzione del modello. Userò la regressione stepwise in avanti, che è l'impostazione predefinita per la regressione stepwise. Cliccate su "Vai" ed ecco il mio modello finale.
Di nuovo, molto coerente. Tutti e tre questi modelli mi stanno mostrando risultati molto coerenti. Le stime dei parametri saranno leggermente diverse. Le probabilità saranno leggermente diverse. Bene, quindi ora la domanda è: ho eseguito abbastanza prove per poter rendere questo esperimento davvero utile? Questo ci porta a capire come dimensionare correttamente il mio esperimento. Torno alle mie diapositive di PowerPoint per un paio di brevi slide sull'impostazione dell'esperimento.
Il modo in cui lo faremo, il modo in cui dimensioneremo l'esperimento e, tra l'altro, questa è una funzionalità disponibile solo in JMP Pro. Chi non ha JMP Pro, potrebbe essere in grado di scrivere uno script JSL per questo, ma sarebbe molto macchinoso. JMP Pro semplifica enormemente la configurazione. Inizieremo con il designer personalizzato. Quello che faremo è costruire il design che desideriamo utilizzando il designer personalizzato. Prima di generare la tabella finale che vediamo, attiveremo la simulazione delle risposte.
Si troverà nell'hotspot nell'angolo in alto a sinistra. Una volta creata la tabella dati, si aprirà una finestra di dialogo in cui potremo modificare i coefficienti. Nella prossima diapositiva, parlerò brevemente di come si impostano questi coefficienti. Li modificheremo. Li modificheremo all'entità desiderata. Di nuovo, entrerò più nel dettaglio nella prossima diapositiva. Una volta modificati i coefficienti, imposteremo l'errore su binomiale, selezioneremo la dimensione del campione, il numero di prove che vogliamo visualizzare e poi cliccheremo su "Applica".
Ciò che l'opzione di simulazione della risposta mi fornisce, poiché ho scelto errori binomiali, mi fornirà due colonne: una con il numero di prove simulate, i successi delle prove e l'altra con il numero totale di prove. Questo è ciò che useremo per eseguire la nostra simulazione complessiva. Parliamo di come impostiamo questi coefficienti perché questo è un passaggio cruciale in termini di dimensionamento dell'esperimento. Il modo in cui impostiamo questi coefficienti dipenderà dal modello sottostante. Questo dipenderà dalla scelta di un modello Logit o Probit.
Il mio esempio utilizzerà i dati che abbiamo attualmente a disposizione, l'esempio che abbiamo attualmente a disposizione con il modello Logit. Questo determinerà come impostare quei valori, la probabilità di base. Se ricordate, nel nostro esempio abbiamo detto che, alla base, abbiamo un tasso di fallimento di circa il 15%. Questa sarà la nostra base. Poi dobbiamo chiederci: a quale probabilità vorremo vedere una differenza? Di nuovo, ricordate, abbiamo detto che se fossimo in grado di vedere una variazione del 10%, allora saremmo soddisfatti. Quindi, questa è la dimensione che vogliamo per il nostro esperimento, questa capacità di vedere una variazione passando dal 15% al 10% di miglioramento.
Quello che faremo è usare effettivamente la trasformazione che abbiamo visto per calcolare i valori alla nostra baseline, al 10%, alla probabilità che vogliamo rilevare. Prenderemo la differenza tra questi due valori e la useremo come coefficiente. Se usiamo questa baseline Logit, è semplicemente quel 15% diviso 1 meno il 15%. La nostra baseline è -1,73. Se siamo interessati a vedere una variazione al 10% del tasso di guasto, di nuovo, lo inserirò semplicemente nell'equazione. È 0,1 diviso 1 meno 0,1. Questo mi dà un -2,2. Questo rende il coefficiente semplicemente la differenza tra questi due valori. Userò approssimativamente 0,5 come coefficiente.
Basta con PowerPoint. Andiamo a vedere come si fa in pratica. Ho il mio esperimento, i miei fattori sperimentali. Userò semplicemente il designer personalizzato. Lasciatemi andare e caricare i miei fattori lì. Costruirò il design che voglio. Se ricordate, ho detto, beh, ho un design della superficie di risposta. Aggiungiamo tre punti centrali lì. Facciamolo in 24 esecuzioni, diciamo. Vado avanti e clicco su "Crea Design", lascio che l'algoritmo elabori e determini il design migliore dall'algoritmo. Prima di generare quell'ultima tabella, vado all'hotspot e dico "Simula Risposte". Ora creo la mia tabella. Quella tabella mi fornisce il mio design e cambierò i miei coefficienti con i valori che ho calcolato.
Lasciatemi andare avanti e reimpostarli. Ho detto che la mia intercetta era -1,73. Imposterò ciascuno dei miei coefficienti a 0,5. Lasciatemi copiare questo, così posso incollarlo. Infine, imposterò la mia distribuzione, la mia distribuzione degli errori su Binomiale. Ora, cliccherò sul pulsante Applica. Voglio che teniate d'occhio quella tabella. Ciò che farà è generare quelle due colonne che userò per la mia analisi. Lasciatemi tornare indietro un attimo. Volevo impostare la dimensione del campione. Non posso dimenticarmi di farlo. Se ricordate, nell'esperimento originale, ho fatto cinque esecuzioni. Quella seconda volta che ho eseguito l'esperimento. Lo riapplicherò. Ora ho le equazioni corrette.
Queste sono le colonne che userò per l'analisi iniziale e per la simulazione. Ora, se lo si desidera, si potrebbero effettivamente firmare questi effetti. Con firma, intendo renderli negativi o positivi, a seconda della relazione che ci si aspetta di vedere. Per questioni di tempo, non ne ho parlato. Ho una diapositiva che spiega come potrei analizzare questi diversi effetti e dire: "Beh, questo dovrebbe essere positivo o quello negativo?". Anche questo si può fare. Certamente, influenzerà i risultati in misura minore rispetto all'entità effettiva delle dimensioni dell'effetto. Ma nella maggior parte dei progetti, a meno che non siano completamente ortogonali, c'è correlazione tra questi effetti, e il fatto che un effetto sia positivo o negativo potrebbe avere una certa influenza sui miei valori di potenza.
Ora che ho finito, ora che ho effettivamente generato il mio progetto iniziale, entrerò nel mio Fit Model. Analizzerò il progetto. Devo assicurarmi di inserire le mie simulazioni e le prove. In genere, in questa particolare situazione, uso la regressione generalizzata e, ancora una volta, uso la binomiale per via di tutte queste opzioni in termini di riduzione del modello. Il bello è che con la simulazione, tutte queste opzioni vengono applicate. Non devo preoccuparmi di scrivere script per poterlo fare. Andiamo avanti ed eseguiamolo. Di nuovo, userò la selezione in avanti. Clicco semplicemente su "Vai". Scorro verso il basso fino al mio modello di selezione in avanti. È proprio qui.
Ora che ho la mia singola osservazione, quello che posso fare è cliccare con il tasto destro del mouse. Di solito passo il mouse su uno dei valori di probabilità. Clicco con il tasto destro del mouse e, in fondo, c'è l'opzione "Simula". Devo assicurarmi che la colonna della formula con il numero simulato di successi sia selezionata in entrambe le opzioni, e per impostazione predefinita dovrebbe esserlo. Specifico il numero di prove campione che voglio eseguire. Ora, una volta cliccato su "Vai", quello che succederà è che a ogni iterazione della simulazione, la colonna della formula verrà ricalcolata e mi verrà fornito un nuovo set di numeri di prove, dato il mio modello di base.
Lo farò per 2.500 esecuzioni, e poi aggregherà i dati in un report completo. Ora, invece di perdere tempo a guardare il processo, è veloce. Di solito ci vuole solo mezzo minuto, forse un minuto. Ho effettivamente eseguito i risultati, e questo è il loro aspetto. Qui ho le mie 2.500 esecuzioni, meno la primissima esecuzione iniziale. Ho aggiunto alcune funzioni aggiuntive qui, formule qui, che sarò felice di condividere. Ma questi sono i due script che vengono aggiunti quando viene generato questo report. L'analisi di potenza è solo un sottoinsieme della distribuzione. Diamo un'occhiata all'analisi di potenza.
Ciò che fa è fornirmi un sacco di dati in termini di: per tutte quelle esecuzioni, qual è la distribuzione di quei valori P? Se ricordate il modello sottostante in questo caso, tutto era significativo. Ciò che mi dice è che questa è la distribuzione dei miei valori P che ho visto attraverso la mia simulazione, ovvero che il mio valore previsto è circa 1 su 10.000, quindi va bene. Ottengo un calcolo del mio intervallo di confidenza attorno al mio valore P previsto. In realtà, non credo che sia un intervallo di confidenza, dato che stiamo utilizzando un approccio bayesiano.
Questo è un intervallo più credibile. Forse è un intervallo di confidenza. Ma limiterà il valore di probabilità. Un'informazione interessante e importante è il numero di volte in cui ho rifiutato la mia, in questo caso, ipotesi nulla. Questo mi dice che se avessi scelto un livello alfa di 0,01, avrei rifiutato quell'ipotesi nulla circa la metà delle volte, anche se so che, in realtà, la modellizzo come un effetto reale. Se scendo a 0,05, l'ho rifiutata circa tre quarti delle volte e così via.
Queste sono le informazioni che utilizzo per pormi la domanda: ho dimensionato correttamente il mio esperimento? Sarò in grado di rilevare i miei effetti principali, gli effetti principali e le interazioni a due fattori, qualsiasi altro effetto sul mio modello, un numero di volte sufficiente, una proporzione di volte sufficiente a rendermi soddisfatto del numero di esecuzioni che ho scelto? Ciò che mi sono spesso trovato a fare in questi casi, quindi non solo mi affido ad alcuni dei report integrati, ma quello che farò è contare, ad esempio, il numero di effetti significativi corretti.
Inserirò un valore limite e calcolerò il numero di risposte corrette. Anche in questo caso, tutto questo sarà confezionato insieme al materiale, con una breve spiegazione e le formule per costruire tutti questi modelli. Di nuovo, ho davvero bisogno di usare la mia definizione di rischio per determinare se ho catturato un numero sufficiente di quegli effetti significativi da rendere l'esperimento valido per 5, 10 o 20 esecuzioni e così via. Bene, questo conclude ciò che volevo mostrarvi in JMP. Torniamo al nostro riepilogo.
Riassumendo, quando modellerò questi dati, utilizzerò la piattaforma Fit Model, indipendentemente dalla tecnica che adotterò. Ho la regressione logistica, nel qual caso potrei usare sia la regressione logistica che la regressione stepwise con la regressione logistica in background. Ho modelli lineari generalizzati, che di default mi daranno lo stesso output della regressione logistica, ma con la possibilità aggiuntiva di allentare l'ipotesi sui miei errori e di correggere i bias. Poi ho la regressione generalizzata, che se avessi JMP Pro mi permettesse di fare quello che vedrei nella regressione logistica o nel modello lineare generalizzato, con l'ulteriore vantaggio di permettermi anche di produrre un po' di modelli.
Quando dimensionerò l'esperimento, lo costruirò utilizzando il designer personalizzato e poi userò la funzione di simulazione integrata di JMP per poter eseguire il mio esperimento di simulazione bootstrap, la mia analisi di simulazione bootstrap. Questo conclude ciò di cui volevo parlare. Ci saranno ulteriori informazioni nelle diapositive supplementari, che purtroppo non ho tempo di esaminare, ma spero che vi sia piaciuto ciò che avete visto e che sia qualcosa che potrete utilizzare in futuro e che vi sarà utile. Grazie mille.
