Siamo qui per parlare della mia presentazione al JMP Summit di Berlino, intitolata "Un anno di implementazione degli apprendimenti: come progettare e analizzare esperimenti con risposte passate/fallimentari". Si chiama così perché in realtà è una sorta di risposta alla tua presentazione, Don, che hai tenuto l'anno scorso a Manchester, intitolata "Come progettare e analizzare esperimenti con risposte passate/fallimentari". Ho riguardato quella registrazione più e più volte e spero sinceramente che qualcuno la trovi altrettanto utile come me.
Giusto per dare un po' di contesto su come è fatto questo progetto, ed è fatto in realtà di sigillante per tubi. Ora mi sono reso conto che la maggior parte delle persone non saprebbe cos'è un sigillante per tubi. In realtà, è solo una piastra per capelli scientifica. Prendiamo un tubo di silicone in cui abbiamo fatto passare un vaccino, poi prendiamo una piastra per capelli e lo sigilliamo. Ora, poiché si tratta di produzione farmaceutica, siamo un po' più scientifici al riguardo. Ma in linea di principio, si tratta solo di due corpi riscaldanti che premono su un tubo e creano una sigillatura.
Ora il problema è che stiamo valutando l'acquisto o [inudibile 00:01:21] stiamo valutando l'acquisto di nuove termosigillatrici per i nostri tubetti polimerici, ed è fondamentale che quando realizziamo una sigillatura, questa rimanga sigillata perché sarà il nostro prodotto attivo a essere trasferito, e se si rompe, avremo quel prodotto sul pavimento. Ci sono un sacco di problemi in questo. Non c'è alcun rischio per i pazienti, ma corriamo il rischio di perdere un lotto di vaccini, il che ovviamente non è ciò che vogliamo.
Prima di mettere in produzione queste nuove sigillatrici, abbiamo avuto l'idea di realizzare questo esperimento di progettazione. Innanzitutto, qual è la definizione di successo? Quando abbiamo effettivamente sigillato il tubo? Oggi si tratta di un'ispezione visiva, quindi esaminano gli utensili. Potete vedere nella mia diapositiva precedente che ho alcune foto delle sigillatrici. Valuteranno visivamente questi tubi e daranno loro un giudizio positivo o negativo. Questo è tutto.
Ho davvero provato a chiedere: "Beh, possiamo fare qualcos'altro? Possiamo in qualche modo realizzare un test continuo?" No, ma potremmo avere un altro risultato positivo/negativo, ovvero la pressione. Siamo riusciti a esercitare una certa pressione sulla camera d'aria, immergendola sott'acqua. Se escono delle bolle, beh, allora non è molto sigillata, un po' come si farebbe con una gomma da bicicletta.
Ho cercato davvero di trovare una risposta continuativa perché è molto più semplice, ma poi mi è tornata in mente la presentazione a cui ho partecipato a Manchester, che verteva proprio su questo argomento. Poi abbiamo iniziato a impostare il progetto. Ho creato questo DOE perché sapevo che era relativamente facile prendere nuove provette e fare nuovi test. Volevo davvero provare... Beh, prima di tutto, bisogna fare attenzione al tempo dell'operatore e non fare più progetti o più esperimenti del necessario.
Avevo davvero in mente un DOE sequenziale. Dovevo iniziare il più in piccolo possibile e poi, se necessario, avrei potuto aggiungere altri esperimenti, rendendolo sempre più grande, e sperare di arrivare ad avere un DOE che spiegasse o mi desse una risposta al mio problema, ovvero definire un intervallo di processo per molti fattori in cui otterrò sempre sigilli di successo, o almeno il successo o il fallimento è molto, molto basso. Non sarà... In realtà, gli statistici lo sanno, non sarà mai zero, ma volevamo che si avvicinasse allo zero.
Ora, mentre impostavo il progetto, volevo davvero provare a trasmettere al DOE tutte le conoscenze disponibili su questo sigillante, perché mi sono reso conto che ci sono persone, operatori ed esperti in materia, che ne sanno molto più di me. Tanto per chiarire, non ho mai toccato un sigillante, e non l'ho ancora fatto.
Ho bisogno di qualcuno nella stanza che possa dirmi se quello che dico ha senso, perché c'è la possibilità che non lo abbia. Volevo davvero provare a trasferire questa conoscenza al DOE, e torneremo su questo più avanti, su come ci sono riuscito e cosa significa effettivamente infondere questa conoscenza nel mio progetto.
Durante la configurazione del progetto, abbiamo riscontrato il problema che alcune delle combinazioni dei nostri fattori non erano possibili. In JMP, è in realtà relativamente facile selezionare parti dello spazio di progettazione e tagliarle. Qui potete vedere che ho la temperatura di raffreddamento e il tipo di raffreddamento, uno è continuo e l'altro è categorico a 2 livelli.
Quando abbiamo a disposizione una piastra per capelli o un sigillatore per tubi di questo tipo, è possibile collegare un sistema di raffreddamento esterno. Ha un sistema di raffreddamento interno, ma come ci si potrebbe aspettare, se si dispone di un compressore esterno, è molto più efficace di un compressore interno perché è relativamente piccolo. Con un compressore esterno, siamo in grado di ridurre la temperatura di raffreddamento. Dopo che il tubo è stato sigillato, affinché il sigillo rimanga chiuso, è possibile immaginare che debba raffreddarsi, quindi inizierà un processo di raffreddamento.
Ora, come ulteriore vantaggio, alla fine abbiamo scoperto che con questo sistema di raffreddamento esterno, il tempo di raffreddamento a soffitto si riduce significativamente. Un aspetto che non avevamo preso in considerazione, in questo caso, è che dovremmo sempre utilizzare il raffreddamento esterno perché è davvero fantastico. Ma quando utilizziamo il raffreddamento interno, non possiamo avere temperature inferiori a 65°C.
Configurarlo è più facile di quanto pensi, e ho anche realizzato un video su YouTube che spiega come farlo. Se stai guardando questa registrazione, c'è un codice QR che puoi scansionare e vedere come creare questo tipo di spazio di progettazione.
Progetto finale, 24 combinazioni, 3 ripetizioni per combinazione, per un totale di 72 saldature. Vi ringrazierò più tardi, quindi proviamo a dargli un'occhiata. È stato fatto in tre fasi. Avevo un DOE originale. Poi abbiamo fatto il primo ampliamento, aggiungendo altre 12 passate, e poi abbiamo fatto un terzo ampliamento, aggiungendo altre otto o sei passate. Analizzeremo le fasi del perché lo abbiamo fatto e gli insegnamenti che ne abbiamo tratto man mano che andiamo avanti.
Ecco il progetto originale, giusto per mostrarvi 24 esecuzioni, e potete vedere che ne ho tre che hanno fallito. Ne ho un totale di 3, e poi quanti hanno fallito visivamente e quanti a pressione. Per questa esecuzione, potete vedere qualsiasi impostazione avesse. Ha avuto tre esecuzioni con zero fallimenti visivi o zero fallimenti a pressione. Ora, perché sono arrivato a 24? Quello che ho dimenticato di dirvi è che questo DOE ha cinque, sei fattori categoriali di due livelli, quattro fattori a variabili continue e un fattore categoriale di tre livelli, quindi ci sono davvero molti fattori in gioco, e ho finito per farlo solo per 24 esecuzioni. Come sono arrivato a questo?
Lasciate che vi mostri come è successo. Qui torniamo all'idea di infondere il mio DOE perché quello che ho fatto, e posso annullarlo. Vediamo se ce l'ho ancora. Qui potete vedere che ho tutti i miei fattori. È un elenco di fattori abbastanza buono. Questo viene fatto nel DOE personalizzato. Se premo il modello della superficie di risposta, otterrò tutti i loro effetti singolarmente, come gli effetti principali. Otterrò tutti i fattori continui e i loro effetti di curvatura, quindi, se possibile, li rappresenterò anche come curva. Quindi avrò tutte le loro interazioni.
Ora, come minimo, avrei dovuto fare 82 cicli per realizzare questo progetto. Ora, non avevo intenzione di fare 82 cicli con 3 ripetizioni, diventando uno zimbello, tipo 200 e cosa fa, 246. Mi fermo qui con i calcoli. Ma poi quello che ho fatto è stato esaminare questa lista e ci è voluto un po' di tempo e ogni volta dicevano, sai cosa, il prodotto e il tempo di sigillatura, no, non ne abbiamo bisogno. Abbiamo continuato così finché non siamo arrivati a questo modello, che poi è diventato il nostro modello finale, dove si va... devo premere indietro.
Come potete vedere, l'abbiamo ridotto significativamente perché erano in grado di dire, sapete cosa, tutte quelle interazioni [inudibile 00:09:59] erano davvero improbabili. Ho comunque impostato il design, in modo da poterle identificare se necessario, per poi identificarle in seguito. Ci siamo concentrati solo sugli effetti principali e poi su questi altri effetti, e questo ci ha dato quel minimo di 24.
Sono stato coraggioso, come se dovessimo tornare a quel minimo perché sapevo di poter aggiungere altre esecuzioni in seguito. Ecco perché sono arrivato al numero 24. Il passo successivo è stato ottenere questi dati e, con un approccio scientifico, ho creato un modello nella piattaforma Generate. Ero davvero orgoglioso di quel modello e vi mostrerò quanto è fantastico.
Questo è stato realizzato seguendo il video di Tom e poi facendo quello che stava facendo lui mentre io... Facevo quello che stava facendo lui mentre guardavo il video. Quello che vediamo qui è una testa sigillante, ovvero, avevo una vecchia testa sigillante o una nuova. Gammel è vecchio e nuovo è nuovo. Nuovo è nuovo. Poi ci sono due diversi supporti che possiamo aggiungere. Ci sono due diversi materiali per tubi. Avantaflex è uno e C-Flex è l'altro.
Quindi abbiamo una temperatura di taglio simile alla dimensione. Quello su cui volevo davvero che vi concentraste è il materiale del tubo, la differenza tra C-Flex e Avantaflex. Perché già con questa impostazione, che vede una temperatura di 165°C e un tempo limite di 100°C, che è un totale, questa sarebbe un'impostazione normale e, diciamo, per C-Flex abbiamo una probabilità di guasto dello 0,00%, e potrebbe... Arriva fino allo 0,04%.
Ma per Avantaflex, si può vedere come quell'incertezza sia molto, molto più elevata. Si può anche vedere cosa è successo alle altre fasce di incertezza quando passo ad Avantaflex, che in un certo senso esplodono. Se ho Avantaflex e uso una vecchia testa di sigillatura, la situazione può essere davvero molto variabile.
La prima cosa che ho capito è che ci sono combinazioni personalizzate in cui non siamo sicuri di cosa stia succedendo. Ad esempio, non siamo sicuri di capire appieno cosa stia succedendo qui. Ma quello che ho capito è: guarda quanto è bella quell'incertezza a gradi più alti, quindi perché non la alziamo di 180° e tutto torna a posto?
Potete vedere che ora sono tutti completamente piatti, e questa è stata la mia prima conclusione. Attenzione, spoiler, mi sbagliavo, ma questa era la mia conclusione iniziale, guardando il profiler. Credo di aver commesso forse l'errore numero uno nell'analisi dei dati. In realtà non ho visualizzato questi dati a sufficienza. Ora lasciate che vi mostri cosa significa.
Sono tornato da loro e ho detto: "Sapete una cosa? Se alzate questo a 180, va bene". Loro hanno risposto: "Sì, Christian, sembra buono. Vogliamo testarlo". Questo è stato il risultato del primo DOE. Ero arrogante, ho detto 180, quindi va bene. Vediamo cosa è successo. Vediamo cosa è successo davvero. Questo è il grafico che ho mostrato loro. Quello che abbiamo qui è la temperatura massima e il tempo massimo.
Come ho detto, ciò che vogliamo davvero ottenere da questo è un intervallo in cui abbiamo una buona tenuta. Un punto blu indica il punto in cui tutte e 3 le ripetizioni hanno avuto successo. Se anche solo una delle ripetizioni è fallita, diventerà rosso. Vogliamo davvero trovarci in uno spazio in cui ci sia solo il blu. Ho portato questo grafico a una riunione e sono saltato su, dicendo: "Sapete cosa? Definiamo insieme questo nuovo intervallo di processo".
Non vogliamo davvero arrivare a 140 gradi Celsius. Togliamolo. Sembra una temperatura migliore. E 200 gradi sono troppo caldi. In alcuni casi va bene, ma abbiamo casi che sono rossi, quindi abbassiamo la temperatura. A quel punto rimane solo un puntino rosso, con questo tempo limite ridicolmente basso, quindi se non lo facciamo, ma poi diciamo, beh, in realtà non abbiamo molti dati rimasti per dimostrare che quell'intervallo è un buon intervallo. Ci fidiamo della previsione del modello, ma quello che abbiamo fatto è stato, ok, all'interno di questo spazio, tipo, stiamo ingrandendo, sembra buono. Non abbiamo dati in quello spazio, ma sembra promettente. Questo era il progetto successivo.
Diamo un'occhiata. Ora potete vedere che ho il Dewey originale e ne ho altri 12. Se guardiamo lo stesso grafico che abbiamo visto poco prima, no, non quello. Questo, possiamo vedere che ho questi 12 punti qui, e possiamo vedere che uno di loro è uscito rosso. Speravo davvero che fossero tutti blu. Sarebbe stato accettabile se fossero stati rossi perché era uno spazio di design ottimista, ma volevamo, tipo, se fossimo riusciti a farlo, sarebbe stato fantastico. Ma uno è uscito rosso.
Durante quella riunione, abbiamo giocato con un generatore di grafici e abbiamo creato questo grafico. Questo grafico ci ha mostrato che, in realtà, la maggior parte... Quello che stiamo osservando sono temperatura e tempo come prima, ma li ho divisi in base al materiale e alle dimensioni. Potete vedere C-Flex e Avantaflex, e poi le dimensioni del tubo: mezzo pollice, da 3 a 3 x 5 pollici e 3 x 9 x 16 pollici.
Quello che abbiamo visto è tipo, aspetta un attimo. Non abbiamo mai avuto un successo con questa combinazione? Ma, Christian, hai detto che andava tutto bene sopra i 180. Io rispondo, sì, l'ho fatto. Ma in realtà, abbiamo visto, beh, non posso dire nemmeno se la mia previsione ti dice che va bene. Non l'abbiamo mai visto davvero. Questo è quello che è successo.
Una cosa di cui sono stato un po' orgoglioso è che, se guardiamo alla previsione di fallimento, se si considerano tutte le nuove previsioni qui e non si vede quanto sia chiara, si ottiene 0,00, quasi tutto il resto tranne due. Se dovessi indicarne solo una, sarebbe questa. So che indica solo il 13% di probabilità di fallimento, ma si tratta comunque di un set di dati relativamente piccolo.
Sono riuscito a individuare il problema, e ci sono riuscito. Mi sono detto: "Se deve esserci un campo, sarà quello". È stato quello a fallire. Mi ha fatto capire che non sono del tutto fuori strada nella mia previsione.
Terzo aumento. Il terzo aumento o la terza esecuzione, ma il secondo aumento, poi ha aggiunto questo nuovo set di dati. Ora ho l'originale, l'Aumento 1 e l'Aumento 2. Se osserviamo di nuovo lo stesso spazio e succede una cosa strana, non so se te ne sei accorto. Ho smesso completamente di creare modelli e mi sono limitato a guardare questo grafico, e se otteniamo polvere blu, stiamo vedendo cosa sembra buono.
Dovrei davvero tornare indietro e creare un modello, ma era così visivo che, guardando i 24 punti dati originali, ci sono 24 punti, e possiamo vedere se avessi disegnato prima questo grafico, avrei potuto vedere, beh, non posso dire che tutto vada bene sopra i 180. Non l'avevo visto. Tipo, entrambi questi punti sono sopra i 180, ma sono entrambi un fallimento. Ma poi abbiamo aggiunto questo, ed è stato allora che ci siamo resi conto. Vedete, sono tutti blu tranne uno che è rosso.
Poi abbiamo aggiunto il terzo, che rientra esattamente nell'intervallo che il produttore, che ha ventilato questo, ha detto: "Penso che questo punto sia esattamente dove dicono che dovrebbe essere", e poi abbiamo solo i blu. Stiamo parlando di inscatolamento. Questi cinque sono relativamente facili da sigillare. Se non usiamo temperature ridicolmente basse, in realtà abbiamo solo due punti, a parte tempi ridicolmente bassi. Se si fa solo questo, tutto questo, si tratta di molte combinazioni, molte ripetizioni che danno solo buoni risultati.
L'unica cosa strana è questa combinazione. La conclusione è: possiamo semplicemente non usarla? Perché tutti mi dicevano che è davvero difficile da usare. Se si potesse usare solo questa, sarebbe meglio, e non ci siamo ancora riusciti, ma quella era la mia... Ora passo la parola a te, Don, ma questo era il punto in cui eravamo con questo progetto. Abbiamo preso qualcosa che era puramente un'ispezione visiva, l'abbiamo trasformato in dati e siamo in grado di visualizzare quei dati per trarre decisioni dal database. Va bene, smetto di condividere. Lascio la parola a te.
Grazie, Christian. Ora cambio argomento. Parlerò di come... Lasciami solo essere sicuro. Lasciami solo fare un controllo. Immagino che stiamo guardando il mio schermo, il mio diario. Fantastico. Cambio argomento. Parlerò di come potrei impostare qualcosa del genere fin dall'inizio per assicurarmi di poter effettuare abbastanza prove, prove sperimentali e prove per poter dire se ciò che ritengo sia praticamente importante o praticamente significativo, se sia significativamente significativo.
Il nostro obiettivo è progettare un esperimento. Di nuovo, voglio che sia abbastanza ampio, con un numero sufficiente di esperimenti e di prove per poter stabilire se qualcosa è effettivamente significativo.
Bene, prima di iniziare, vorrei definire un paio di cose. Lasciatemi parlare delle mie due definizioni, che vorrei separare. Parlo di prove sperimentali e parlo di serie. Quando parlo di condizione di trattamento o di serie, mi riferisco in realtà a una riga nella tabella dei dati del mio disegno sperimentale, quindi si tratta di un insieme univoco di combinazioni di trattamento o impostazioni di fattori che andrò a testare.
Una sperimentazione è, pensatela come una replica. Non la chiamo replica perché matematicamente viene gestita in modo leggermente diverso. Appare solo su una riga quando iniziamo l'analisi. Di solito, quando ho a che fare con le repliche, si trovano in righe separate nella mia tabella dati. Voglio essere in grado di conoscere non solo il numero di repliche, il numero di sperimentazioni, ma ho anche bisogno di conoscere il numero di combinazioni di trattamento, il numero di esecuzioni sperimentali. Dobbiamo separare questi due dati.
Come progettiamo qualcosa che soddisfi i miei obiettivi? Beh, la prima parte dovrebbe già esserti familiare. Si inizia con un buon progetto, e lo abbiamo visto nell'esempio di Christian. Si è riunito con esperti in materia. Hanno discusso di quanti fattori, quali fattori ritengono importanti, quante delle interazioni tra due fattori devono essere incluse, effetti quadratici, cose del genere. Questo è sempre l'inizio, quindi non è diverso da come gestiresti la situazione se la tua risposta fosse continua.
Bene, ora è qui che le cose si fanno un po' diverse. Vuoi essere in grado di dire, dato il tuo design, dato ciò che JMP crea, diciamo nel progettista personalizzato, se hai abbastanza prove per poter dire se le tue condizioni di trattamento ti permettono di distinguerle dal valore di riferimento. Vuoi dire: "Posso sapere se il mio valore di riferimento è statisticamente diverso dal mio valore target?"
Per fare ciò, devo calcolare una baseline. Devo sapere qual è il mio tasso di fallimento o il mio tasso di eventi alla baseline, e voglio anche essere in grado di calcolare o decidere quale sia un cambiamento importante. Ad esempio, la mia baseline potrebbe essere qualcosa come "fallimento nel 75% dei casi", ma in realtà ha senso per me distinguere solo se ho un cambiamento che mi porta al 50% o al 20%, quindi è necessario decidere a priori.
Una volta ottenute queste due informazioni, e se hai progettato il tuo esperimento in JMP, hai tutti gli strumenti necessari per dimensionare correttamente l'esperimento. Quello che dovrai fare è usare la simulazione per chiederti: "Posso arrivare da dove sono, la mia baseline, a dove voglio arrivare, il mio target?"
Bene, ora parliamo di come lo farei io. Di nuovo, si inizia con il DOE, e qui ne ho 1 in coda, simile a quello creato da Christian. In questo caso, ho 10 fattori, 6 dei quali sono categorici. Iniziano tutti con CA. Cinque di questi 6 fattori categorici sono a due livelli. Uno è un fattore categorico a 3 livelli. Ho 4 fattori continui.
Quando esaminiamo il modello, tutti gli effetti principali, un sottoinsieme delle mie interazioni a due fattori e un sottoinsieme dei miei effetti quadratici. Di nuovo, simile a quello progettato da Christian. Si inizia, parlando con esperti in materia, e si decide cosa si desidera per il proprio progetto. Si utilizzano molti degli stessi strumenti per la valutazione del progetto. Quando si progetta l'esperimento, si potrebbe voler guardare la mappa dei colori per dire: "Beh, voglio qualcosa con questa piccola correlazione possibile tra i miei effetti".
Quello che non devi fare, però, è non andare qui. Questa non è l'analisi di potenza corretta. Parleremo di... Ti mostrerò come impostare la corretta analisi di potenza, e in realtà l'unico modo per farlo con un esperimento "pass fail" è fare una simulazione.
Ora che ho impostato il mio design e, diciamo, sono soddisfatto del risultato, farò un'ultima cosa prima di generare la tabella. Andrò sotto l'hotspot e attiverò la simulazione delle risposte. Questo è uno di quegli strumenti nascosti di cui potresti non essere a conoscenza e che può aiutarti con la simulazione.
Questa opzione è già attivata. Ora vado avanti e genero la mia tabella di progettazione, e vedrai cosa succede: ottengo due cose. Appaio questa casella che mi permette di specificare quanto sono grandi i miei effetti, o quanto grandi voglio che siano i miei effetti, e ottengo la mia tabella di progettazione.
Prima di iniziare, farò un paio di cose. Scorrerò verso destra per mostrarvi cosa succede qui. Azzererò i miei coefficienti. Andrò qui sotto, sotto "Distribuzioni", e cliccherò dove dice "Binomiale".
Deciderò come prima cosa: facciamo una simulazione. Di nuovo, sarò coerente con quello che ha fatto Christian. Diciamo che facciamo 3 prove. Faccio clic su "Applica" e noterai che quando clicco su "Applica", vengono generate due colonne diverse. Una di queste colonne è una colonna formula, e tra poco approfondiremo un po' questa colonna per vedere come l'ho impostata per la mia simulazione. Un'altra è una colonna fissa che mi fornisce semplicemente il numero di prove.
A proposito, se per qualsiasi motivo, diciamo, dovessi chiudere questo o dimenticarti di aprirlo, quando generi il tuo DOE, quel pulsante è sempre qui sotto "Simulazione DOE". Potrai sempre accedervi, a patto che tu non elimini lo script della tabella.
Bene, ora la domanda è: ho il mio progetto, l'ho impostato, ho le mie colonne in ognuno, la mia variabile binaria, come ottengo le mie stime? Ora, senza entrare in troppi dettagli matematici, che lascerò per un documento che ho intenzione di allegare con il resto di questi materiali, per la presentazione della scoperta, ho creato una tabella per semplificare le cose.
Quello che faremo è specificare quale pensiamo sia il tasso di errore di base, il tasso di eventi di base, e diciamo in questo caso, non mettiamolo a 0,9, ma a 0,75. Il mio tasso di errore di base è 0,75 e supponiamo che l'obiettivo che mi interessa raggiungere sia 0,2. Mi darà una stima per il mio valore di base, mi darà una stima per un obiettivo.
Quello che farò è copiare questa baseline e incollarla. Lasciatemi reimpostare di nuovo questi valori a 0. Incollerò questo come intercetta, quindi la mia baseline sarà la mia intercetta. Copierò il mio target.
Don, posso farti una domanda molto veloce?
Puoi scommetterci.
Molto veloce. Per quanto ne so, al momento sei a 75 e considereresti un cambiamento significativo se scendessi a 0,2.
Esatto. Questo è il cambiamento che vorrei vedere.
Qualcosa di meno, non ti interessa. Ma andare-
Esatto. Assolutamente corretto.
Grazie.
Ho copiato la mia stima target. Ora vado avanti. Inizierò con le risposte continue. Le incollerò per le loro risposte continue. Tralascerò le risposte categoriali perché voglio un po' più di controllo. Prima di tutto, però, vorrei specificare l'ipotesi che sto facendo qui. Presumo che quando eseguo il mio DOE, quando ho una condizione di base, questi saranno i miei fattori continui al centro del progetto e il mio fattore categoriale si troverà a un livello specificato.
Posso ottenerlo per i miei fattori continui semplicemente incollandoli qui, e procediamo con l'incollaggio. Sono i miei quattro fattori continui, i miei effetti quadratici associati a quei fattori continui, la mia interazione a due fattori associata ai miei due fattori continui. Faccio clic per assicurarmi di avere il binomiale lì, imposto di nuovo il binomiale a 3 e faccio clic su Applica. Sto solo facendo in modo che la colonna "Y Simulate" cambi, e in effetti lo fa.
Ora voglio entrare e apportare alcune modifiche a quei fattori categoriali. Voglio identificare quali dei miei livelli considero i miei livelli di base per i miei fattori categoriali. Aprirò la formula creata da JMP. Notate che genera una variabile binomiale casuale, in modo che ogni volta che la eseguo, ottenga un insieme di valori diverso.
Non perdetevi in tutti i dettagli. La cosa importante è che questi sono i miei effetti fattoriali. In questo caso, questi sono i miei fattori, i miei fattori categoriali da 1 a 6. Devo specificare, ad esempio, nel fattore categoriale 1, dov'è la mia linea di base? Voglio assicurarmi che il valore della mia linea di base sia 0. Supponiamo che la mia linea di base sia dentro.
Quello che farò è incollare la dimensione dell'effetto e incollarla verso l'esterno. Di nuovo, diciamo che in alto c'è la mia linea di base, quindi la incolleremo verso il basso. In questo caso, CA3 ha tre livelli, quindi lascerò 1 come linea di base, gli altri due riceveranno il mio effetto, diciamo piccolo e grande, e così via. Lo faccio con tutti i miei fattori categoriali, scegliendo il livello della linea di base e qualsiasi interazione a 2 fattori che coinvolga un effetto categoriale.
Di nuovo, si tratta di 3 livelli, quindi ne sceglierò due e lascerò il terzo come base. Prima di uscire, cliccherò sul pulsante Applica solo per assicurarmi che la funzione, la formula, venga valutata. Ora sono pronto. Ho impostato la mia app di progettazione in modo da poter eseguire la simulazione. L'idea di base è questa: eseguirò l'analisi una volta e poi userò lo strumento di simulazione con un clic di JMP Pro per poter eseguire la simulazione.
Passiamo ad Analizza, Adatta Modello. Nel discorso di presentazione dell'anno scorso, che Christian ha menzionato un paio di volte, ho parlato un po' più nel dettaglio di come impostare l'analisi e delle opzioni disponibili. Approfondirò ulteriormente nella documentazione che fornirò, ma per ora lo tralascerò. Imposterò semplicemente il mio progetto. In questo caso, è necessario rimuovere ciò che JMP inserisce. È necessario inserire le due colonne, la colonna simulata e il numero di prove.
Sceglierò la regressione generalizzata e userò la distribuzione binomiale. Preferisco tenere la finestra di dialogo aperta nel caso in cui dovessi tornarci. Poi cliccherò su "Esegui". A questo punto, devo decidere che, per impostazione predefinita, JMP inserirà tutti i miei effetti. Eseguiamo una sorta di riduzione del modello. Di nuovo, per coerenza con quanto fatto da Christian, sceglieremo il Lazo. A volte, quello che succede è che il Lazo termina un po' prima se si forza l'ereditarietà, quindi lo disattivo e clicco su "Vai".
Ciò che si scopre è che viene eseguita 1 iterazione. Cosa succederebbe se volessi ripetere l'operazione mille volte o 10.000 volte, raccogliere quante volte ciascuno dei miei effetti è stato significativo e determinare con quale frequenza ha identificato correttamente qualcosa come significativo? Con JMP Pro, è possibile farlo passando il mouse su questa colonna di probabilità, questa colonna del valore P. Si fa clic con il pulsante destro del mouse e, verso il basso, si trova l'opzione Simula.
Ciò che vedrai evidenziato è la colonna della formula. Non farò 2.500 esecuzioni perché ci vorrebbero un paio di minuti, quindi riduciamo il numero a 250. Ho scelto il numero di esecuzioni che voglio fare, 2.500 o 10.000, a seconda del tempo che hai a disposizione, e clicco su "OK". Ora JMP rieseguirà la formula e ripeterà l'analisi con l'ereditarietà degli effetti Lazo disattivata e con tutte le impostazioni che ho selezionato.
Ora, la cosa meravigliosa è che tutto questo viene raccolto in un'unica tabella dati. L'analisi della potenza è disponibile nello script incorporato nella tabella, e la mia analisi della potenza è qui sotto. Esegue un'analisi della potenza che dice: "Bene, se scegliessi un alfa di 0,01, un alfa di 0,05, un alfa di 0,1, quale sarebbe la mia potenza simulata?"
Quello che vedremo se osserviamo l'alfa 0,05 qui, è che la mia potenza simulata è compresa tra il 33% e il 45%, quindi piuttosto bassa. Se voglio raccogliere questi dati in un'unica tabella, ancora una volta, è molto semplice. Faccio clic con il pulsante destro del mouse e dico "Crea tabella dati combinati", e questo raccoglie tutte le mie impostazioni di potenza, tutti i miei valori di potenza simulati per tutti i miei diversi effetti in un'unica tabella.
Ho creato un piccolo flusso di lavoro. Se non si utilizza JMP versione 16 o 17, è possibile creare flussi di lavoro. Quello che faccio è questo flusso di lavoro che fornirò anche io. Lo uso per riordinare la mia tabella, quindi dobbiamo solo guardare l'Alpha 0.05. Quello che noterete è che sembra avere le mie potenze e, in generale, ho un paio di casi in cui le mie potenze sono nella media, 0,5 circa, ma niente di veramente eccezionale. Niente di 0,8 o superiore.
Di nuovo, questo è stato fatto con 2.500 run. In realtà ho ripetuto l'esperimento con un paio di condizioni diverse per mostrarvi di cosa voglio parlare ora, ovvero quali fattori influenzano la potenza che posso ottenere. Ovviamente, una potenza maggiore è migliore. La potenza è la mia capacità di distinguere un effetto quando è effettivamente reale.
Chiudo. Lasciatemi sistemare un po' il desktop e andiamo al mio... Ho raccolto i risultati. In questo caso ho scritto, credo di aver fatto 2.500 simulazioni, giusto per darvi un'idea. Ecco la nostra base di riferimento. Ecco cosa abbiamo esaminato. Questa è una simulazione. Sarebbero leggermente diverse se la ripetessi. 24 simulazioni nel mio disegno sperimentale, 3 prove, proprio come ha fatto Christian, tutti i miei effetti sono significativi. Presumo che tutto sia significativo, e il mio confronto qui era... La mia base di riferimento era 0,75 e il mio target a 0,2.
Noterai che ho l'intercetta, che spesso non ti interessa, significativa. Ho un effetto che si trova verso il punto A, ma tutto il resto è più basso. Cosa succederebbe se cambiassi quei 3 tentativi in 5 tentativi? Come influirebbe sulla mia... Noterai che passando da 3 a 5 tentativi, la mia significatività migliora.
E se passassi dal mio modello completo, con la certezza che tutti i miei effetti saranno significativi, a un sottoinsieme? Solo che sì, inserirò tutti questi elementi nel mio progetto. Vorrei poterli stimare, ma diciamo solo un sottoinsieme, e in questo caso ho scelto il sottoinsieme di 2 fattori continui e 1 fattore categorico, e di nuovo le cose migliorano un po' di più.
Questi sono i tipi di scenari ipotetici che si possono realizzare eseguendo queste simulazioni. Proviamo un'altra cosa. Supponiamo che il mio progetto iniziale, invece di fare 24 esecuzioni, passi a 36 e migliori ancora. E se volessi osservare una differenza? Supponiamo che la mia baseline non fosse 0,75, ma 0,90. Di nuovo, e a proposito, questi asterischi sono gli effetti che ho specificato nel modello come significativi.
Di nuovo, questi sono tutti scenari ipotetici che puoi simulare con JMP per dire: "Ok, sembra tutto a posto. È abbastanza buono per me per questo numero di esecuzioni, questo numero di prove". Oppure, forse devo provare ad aggiungere altre esecuzioni. Forse devo aggiungere altre prove e così via perché la mia potenza è troppo bassa, oppure sono a posto per come sono.
Riassumiamo. Quali fattori influenzano la potenza? Ovviamente, più prove sperimentali faccio, più la mia potenza aumenta. Il numero di prove aumenta, più la mia potenza aumenta. La differenza tra la mia linea di base e il punto di partenza, questo influenzerà la mia potenza. Ovviamente, più sono separati, più sono facili da distinguere, e più si avvicinano alle estremità, più sono facili da distinguere. Man mano che i miei effetti significativi diminuiscono, la mia potenza aumenta. Bene, quindi questi sono i fattori che influenzano la potenza.
Di nuovo, lasciatemi ricapitolare, concludo. Avete già i vostri esperti in materia, state già pensando a un design. Il modo giusto per dimensionare questi design è iniziare con un buon design. Iniziate con un buon design, decidete cosa volete considerare, cercate di ridurre al minimo aspetti come la correlazione tra i vostri effetti, perché questo vi aiuterà con la potenza.
La seconda cosa è decidere qual è la tua base di riferimento. Determina qual è quel valore di base, stabilisci dove vuoi arrivare, quanto grande è un cambiamento che è praticamente significativo per te. Inserisci quei valori, simula le tue risposte, assicurati di impostare la distribuzione su binomiale e imposta la tua formula in modo da poter specificare l'entità degli effetti che sono importanti, quindi esegui JMP, esegui la tua simulazione con un clic per poter stimare le potenze.
Se le cose non vanno come vorresti, se i tuoi poteri sono bassi, cambia qualcosa come il numero di esecuzioni, cambia il numero di prove, cambia gli effetti che ritieni possano essere significativi e così via. Fai dei "e se?". Il bello è che senti sempre dire che non si può ottenere qualcosa per niente. In sostanza, questo è qualcosa per niente. Si tratta di esecuzioni sperimentali che non ti costano quasi altrettanto tempo, certamente non altrettanto denaro, e sono gratuite perché gli strumenti sono già inclusi in JMP.
Bene. È proprio quello che volevo dire. Voglio ringraziare Christian per aver effettivamente eseguito uno di questi progetti. È sempre bello vedere un esperimento superato e fallito in azione. Se qualcuno lo desidera, grazie per aver guardato questo articolo e spero che ne abbiate tratto qualcosa. Se avete domande, vi prego di pubblicarle sul sito appropriato del Discovery Talk o di pubblicarle nella community di JMP. Saremo lieti di coinvolgervi in ulteriori conversazioni e di rispondere alle vostre domande. Grazie mille.
Grazie, Don.
