Altoparlante | Trascrizione |
| Giordano Hiller | uscire. |
| Phil Kay | Ok, bene, grazie per esserti unito a noi. Sono Phil Kay. Sono il responsabile dell'apprendimento presso JMP e inizierò questa presentazione con un esempio interattivo di SVEM, ovvero la modellazione di insieme auto-convalidata. |
| Esaminerò cos'è SVEM e il meccanismo di come funziona e poi Pete e Trent condivideranno esempi, |
| casi di studio e simulazioni, che spiegano davvero perché vorresti farlo. Lo presenterò solo su a |
| case study molto semplice, quindi potrebbe non sembrare inizialmente il motivo... potrebbe non sembrare chiaro il motivo per cui vorresti farlo, ma spero che capirai il meccanismo dopo che l'avrò spiegato. |
| Ok, ora fermerò il mio video e mi concentrerò solo sulla dimostrazione del software qui. |
| Abbiamo un diario JMP qui, che condividiamo con te, in modo che tu possa accedervi dal post nella community JMP su Community.JMP.com. |
| E l'esempio che useremo è un classico esempio DOE. Questi sono i dati di rimbalzo, che puoi ottenere dai file della guida in JMP. |
| Quindi sono tre fattori, 15 corse. È un design Box-Behnken e abbiamo una risposta lì, che è elastica, quindi davvero abbastanza semplice, standard, |
| Ttaditional vecchio stile DOE. |
| E non c'è una vera sfida con la modellazione di questi dati, e vediamo se adattiamo un modello di superficie di risposta che questo comportamento curvilineo, questi effetti quadratici e anche quelle interazioni tra fattori che risultano essere importanti. |
| Quindi vediamo come potremmo modellare questo usando l'approccio SVEM. |
| Quindi, se vogliamo modellarlo usando SVEM, la prima cosa che noterai è che abbiamo 30 righe di dati, quindi abbiamo effettivamente duplicato ogni riga di dati, il che può sembrare un po' folle. Può sembrare un tradimento. Questo è un trucco chiave nella metodologia SVEM. |
| Vedrai che abbiamo alcune colonne aggiuntive qui e quella chiave è questo peso di convalida. Quindi disegniamolo in modo che tu possa vedere cosa significa. |
| Quindi puoi vedere che, per ciascuna delle nostre righe di dati, ciascuna delle nostre esecuzioni, abbiamo effettivamente coppie di esecuzioni, quindi la corsa numero uno, puoi vedere qui. |
| In realtà stiamo ponderando ciascuna di queste esecuzioni nel set di addestramento, che è pari a zero, o nel set di convalida, che è uno. E puoi vederlo per ogni coppia |
| tali ponderazioni sono inversamente proporzionali. Quindi, per esempio, esegui il numero sette qui, puoi vedere che ha un peso elevato nell'allenamento, un set di convalida zero e ha un peso basso corrispondentemente nel set di convalida. |
| Ora quelli sono stati assegnati casualmente e possiamo... |
| cliccando qui, possiamo ridisegnarli, così possiamo riassegnare i pesi. E ancora, se una riga ha un peso elevato nel set di allenamento, quindi ad esempio, la riga numero sei qui ha un peso elevato nel set di allenamento, avrà un peso corrispondentemente basso nel set di convalida. |
| Quindi stiamo raddoppiando le nostre righe di dati qui. |
| E useremo questo per l'auto-convalida. Quindi quello che possiamo effettivamente fare è usare una variante sulla convalida di hold back, dove |
| invece di trattenere completamente una riga di dati nel set di convalida, ciò che faremo è trattenere parti di ogni riga di dati, in modo tale che ogni riga possa effettivamente essere all'interno del set di addestramento e del set di convalida e, soprattutto, possiamo riassegnare quei pesi |
| ripetutamente, cosa che farà quando si tratta della modellazione d'insieme. |
| Ok, quindi solo per riassumere abbiamo ... abbiamo duplicato praticamente ogni riga di dati e stiamo assegnando pesi a quelli in modo tale che alcune righe saranno più nell'addestramento e alcune saranno più nel set di convalida. |
| Quindi ora possiamo adattare un modello usando la convalida. |
| Quindi stiamo usando GenReg qui e puoi vedere che stiamo usando un set di convalida (e ignoriamo semplicemente il messaggio di errore lì). |
| Stiamo usando Lasso e stiamo usando la convalida come selezione del modello. E, in questo caso, in realtà non è selezionato alcun effetto attivo nel modello. Quindi è adatto a un modello di superficie di risposta e abbiamo usato la convalida come metodo di selezione, usando il lazo, |
| e abbiamo stabilito che nessun effetto è effettivamente attivo, quindi abbiamo un modello senza effetti attivi. |
| Quello che possiamo fare è ridisegnare di nuovo quei pesi, così possiamo ripesare le nostre colonne. |
| E possiamo vedere, questa volta otteniamo un modello diverso. Quindi in realtà alcuni degli effetti ora diventano attivi, quindi la silice è attiva in questa interazione tra silice e zolfo. |
| Salviamo quel modello. |
| Quindi ora, con il nostro |
| tabella dei dati, puoi vedere che abbiamo una colonna della formula del modello salvata lì. |
| Ridisegniamo di nuovo quei pesi. Quindi di nuovo li stiamo ridisegnando, in modo tale che alcune delle righe siano più pesantemente nell'addestramento, alcune di esse siano più pesantemente nella convalida. |
| E abbiamo di nuovo un modello diverso e salviamolo ora. Quindi ora abbiamo |
| due righe di... due colonne con formule di previsione salvate. |
| E possiamo farlo di nuovo. Quindi ridisegnerò i pesi e salverò la formula di previsione. Ho appena ricevuto uno script che lo fa per noi. E in realtà poi crea questa media del modello, quindi abbiamo effettivamente fatto la media dei nostri tre modelli salvati. |
| Quindi ogni singolo modello ha utilizzato una diversa ponderazione di convalida. |
| Ogni modello era diverso, alcuni erano migliori di altri. Il punto chiave è che quando facciamo la media di quelli insieme, |
| la media di questi è il miglior modello finora. Quindi puoi vedere che in realtà sembra abbastanza vicino al modello originale che abbiamo montato utilizzando metodi standard sullo standard ... |
| il set di dati originale. |
| E possiamo continuare a farlo. Possiamo farlo 10 volte, quindi lo ripeteremo. E puoi vedere ridisegnare i pesi; ogni volta otteniamo un modello leggermente diverso. |
| E possiamo salvare ognuno di quei diversi modelli. |
| E alla fine si finisce con una media che è probabilmente il modello migliore. |
| E, infatti, se lo confrontiamo con il modello originale che abbiamo visto dall'analisi standard di questi dati, |
| puoi vedere che i due modelli sono in realtà in stretto accordo. |
| Quindi, in questo caso, l'utilizzo di questa modellazione di insieme auto-convalidata è davvero arrivato allo stesso modello che otterremmo utilizzando lo standard |
| regressione lineare. |
| Quindi voglio esaminare i punti chiave di ciò che hai visto lì. E come ho detto, andremo avanti con Pete e Trent, che spiegheranno la motivazione per voler usare questa nuova tecnica di modellazione. |
| Quello che abbiamo fatto è stato duplicare le righe di dati originali. |
| Quindi ciò significa che possiamo applicare una ponderazione casuale per dire quanto di ogni coppia di righe è in addestramento rispetto alla convalida. |
| Questo ci consente di utilizzare la convalida. Non saremmo in grado di usarlo per un set di dati così piccolo. Non avrebbe senso contenere completamente una riga di dati, ma cosa possiamo fare con questo set duplicato? |
| è avere una convalida ponderata. Quindi abbiamo adattato un modello che utilizza la selezione Lazo in questo caso e quella selezione Lazo ha utilizzato questa colonna di convalida ponderata. |
| Quindi ridisegniamo quei pesi. Assegniamo di nuovo casualmente pesi diversi a quelle coppie di righe e rifittiamo il modello. E, nel nostro caso, lo abbiamo ripetuto 10-15 volte, ma in pratica per ottenere un buon modello di insieme auto-convalidato, vorremmo ripetere questo processo 100 o più volte. |
| E ogni modello è se stesso... ogni singolo modello in ogni fase di quel processo iterativo non è particolarmente utile, ma la media del modello o l'insieme lo è, come abbiamo visto con il nostro modello finale che abbiamo ottenuto come media di tutte quelle iterazioni . |
| Quindi, ora voglio passarlo a Pete e ora parlerà di un caso di studio, che in realtà illustra perché dovresti usare questo metodo insolito per modellare dati come questo. |
| Pietro Hersh | Ottimo grazie, Phil. Vado avanti e condivido il mio schermo qui. |
| E facciamo un esempio su quando potremmo |
| usa questo metodo. Quindi eccomi |
| guardando prima i risultati, quindi stiamo esaminando un paio di progetti che sono DOE molto piccoli, quindi un DOE a sei, otto e dieci esecuzioni, con tre fattori. |
| E questi sono progetti di superfici di risposta che sono di natura da super satura a satura e sono tutti design ottimali, quindi questi sono un numero molto piccolo di corse |
| per raggiungere il nostro obiettivo qui. Quindi è qui che stiamo andando. Quindi torniamo indietro e parliamo del design e poi di come siamo arrivati qui. |
| Così. |
| Questo è un caso di studio in cui stiamo cercando di massimizzare il tasso di crescita di un microbo regolando diverse combinazioni di nutrienti. E come ho detto prima, stiamo usando un design ottimale super saturato e stiamo regolando il numero di corse. |
| E questi sono dati simulati, in cui tutti gli effetti principali sono attivi, così come tutti i quadratici. |
| Quindi, come è stato impostato, abbiamo iniziato con i nostri tre fattori. Ho disegnato il mio modello. Se non hai mai progettato un design saturo o super saturato in JMP prima, |
| il modo per farlo è trattare quegli effetti che non sono gli effetti principali come se possibile, e questo ti consente di avere meno esecuzioni o la stessa quantità di esecuzioni degli effetti del modello. E così ho generato lì i miei disegni. |
| E ha attraversato questo processo che Phil ha descritto così magnificamente lì di ricampionare i dati, ottenendo quei pesi invertiti ... inversamente proporzionali, che sono la chiave di questo processo. |
| Abbiamo un paio di colloqui che sono stati fatti e ho solo i codici QR per quelli. |
| Questa tecnica è stata sviluppata da Chris Gotwalt e Phil Ramsey e hanno introdotto la tecnica in alcuni discorsi precedenti. E quest'ultimo |
| Il codice QR era un componente aggiuntivo che configurava questa colonna di convalida nelle versioni precedenti di JMP. A partire da JMP 16, è possibile farlo in modo nativo nel software, ma se si dispone di JMP 15, sarà necessario utilizzare questa configurazione del componente aggiuntivo. |
| E come ha detto Phil, quindi e... |
| il singolo modello potrebbe non adattarsi molto bene ai dati, alcuni si adatteranno bene, altri non avranno termini. |
| Ma questo è solo l'esempio qui, dove puoi vedere ogni singolo modello. Alcuni sono solo un'intercettazione, alcuni sono piuttosto scadenti e il modello occasionale fa abbastanza bene. |
| E quindi è come ha descritto Phil, ognuno di questi ha un peso ricalcolato diverso. E quindi stiamo ottenendo un modello leggermente diverso e andremo avanti e li salveremo. Quindi questo è il primo passo. |
| E poi il passo successivo è fare la media di quei modelli. E come puoi vedere, mentre fai la media di quei modelli, sempre più modelli, la vestibilità del modello migliora sempre di più. Quindi i singoli modelli non sono eccezionali, ma il modello medio complessivo ci offre una buona vestibilità. |
| E l'ultimo passo di cui volevo parlare è che questi modelli sono prevenuti per natura. Come hai visto con il primo modello realizzato da Phil, non c'erano effetti attivi. Così |
| quando esegui un modello o una tecnica di selezione di variabili con il tuo modello, a volte otterrai un modello che quella variabile specifica non entra. |
| Quindi, se diamo un'occhiata qui a queste distribuzioni, puoi vedere |
| tutti questi sono effetti attivi e hanno una distribuzione intorno a 5, che è la dimensione dell'effetto, ma hanno anche questa barra qui sotto che è 0. |
| Quindi non sovrastimeremo l'effetto tutte le volte che otteniamo 0 per controbilanciare questo, quindi questo sarà distorto su un valore inferiore, quindi faremo un |
| piccolo trucco per debiasare questi modelli, dove noi |
| tratta questo modello come un predittore in un modello dei minimi quadrati e questo rimuoverà quei pregiudizi e illustrerò questo processo per mostrarti come è fatto. |
| Ma alla fine otteniamo quel bel risultato che ho condiviso con un numero molto ridotto di run. Quindi questa è una specie di motivazione per cui dovresti usare SVEM è la capacità di prevedere e creare un modello decente con meno esecuzioni di quanto potresti senza usare questa tecnica. |
| Bene, allora passiamo a JMP qui |
| e |
| percorrere quel processo. |
| Ok, ecco il DOE in sei fasi di quell'esempio che ho mostrato, dove abbiamo i nostri tre fattori e il nostro tasso di crescita. E questo dopo che abbiamo costruito il modello. |
| Questo è quello che sembra e ora ci siamo passati e corriamo. Quindi abbiamo le nostre sei prove con i nostri sei risultati. Il nostro prossimo passo è creare quella colonna di convalida e per farlo all'interno di JMP, andremo semplicemente ad analizzare la modellazione predittiva, |
| crea una colonna di convalida, quindi invece di una colonna di convalida, creeremo una tabella di convalida automatica. |
| Ok, quindi è così che ho fatto. L'ho già passato e fatto, quindi non ripeterò il processo. |
| Ma ecco quei dati con i dati ricampionati e quel peso inversamente correlato, come ha dimostrato Phil. Hai un peso elevato accoppiato con un peso ridotto della corsa ripetuta. Dopo averlo fatto, procediamo e creiamo il nostro modello. |
| In questo caso, ho usato un modello GenReg e vuoi selezionare una delle tecniche di selezione variabile. Quindi, se vado avanti e eseguo questo, voglio fare qualcosa come la selezione in avanti Lasso |
| o o una di quelle tecniche di selezione. E Trent entrerà più in dettaglio su quelle tecniche di selezione e su quali hanno studiato. |
| Quindi, dopo aver eseguito il modello, vedrai che JMP ha esaminato e selezionato alcuni effetti attivi. Ne ha catturati alcuni, ma puoi vedere qui |
| quella distorsione che stiamo vedendo, in cui entrambi questi effetti principali dovrebbero essere attivi, ma sono risultati pari a 0. Quindi, quando lo salvo nella tabella dei dati, |
| Creerò una nuova colonna come ha mostrato Phil e poi ricalcolerò quel peso e lo farò più e più volte. Ed ecco un semplice script per farlo 100 volte, e |
| saremo felici di condividere questo. Ed è molto semplice copiare e incollare qui il tuo script, il tuo script modello ed essere in grado di riprodurre ciò che abbiamo fatto qui. |
| Ok, quindi ecco il risultato finale, dove siamo passati con il nostro DOE, i nostri risultati, e poi abbiamo |
| i 100 modelli che ho salvato |
| e nascosto qui. E poi il modello finale, che è |
| una media di tutti e 100 questi modelli. E l'ultimo passo che vogliamo fare è quello di sbiadire. Quindi tutto ciò che faremo è trattare questo |
| modello medio come predittore del tasso di crescita. |
| Quindi qui puoi vedere il modello originale che abbiamo |
| ha una pendenza molto più ripida, quindi ha una discreta R al quadrato, ma non è così buona come speravamo di fare. Voglio dire, anche con sei run questo...sei run sono una buona scelta, ma |
| se possiamo rimuovere quel pregiudizio, forse possiamo fare un po' di meglio. Quindi una configurazione davvero semplice. Prendiamo solo il tasso di crescita. La nostra risposta è il nostro Y. Aggiungiamo il |
| modello di insieme qui, media di tutti quelli |
| modelli individuali, come il nostro predittore. Eseguiamo questo e otteniamo un risultato, e puoi vedere che è una trama molto migliore rispetto a quella prevista. E se eseguiamo un confronto, puoi vedere che rimuovere quel pregiudizio ha un grande effetto nella direzione positiva. |
| Giusto e quindi prima di restituirlo a Trent, volevo mostrarne un altro |
| diapositiva qui, che è fondamentalmente solo un riassunto di |
| che noi... (ho perso la mia barra delle applicazioni eccola)... che vi incoraggiamo caldamente a usare |
| e dai un'occhiata a questa tecnica, ma non è una tecnica magica che funzionerà sempre in ogni situazione. Ma quando lo stai verificando nei progetti di screening e cose del genere, questa potrebbe essere una tecnica molto bella che lo farà |
| aiutarti a realizzare cose che potresti non essere stato in grado di fare con le tecniche di modellazione standard. E con questo, lo passerò a Trent che ha |
| qualche dettaglio in più su come è fatto e sul |
| informazioni lì. Quindi Trent, vuoi portarlo via? |
| Trento Lemkus | Sì, grazie, Pietro. Lo apprezzo. |
| Così |
| condivido la mia |
| PDF. Voglio solo assicurarmi che si tratti di condivisione e che tutti possano vederlo. |
| Pietro Hersh | Sì. |
| Trento Lemkus | Ok fantastico. Così |
| come Phil e Peter hanno presentato hanno presentato casi di studio, che penso siano aneddoti fenomenali che mostrano il potere di SVEM e quando e perché usare SVEM. |
| Quello che abbiamo fatto per il nostro documento di ricerca che è attualmente in fase di revisione tra pari è che abbiamo condotto una quantità eccessiva di studi di simulazione per mostrare... Così |
| il prossimo... ho una serie di diapositive che mostrerò. So che può sembrare un po' noioso e arido, ma penso che sia imperativo solo discutere i dettagli |
| prima di addentrarmi in qualcosa di un po' più divertente, che è un esempio di come usavamo... |
| come abbiamo usato JMP, JSL e come ho eseguito le simulazioni come esempio e per mostrarvi l'aspetto di alcuni risultati, nonché i risultati. |
| Quindi, prima di tutto, lo schema e gli obiettivi dei nostri studi di simulazione erano principalmente |
| volevamo creare un'architettura di simulazione del mondo reale. Quindi volevamo che le nostre simulazioni imitassero il DOE industriale del mondo reale il più vicino possibile all'uomo. |
| E in secondo luogo, volevamo vedere come si comportano la costruzione di modelli contemporanei o le tecniche di selezione del modello contemporanee, così come SVEM quando si concentra principalmente sulla pura previsione, |
| chiaro e semplice. Quindi volevamo vedere quando adattiamo un modello a un progetto, come fa a prevedere una verità o un insieme di dati di controllo, o scusate il mio accento, i dati. |
| E da questo, se possiamo simulare queste esecuzioni uniche il maggior numero di volte possibile dal punto di vista computazionale, vogliamo rendere il più possibile inferenziale del mondo reale... vogliamo fare... dedurre i risultati del mondo reale il più vicino possibile in modo che possiamo Potere |
| prescrivere le impostazioni e dove e come utilizzare SVEM, poiché SVEM è così nascente. |
| Quindi, prima di tutto, quali progetti abbiamo usato nelle nostre simulazioni? Abbiamo usato progetti di screening definitivi |
| e abbiamo utilizzato i progetti Box-Behnken in cui il modello di generazione reale sottostante nei nostri progetti erano modelli quadratici completi, o più colloquialmente noti come modelli di secondo ordine. E il motivo per cui abbiamo scelto questi design è perché A) per i progetti di screening definitivi, il |
| più effetti principali hai, più i modelli diventano saturi e poi super saturi, il che significa che hai molti meno gradi di libertà più alti diventano gli effetti principali. Considerando che con i tuoi disegni Box-Behnken con gli effetti principali che abbiamo usato, |
| non ti imbatti in quello scenario. Quindi abbiamo un... abbiamo una giustapposizione tra due scenari, dove in una mano abbiamo |
| adeguati gradi di libertà con i nostri progetti Box-Behnken per stimare i nostri coefficienti quando si applica una tecnica di selezione del modello e, nel caso del progetto di screening definitivo, abbiamo quasi |
| nella maggior parte dei nostri casi, avevamo un design super saturato, quindi avevamo una quantità inadeguata di gradi di libertà. Quindi, in altre parole, in poche parole, |
| non siamo riusciti a stimare tutti gli effetti quando si utilizzano tecniche di costruzione del modello contemporanee, come le selezioni in avanti, come i lacci, i selettori di Dantzig e così via, |
| il che ci porta a quali algoritmi del modello effettivo abbiamo usato per le nostre simulazioni. Quindi per i modelli SVEM, tenendo presente che se... |
| se non hai una buona comprensione di cosa sia SVEM, è molto importante che torni ad alcune delle presentazioni precedenti a cui si riferiva Peter. |
| Ma dobbiamo usare SVEM con una tecnica di costruzione del modello sottostante, come la selezione in avanti, la potatura in avanti e il lazo, che è quello che usiamo per i nostri studi di simulazione. |
| Nei nostri casi di modello non SVEM, usiamo gli stessi algoritmi di costruzione del modello, ma abbiamo anche incorporato il Dantzig Selector, che è abbastanza popolare in DOE, |
| così come il progetto di screening definitivo di adattamento, che è relativo esclusivamente allo screening definitivo; non è utilizzato su altri modelli. |
| Inoltre, utilizziamo un criterio di informazione chiamato AICc o AIC corretto, che è molto comune nel DOE ed è piuttosto noto per la selezione di modelli molto parsimoniosi. |
| Quindi, come puoi vedere, stiamo cercando di incorporare tecniche contemporanee che sono molto attuali nell'uso del DOE industriale, che si attiene al punto centrale... centrale che ho mostrato nella diapositiva iniziale, che è |
| vogliamo imitare il mondo reale il più vicino possibile all'uomo con i nostri studi di simulazione, così possiamo rendere questi empirici... |
| quindi possiamo valutare empiricamente come questi diversi algoritmi di costruzione di modelli si comportano in modo predittivo. E speriamo di poter dimostrare che SVEM esegue o supera empiricamente la sua concorrenza. |
| Quindi, per la struttura di simulazione effettiva, abbiamo eseguito 1.000 simulazioni per ogni algoritmo di costruzione del modello. Quindi, per esempio, se montassimo un modello avanzato con AICc, |
| a ogni singola di quelle 1.000 corse genereremmo un modello vero, la verità, e poi aggiungeremmo rumore o. |
| rumore gaussiano (che è molto comune nel mondo accademico e in e... quando si esegue la ricerca), |
| creando così un insieme di addestramento, se vuoi, e un insieme di verità in modo che, una volta adattato un modello, possiamo vedere come quel modello prevede rispetto alla verità. E rieseguiamo e rigeneriamo quei set di dati casualmente 1.000 volte. |
| L'iperparametro SVEM, di cui non parlerò, abbiamo usato un nBoot di 200. In poche parole, stavamo fondamentalmente adattando 200 modelli e stiamo calcolando la media di quei modelli per ottenere il nostro modello SVEM finale. |
| I disegni sono stati anche iterati su diverse caratteristiche. Quindi il numero di effetti principali |
| per i progetti di screening definitivi, abbiamo avuto quattro effetti principali e otto effetti principali. Per i nostri design Box-Behnken, avevamo |
| tre effetti principali e cinque effetti principali. Ciò significa, solo per darti un esempio, per il nostro DSD, ad esempio, dove K è otto, hai otto effetti principali. Se hai un modello quadratico completo, |
