All'inizio di questo mese JMP ha tenuto un seminario di tipo statistico sulla progettazione degli esperimenti (DOE). Un ringraziamento molto speciale va a Julia O'Neill di Moderna, Andrea Geistanger di Roche e Rachel Findlay di CPI per aver avviato una discussione avvincente con il moderatore Malcolm Moore. I partecipanti hanno anche ascoltato due presentazioni principali. La prima è stata quella di Dame Sally Davies, presidente esecutivo di The Trinity Challenge, che ha descritto le sfide affrontate dagli scienziati nell'attuale panorama dei dati e cosa si può ottenere quando si abbraccia l'analisi. La Dott.ssa O'Neill ha tenuto il secondo keynote, in cui ha spiegato come Moderna ha utilizzato DOE e analisi per risolvere con successo un problema del mondo reale, vale a dire come sviluppare un vaccino contro il nuovo coronavirus, SARS-CoV-2.
L'evento ha suscitato molto interesse, a giudicare dal numero di domande ricevute dai relatori. Anche se hanno fatto un ottimo lavoro rispondendo a molti di loro, non è stato possibile rispondere a tutti nel tempo concesso. Abbiamo quindi deciso di rispondere in questo post.
Potresti mettere in relazione la dimensione del campione con la possibilità di avere un'innovazione affidabile?
R: Possiamo fare di meglio. I nuovi Esploratori delle dimensioni dei campioni, introdotti in JMP16 E JMPPro16 , sono stati creati per incoraggiare l'esplorazione della relazione tra potenza, dimensione del campione e altri parametri chiave coinvolti nel determinare il modo migliore per garantire il successo degli esperimenti, come spiegato in questo post del blog di Caleb King ( @calking ). Consigliamo a chiunque sia interessato ad allocare risorse o budget tra progetti di sviluppo, a pianificare le tempistiche o semplicemente a comprendere i calcoli delle dimensioni del campione di provare questa nuova funzionalità.
Hai consigli sulle risorse per affrontare la parte più impegnativa del DOE: scegliere i fattori e definire gli intervalli?
R: Questo è un argomento di grande interesse e per una buona ragione: scegliere i fattori che influenzano la risposta e intervalli sufficientemente ampi da rilevare un effetto sono i primi passi critici nella pianificazione e nell’esecuzione di un DOE di successo. A questo punto sarebbe utile anche definire il successo. Un DOE ha successo se si traduce in un modello che comprende una comprensione sufficiente del processo per soddisfare un’esigenza aziendale: “Come possiamo impostare i nostri fattori per raggiungere Questo livello di qualità nella nostra produzione?" Per esempio.
Un DOE ha successo anche se identifica fattori significativi, quantifica la variazione non catturata dal modello e indica la strada verso un esperimento di follow-up (un DOE aumentato). Un esperimento che non riesce a identificare un singolo fattore significativo costituirebbe un fallimento, anche se si imparerebbe che sono stati scelti i fattori sbagliati o che gli intervalli non sono stati impostati sufficientemente ampi. Qualsiasi buona risorsa sul DOE include alcune discussioni su come scegliere fattori e intervalli, anche se spesso non è molto più che "scegliere fattori che potrebbero influenzare la risposta e intervalli che siano sufficientemente ampi da vedere un effetto se ne esiste uno, ma non così ampio da far fallire le corse. Questo perché la scelta dei fattori e degli intervalli dipende interamente dalle specificità della situazione in questione. Pertanto, le persone più adatte a determinarli sono gli esperti di processo, piuttosto che gli statistici con una grande conoscenza del DOE ma una comprensione limitata dell'applicazione. Detto tutto questo, date un'occhiata questa discussione sulla comunità degli utenti JMP , che contiene molti spunti utili sull'argomento.
Come si garantisce l'affidabilità dei dati "storici" o dei dati provenienti da "fonti esterne"? Qualcuno una volta ha detto "non analizzare mai i dati che non hai raccolto tu stesso". Come superare questo problema per essere sicuri che i dati storici siano affidabili, significativi, che il sistema di misurazione utilizzato sia in grado di valutare al minimo le variazioni del processo, ecc.?
R: Non so chi l'ha detto riguardo ai dati che non hai raccolto tu stesso, ma non sono d'accordo. Nel suo intervento, Dame Sally Davies ha discusso della moltitudine di modi in cui i dati vengono generati e raccolti, nonché dei rischi per gli analisti che "lavorano in silos" utilizzando diversi set di dati che "non si informano a vicenda". Nelle sue parole, attualmente c’è “un impegno maggiore che mai tra scienziati e dati” e limitare la nostra analisi ai dati che raccogliamo noi stessi ostacolerebbe gravemente il progresso.
Naturalmente, dovremmo sempre essere scettici nei confronti dei dati, così come lo siamo nei confronti dei modelli generati dai dati. Ma trattare qualcosa con scetticismo non equivale a respingerlo completamente. Niente è perfetto, e questo certamente vale per dati e modelli, come ha succintamente espresso George Box nel suo famoso aforisma. Non ne consegue che, poiché qualcosa non è perfetto o non ci si può fidare, non si possa imparare nulla da esso. Abbiamo ragione a porre domande sulla fonte o sull’accuratezza dei dati. Qualsiasi conclusione tratta dalla sua analisi dovrebbe essere considerata insieme alla nostra conoscenza del processo e alla nostra esperienza in materia e mai accettata ciecamente.
Sareste disposti ad approfondire gli errori comuni di cui i nuovi utenti DOE dovrebbero essere a conoscenza?
R: Uno degli errori che le persone commettono è concentrarsi eccessivamente sulla progettazione piuttosto che sul motivo per cui stanno facendo un DOE. Accade troppo spesso che qualcuno inizi scegliendo prima un progetto e poi compromettendo le proprie esigenze sperimentali per adattarlo a quel progetto. IL Design personalizzato piattaforma dentro JMP ti consente di creare progetti ottimali su misura per qualsiasi situazione. Inoltre, Rachel Findlay di CPI ha dato ottimi consigli durante l'evento: "Condividi ciò che hai imparato e i tuoi errori" con i colleghi. Quanto più promuoviamo il DOE all'interno della nostra organizzazione, tanto più l'organizzazione ne trarrà beneficio.
Qual è il fattore più importante da tenere a mente quando si seleziona un DOE?
R: Ci sono molti fattori importanti nella scelta del DOE giusto, a cominciare dalla domanda aziendale a cui stiamo cercando di rispondere. Cosa intendiamo esattamente ottenere eseguendo un DOE in primo luogo? Vogliamo minimizzare i difetti o aumentare le rese? Forse vogliamo incorporare materiale da un nuovo fornitore nel nostro processo, capire come accelerare la produzione o ridurre i costi. Il DOE è spesso un processo iterativo di apprendimento incrementale e comprendere il nostro obiettivo target è fondamentale per decidere se sperimentare ulteriormente. Dobbiamo anche chiederci quante variabili potrebbero influenzare il nostro processo, nonché la nostra tempistica e il nostro budget. Una volta che tutto questo è chiaro, possiamo iniziare il processo di scelta del design.
Ad esempio, se sappiamo già che un numero limitato di variabili è significativo e stiamo cercando la migliore combinazione di impostazioni per massimizzare l'output, potremmo scegliere di optare per un Esperimento sulla superficie di risposta . In alternativa, un gran numero di fattori e un budget limitato possono indicare la strada verso a Progetto di screening definitivo . Risposte ben definite sulla nostra situazione, sui nostri vincoli, limitazioni e su ciò che stiamo cercando di risolvere indicheranno la strada verso un progetto, o una serie di progetti, che garantisca che i nostri requisiti siano soddisfatti. Va inoltre menzionato che il Valutare il progetto E Confronta il design le piattaforme sono strumenti utili per aiutare a prendere la migliore decisione possibile.
Il DOE può essere una tecnica estremamente potente… se usata correttamente…. ma ho ugualmente visto troppi esempi di modelli fortemente overfit che non sono predittivi, e questo spesso non è ovvio per gli statistici/biologi alle prime armi. Come possiamo aiutare meglio i principianti a comprendere gli strumenti che stanno utilizzando e cosa significano effettivamente i risultati?
R: Sono disponibili numerose risorse per aiutare i nuovi sperimentatori a mettersi al passo con la progettazione degli esperimenti molto rapidamente. Coprono anche i vari modi per rimuovere termini insignificanti da un modello e utilizzare la convalida per evitare un adattamento eccessivo. In definitiva, la migliore prova di un modello è la verifica con dati indipendenti: la previsione proposta come soluzione determinata dal nostro modello è supportata da esecuzioni di verifica? Un ottimo punto di partenza è il Pensiero statistico nella risoluzione dei problemi industriali corso online, che include un modulo sul DOE. Sono disponibili anche diversi libri di testo Qui . Coloro che sono nuovi sia a JMP che a DOE possono passare il Kit di Benvenuto ai Nuovi Utenti E Kit introduttivo alla progettazione degli esperimenti . IL Padroneggiare JMP i webinar includono anche DOE. Infine, il Comunità di utenti JMP è una potente risorsa in cui chiunque abbia una domanda specifica può pubblicarla come argomento di discussione; alle domande viene solitamente data risposta da uno dei 30.000 membri della comunità entro poche ore.
In che modo l’intelligenza artificiale può integrare il DOE?
R: Il tema dell'intelligenza artificiale (AI) è stato discusso in precedenza Evento Statisticamente Parlante . Dire che si tratta di un campo molto promettente non gli rende giustizia. Ha già mantenuto molte delle sue promesse. Tuttavia, i maggiori rischi derivanti dall’intelligenza artificiale riguardano la nostra eccessiva dipendenza da essa per risolvere tutti i problemi, o l’accettazione cieca delle soluzioni che pretende di presentare. L'adagio secondo cui “correlazione non significa causalità” evidenzia le carenze dell'intelligenza artificiale. Per separare i due e arrivare al nocciolo della comprensione di qualsiasi processo, è necessario il DOE. Naturalmente il DOE non è in grado di guidare autonomamente un processo lavorativo. Direi che ci sono opportunità sia per l’IA che per il DOE di completarsi a vicenda.
Per saperne di più su come il DOE può accelerare l'innovazione, iscriviti a questi eventi gratuiti a novembre:
