Siamo stati lieti di presentare lo straordinario duo padre-figlia, il Dr. Chris Nachtsheim e la Dr. Abby Nachtsheim nel nostro primo Statisticamente parlando del 2023. Abbiamo apprezzato gli eventi passati con Chris in questo modo eccellente discorso in plenaria al passato Discovery Summit Americas (vale la pena rivederlo!). Ed eravamo super interessati a saperne di più sugli affascinanti progetti di Abby.
Chris è Frank A. Donaldson Chair of Operations Management presso il dipartimento Supply Chain and Operations della Carlson School of Management presso l'Università del Minnesota. I suoi interessi di ricerca spaziano dalla progettazione ottimale di esperimenti industriali, alla modellazione predittiva e alla gestione della qualità. È coautore di numerosi libri e ha numerosi articoli pubblicati nella letteratura statistica.È membro dell'American Statistical Association ed è anche destinatario di numerosi premi, tra cui i seguenti:
- Ha ricevuto quattro volte il premio Brumbaugh dell'American Society for Quality
- Ha ricevuto due volte il Lloyd S. Nelson Award
- Tre volte destinatario del premio Jack Youden per il miglior articolo espositivo in Technometrics.
Abby è una statistica del gruppo di scienze statistiche del Los Alamos National Lab. Collabora regolarmente con fisici, chimici, biologi, informatici e ingegneri per sviluppare soluzioni a problemi complessi e interdisciplinari. I suoi interessi di ricerca sono incentrati sulla progettazione e l'analisi degli esperimenti e fornisce competenze al DOE per un'ampia gamma di applicazioni presso il Los Alamos National Lab. È anche un membro attivo della comunità statistica nazionale e attualmente ricopre il ruolo di presidente della sezione Twin Cities dell'American Statistical Association.
La loro plenaria di Statistical Speaking è stata davvero coinvolgente, come evidenziato dalle numerose reazioni e commenti Zoom nella chat, come questi:
- “Io *amo* DOE! Ha letteralmente cambiato l’efficacia con cui hanno lavorato i miei scienziati di ricerca e sviluppo”.
- “Adoro la collaborazione del lavoro di Abby!!!”
- “Presentazione illuminante, grazie!”
- "Questo è fantastico."
- "È un peccato che il DOE non venga più utilizzato nella scienza dei dati, poiché può essere molto utile creare il set di dati di addestramento più informativo e rappresentativo possibile."
- "Grazie per la discussione straordinaria."
La loro plenaria ha anche ispirato tante belle domande, molte delle quali sono rimaste senza risposta durante il tempo limitato che abbiamo avuto per le domande e risposte, ma Abby e Chris hanno gentilmente accettato di rispondere ad altre fantastiche domande poste dagli spettatori in questo post del blog.
Queste aziende che dispongono di dipartimenti di sperimentazione o di modellazione causale, di quali altre competenze potrebbero aver bisogno, soprattutto quando un esperimento potrebbe non essere fattibile?
È necessario avere una buona conoscenza della regressione e della modellazione predittiva, probabilmente anche la capacità di codificare in R e/o Python, e P forse familiarità con alcune tecniche di modellazione causale. E, cosa più importante, avere una buona comprensione della differenza tra studi osservativi e sperimentali.Gli esperimenti danno causa ed effetto.Gli studi osservazionali forniscono ipotesi.
È possibile utilizzare la progettazione Plackett-Burman per formulazioni chimiche per valutare i singoli componenti? Oppure si dovrebbero sempre utilizzare disegni misti? Ho utilizzato lo screener e gli strumenti di modellazione di Minitab con l'assistente DOE per le miscele, ma non ho utilizzato la progettazione delle miscele poiché in genere valuto più di tre fattori per gli screener e circa 3-4 per la modellazione.
Sì, puoi utilizzare un design Plackett-Burman per formulazioni chimiche. Se la somma delle percentuali dei componenti è pari al 100% o a qualche altra costante (ad esempio, il 40% della miscela totale), dovresti: 1) utilizzare un esperimento sulla miscela, oppure 2) tralasciare uno dei componenti e utilizzare un design più standard come Plackett-Burman. Tralasciarne uno è chiamato approccio slack-variable. I progetti di miscela, ovviamente, non si applicano se la somma delle percentuali dei componenti non è una costante fissa.
Quali sono i vantaggi/svantaggi dell'utilizzo del DOE anziché della discesa del gradiente stocastico per l'ottimizzazione degli iperparametri? Questi metodi possono essere usati insieme (forse prima DoE?) Reti neurali? Potrebbero essere presi in considerazione? Potrebbero essere presi in considerazione per il caso complesso?
La discesa del gradiente stocastico è un'importante tecnica di ottimizzazione, spesso utilizzata per adattare i parametri (forse milioni) nella rete neurale per un insieme fisso di iperparametri. Ma non lo userei per l'ottimizzazione degli iperparametri: sarebbe costoso rispetto all'uso di un esperimento progettato.
E che dire di PCA/PLS? Possono essere “assistiti” dal DOE?
Dalle discussioni sull'argomento con il professor Dennis Cook presso l'Università del Minnesota, sappiamo che ci sono ragioni teoriche per cui il PLS (minimi quadrati parziali) *non* può essere assistito dal DOE.E sebbene possa essere possibile, non siamo a conoscenza di alcuna connessione utile tra DOE e PCA.
Dove vedi le maggiori opportunità di impatto per gli statistici che lavorano nel moderno DoE per i Big Data? So che i test A/B sembrano emergere come una nuova area con molto potenziale (vedi Nicholas Larsen, Jonathan Stallrich, Srijan Sengupta, Alex Deng, Ron Kohavi e Nathaniel Stevens, " Sfide statistiche negli esperimenti controllati online: una revisione della metodologia di test A/B .”
Gli statistici nel DOE possono avere un impatto importante sui test A/B, sia attraverso l'uso efficiente dei soggetti sia attraverso l'implementazione di esperimenti multifattoriali in grado di stimare le interazioni tra fattori, ovvero andando oltre i test OFAAT.Ma sospettiamo che l’impatto maggiore deriverà dal coinvolgimento nello sviluppo e nella sperimentazione di modelli di intelligenza artificiale.
Le aziende di successo utilizzano la sperimentazione?
Assolutamente.Il grado può variare a seconda del prodotto, ma la sperimentazione è molto utilizzata nelle migliori aziende.C'è molta letteratura a riguardo.Un punto di partenza è questo recente Articolo della Harvard Business Review : SCHÖPPNER, F.; THOMKE, S.; LOVEMAN, GW Agisci come uno scienziato.Revisione aziendale di Harvard , [sl] , v. 100, n. 3, pag. 120–129, 2022.
Nelle discussioni che sento, ML sembra "preferito" rispetto a DOE. Come descriveresti i vantaggi della modellazione basata su DOE (non ML) e anche l'approccio dell'utilizzo del DOE per raccogliere dati per l'analisi ML?
Non consideriamo ML e DOE come metodi concorrenti.Il DOE è semplicemente un modo efficiente di raccogliere dati per apprendere come vari fattori controllabili influenzano una risposta di interesse.Il ML è un modo per adattare modelli altamente complessi a (solitamente) grandi quantità di dati esistenti.I dati potrebbero essere osservativi o potrebbero essere il risultato di un esperimento progettato.
Quali argomenti dovrebbero essere inclusi in un corso DOE per i programmi di Data Analytics e Data Science? Ad esempio, dovremmo concentrarci su argomenti come i test A/B che normalmente non sono presenti in un corso DOE standard?
Oltre ai test A/B, gli argomenti DOE dovrebbero includere la progettazione e l'analisi di esperimenti fattoriali, il blocco, l'analisi della covarianza e i progetti di screening.Una buona comprensione della differenza tra gli effetti principali e le interazioni è fondamentale.
Come valuti la qualità del tuo DOE?
Prima o dopo l'esperimento?Prima dell’esperimento, ci sono molte misure statistiche standard della bontà del progetto, incluso il potere di rilevare gli effetti che vogliamo vedere, il grado di ortogonalità tra/tra i fattori, la precisione attesa, la robustezza, i gradi di libertà per l’errore, D- efficienza, ecc. Non statistico: Abbiamo controllato? Tutto dei fattori che possono influenzare la risposta?Abbiamo randomizzato? La misurazione della risposta è affidabile?Dopo l'esperimento: il modello statistico prevede in modo affidabile?L'esperimento è replicabile?
I progetti di Max Entropy sarebbero utili per stimare i parametri per i modelli meccanicistici/deterministici?
I progetti di massima entropia di cui abbiamo discusso non sarebbero utili in tale applicazione.I nostri progetti sono personalizzati per discriminare tra due o più modelli, che potrebbero essere meccanicistici/deterministici.
Come si fa a trovare i fattori rilevanti per un DOE? La mia esperienza è che spesso eseguiamo un DOE e ci rendiamo conto di aver trascurato qualche fattore oscuro ma importante e quindi dobbiamo eseguire nuovamente la progettazione.
Questo è un grosso problema e anche noi abbiamo avuto esperienze simili.Come progettisti di esperimenti, dobbiamo fare affidamento sugli esperti in materia per identificare in anticipo i fattori importanti.Quindi, per prima cosa, lavora con persone davvero intelligenti, se puoi.Se c'è molta incertezza, è possibile selezionare a buon mercato un gran numero di fattori potenziali e ridurre l'insieme a quelli rilevanti.Allora vai da lì.
Hai un suggerimento specifico su come incorporare il DOE nei programmi e nei curricula di scienza dei dati?
Concentrarsi sui test A/B e A/B/n, ma introdurre anche i concetti di esperimenti fattoriali, blocco, analisi di covarianza e disegni di screening.Una buona comprensione della differenza tra gli effetti principali e le interazioni è fondamentale.
Se disponi già di grandi set di dati osservativi, abbiamo ancora bisogno del DOE?
Gli studi osservazionali non possono dimostrare causa ed effetto e la maggior parte dei set di dati osservazionali equivalgono a studi progettati in modo molto inadeguato e spesso non replicabili.Se vuoi identificare in modo affidabile le relazioni causa-effetto, hai bisogno del DOE.Gli studi osservazionali possono essere utili per identificare potenziali fattori per la sperimentazione di follow-up.
Una domanda che abbiamo posto durante lo streaming live, alla quale non avevamo una risposta pronta, è stata: “Ci sono partecipanti che stanno lavorando e/o sono attivamente interessati al miglioramento delle operazioni ospedaliere del DOE? Una risorsa utile per iniziare potrebbe essere: Progettazione di esperimenti nel settore dei servizi: una revisione critica della letteratura e future direzioni di ricerca . Se altri che leggono questo post del blog conoscono altre risorse che applicano il DOE alle operazioni ospedaliere, ti invitiamo a condividere nei commenti. Grazie!
Mille grazie a Chris e Abby per aver dedicato del tempo a condividere maggiormente la loro esperienza statistica.Ci auguriamo che guarderai l'on-demand episodio di Statistical Speaking per vedere alcune applicazioni davvero stimolanti di esperimenti progettati a beneficio di tutti noi.
