Se ti sei perso la settimana scorsa Statisticamente parlando con Christine Anderson-Cook, ampiamente pubblicata e premiata, in pensione
Ricercatore presso il Los Alamos National Laboratory (LANL), ti sei perso un affascinante tour della raccolta di dati progettati, dei big data e delle loro sinergie. Il potenziale per la raccolta di dati progettati per aggiungere più valore ai progetti che coinvolgono i big data è significativo. In effetti, i partecipanti erano così ansiosi di saperne di più su questo argomento che non abbiamo avuto il tempo di rispondere a tutte le loro numerose domande interessanti. Quindi, li abbiamo inviati a Christine, che si è gentilmente presa il tempo di rispondere per questo post. Puoi vederla parlare e ascoltare le domande a cui ha risposto nel registrazione su richiesta .
Pensi che venga data troppa enfasi ai dati osservativi (e transazionali), che in genere sono scarsi di informazioni rispetto alla raccolta intenzionale di dati che potrebbero informare meglio le decisioni? Ciò è dovuto principalmente al "costo" per ottenere più dati ricchi di informazioni?
Penso che all'inizio per molte aziende ci fosse il sentimento che "molti dati possono risolvere tutti i problemi". Ciò può portare a pensare che solo la raccolta di dati sia una soluzione a se stessa. Tuttavia, ora che i big data esistono da un po' di tempo, molte aziende potrebbero aver avuto esperienze infruttuose, in cui i dati non sono stati in grado di fornire loro le risposte di cui avevano bisogno. Quindi, sfortunatamente, mentre la realtà si insinua, l'esperienza potrebbe essere uno degli insegnanti più convincenti che dati convenienti a basso costo non sono necessariamente più desiderabili di dati scelti intenzionalmente più costosi.
Nella parte di discussione del documento QREI [1] , Laura Freeman ha fatto una citazione meravigliosa su ciò che spesso accade quando i dati vengono raccolti senza intenzione: “Il risultato finale è in genere un analista esausto e un decisore deluso, perché i dati non sono mai stati progettati per rispondere al problema che stanno cercando di affrontare. " [2] Per rispondere a molte domande specifiche e importanti, nulla può sostituire l'abbinamento dei dati alla domanda di interesse prima che vengano raccolti.
La linea di fondo è che la dipendenza dai dati osservativi o transazionali può avere risultati contrastanti. Se vengono raccolti senza premeditazione o semplicemente perché è conveniente, allora c'è una maggiore possibilità di delusione che se ci fosse consapevolezza e pianificazione da parte degli esperti del team di raccolta dati su ciò per cui verranno utilizzati i dati.
Conosci casi in cui il costo per misurare qualcosa ha superato il suo vantaggio?
Ho lavorato su alcuni progetti presso LANL in cui il costo per ottenere i dati era molto alto, di solito perché il modo per raccogliere i dati desiderati era sconosciuto all'inizio. In questi casi, a volte sono necessarie alcune ricerche e sviluppi per poter ottenere i dati desiderati. Naturalmente, potrebbero esserci delle delusioni occasionali su ciò che apprendi da quei dati una volta che sarai in grado di raccoglierli. Tuttavia, tale investimento potrebbe avere un ritorno lungo la strada per un'altra applicazione una volta che la nuova funzionalità sarà stata sviluppata e la piattaforma per la raccolta dei dati sarà stata stabilita. Se sembra che tu possa trovarti in una situazione come questa in cui sarà necessario spendere risorse per ottenere un nuovo tipo di dati, è importante pensare davvero ai possibili vantaggi per il progetto attuale e, a lungo termine, ai rischi di delusione e se potrebbe esserci un surrogato alternativo in cui informazioni simili possono essere ottenute più facilmente oa buon mercato.
Molte nuove aziende stanno promuovendo modelli prescrittivi per dire agli sperimentatori cosa fare dopo. Puoi commentare questo approccio alla sperimentazione rispetto alla creazione di esperimenti progettati?
I modelli prescrittivi stanno decisamente emergendo come approccio di riferimento in una serie di aree diverse. Per coloro che non hanno familiarità con ciò che comportano, ecco due definizioni sciolte che potrebbero aiutare a chiarire la distinzione tra i modelli più tradizionali e questi particolari:
- Modelli predittivi prevedere i risultati per nuove combinazioni di input sulla base di un modello stimato utilizzando dati precedenti.
- Modelli prescrittivi formulare raccomandazioni specifiche attuabili su come rispondere ai nuovi dati.
Gli strumenti predittivi sono progettati per aiutare con la comprensione, mentre i modelli prescrittivi prendono tale comprensione e la automatizzano in azioni pianificate.
Penso che sia importante ricordare che gli algoritmi alla base dei modelli prescrittivi sono validi solo quanto le persone che li creano. Hanna Fry [3] fa un lavoro magistrale nel parlare dei punti di forza e di debolezza dell'automazione con algoritmi e sforzi per portare gli umani fuori dal giro.
Potrebbe essere vantaggioso prendere in considerazione modelli prescrittivi per situazioni in cui il volume o la velocità richiesti per prendere la decisione (si pensi al design adattivo, in cui nuovi soggetti in attesa di essere assegnati ai trattamenti arrivano continuamente e frequentemente) rendono poco pratico per un decisore umano tenersi al passo. Detto questo, penso che ci siano enormi vantaggi nel mantenere la progettazione degli esperimenti come un compito guidato da un essere umano premuroso. Le persone notano quando le condizioni cambiano rispetto al paradigma utilizzato per impostare l'esperimento per il quale l'algoritmo è stato progettato. Gli esseri umani sono più bravi a estrarre la conoscenza e gli aspetti chiave del problema. Sono più bravi a trovare soluzioni che bilanciano adeguatamente più obiettivi nel modo che meglio riflette le priorità dello studio. Quindi, la mia raccomandazione è che la progettazione degli esperimenti dovrebbe essere il punto di partenza per la maggior parte degli esperimenti, ma se l'esperimento deve essere ripetuto molte volte o se la velocità o il volume lo richiedono, allora l'esperienza acquisita dagli esperimenti iniziali potrebbe essere tradotta in un modello prescrittivo per ridurre l'onere per gli esseri umani.
Per la sperimentazione sequenziale, come vengono costruiti e stimati i modelli quando i dati sono stati ottenuti da diverse fasi, come uno studio pilota, l'esplorazione e la costruzione del modello? Quali sono le conseguenze se non è possibile ottenere nuovi dati per il perfezionamento del modello?
Per tutti i vantaggi della sperimentazione sequenziale, come gestire l'analisi è una delle maggiori complicazioni. Se i dati vengono raccolti in gruppi in un ordine non casuale, l'analisi dovrebbe quasi sempre riflettere questa situazione. Un'eccezione alla necessità di adattare l'analisi sarebbe per un esperimento al computer in cui lo stesso codice è in esecuzione per tutte le combinazioni di input ed è indipendente dall'ordine di esecuzione. A volte non è necessario combinare i dati in un'unica analisi, con modelli e interpretazioni separati per ciascuna fase. Ad esempio, se un'analisi del sistema di misurazione viene eseguita nella fase pilota, potrebbe non esserci un collegamento diretto tra essa ei dati successivi progettati per concentrarsi sull'esplorazione e sulla costruzione del modello.
In generale, trattare gruppi di esecuzioni da diverse fasi dell'esperimento (pilota, esplorazione, costruzione del modello, ecc.) come blocchi fornisce un modo per riconoscere che le cose potrebbero essere cambiate tra le fasi. I metodi esplorativi possono aiutare a esaminare l'impatto dei blocchi e vedere se sembrano esserci cambiamenti sostanziali nelle risposte tra i blocchi. Nell'esempio della medicina legale nucleare, le tre fasi dell'esperimento più ampio sono state analizzate con l'aggiunta di un effetto blocco. Dall'esame di questo effetto, siamo stati in grado di identificare alcune differenze nella misurazione di alcune delle caratteristiche nel tempo.
Se non è possibile ottenere nuovi dati per il perfezionamento del modello, la precisione del modello iniziale non può essere ulteriormente migliorata. In molti casi, l'obiettivo del perfezionamento del modello è individuare le aree in cui la stima o la previsione corrente del modello è debole. L'aumento con corse aggiuntive può aiutare a moderare questa debolezza e migliorare le prestazioni complessive. Se non è disponibile un budget per questo perfezionamento del modello, la stima e la previsione sono dettate dai dati disponibili. Questa potrebbe essere un'opportunità persa, quindi, quando possibile, è bene pensare a un'allocazione efficiente delle risorse nelle diverse fasi.
Ora abbiamo molti dati dalle cartelle cliniche elettroniche negli ospedali, coloro che li raccolgono e li analizzano potrebbero avere competenze limitate nel DOE. Quali sono alcuni modi per applicare alcuni dei grandi punti che hai condiviso con noi?
Le cartelle cliniche contengono una grande quantità di informazioni, ma potrebbero essere nascoste nel volume di cartelle da elaborare. Data la natura del trattamento medico e le considerazioni etiche, molto probabilmente sarà molto difficile cambiare la sua natura osservativa. Di conseguenza, potremmo non essere in grado di controllare gli "input" per i dati raccolti e più probabilmente saremo limitati durante la fase dei big data al campionamento strategico dei record per aiutarci a rispondere alle domande.
Ecco alcune riflessioni su dove potrebbero esserci opportunità:
- Se nuovi tipi di dati verranno aggiunti al database, potrebbe esserci l'opportunità di eseguire un'analisi del sistema di misurazione per aiutare a comprendere le fonti di variabilità. Ad esempio, le persone che somministrano i test sono una parte sostanziale della variazione? È importante quale macchina viene utilizzata per i test o sono tutti calibrati in modo simile? Dato che il volume di dati da raccogliere è probabilmente elevato, un piccolo studio per comprendere le fonti di variabilità potrebbe essere molto istruttivo su come i risultati dovrebbero essere interpretati.
- Se le misurazioni sono costose, nelle fasi precedenti ai big data, potrebbero esserci opportunità di utilizzare un set di dati più piccolo per esaminare le correlazioni tra le misurazioni per capire quali dati sono maggiormente collegati ai risultati e se sono possibili costose ridondanze di informazioni.
- Un aspetto chiave per rispondere a domande diverse è assicurarsi che esistano modi facili da implementare per suddividere i dati in categorie rilevanti e meno rilevanti. La possibilità di campionare record per sottopopolazioni in base a campi chiave consentirà di effettuare confronti più precisi con soggetti simili.
- Il campionamento dei dati per data o posizione potrebbe consentire il confronto dei risultati nel tempo o nell'attrezzatura. Ciò potrebbe evidenziare tendenze o ridurre il numero di false conclusioni attribuibili a fattori esterni e non a cambiamenti nel paziente.
- Infine, nelle fasi successive ai big data, potrebbero esserci opportunità per utilizzare alcuni piccoli esperimenti progettati sotto forma di esperimenti di conferma per verificare ipotesi o verificare se gli effetti si traducono in popolazioni più ampie.
L'approccio del design adattivo (test A/B) non pregiudica i risultati verso il modello che ottiene un vantaggio all'inizio? Se A viene mostrato il 75% delle volte, l'aspettativa di base del numero di risultati per A diventa superiore a quella per B.
Il campo della progettazione adattiva ha molte opzioni per implementare l'algoritmo che decide come rispondere a nuove osservazioni. In genere, lo sperimentatore può scegliere quanto velocemente l'algoritmo cambierà la proporzione di nuovi soggetti che ricevono ogni trattamento. Se ti evolvi troppo lentamente, c'è un costo opportunità di avere potenzialmente una proporzione maggiore di soggetti che ricevono l'opzione meno desiderabile. Se ti evolvi troppo velocemente, quindi con un inizio "sfortunato" (non rappresentativo) della sequenza, potresti iniziare indirizzando troppi soggetti verso l'opzione meno desiderabile.
Come con tante decisioni, ci sono due tipi di errori, e lo sperimentatore deve soppesare i relativi rischi e conseguenze. In molte implementazioni, l'equilibrio tra esplorazione e sfruttamento viene scelto per ridurre al minimo la possibilità di evolvere troppo rapidamente verso la soluzione sbagliata, tollerando al contempo alcune opportunità perse facendo una scelta prudente. Gli algoritmi sono in genere progettati per funzionare con la proporzione di successi per ciascuna opzione, non con il numero assoluto di successi osservati.
Per quanto riguarda l'esempio del set di dati della competizione di dati, la divisione in tre fasi dal progetto generale è qualcosa che JMP può fare per selezionare quali esecuzioni sono per quale fase o è stato determinato solo arbitrariamente?
Invece di creare un set di dati più grande e suddividerlo in dati di addestramento, test pubblici e test privati, utilizziamo un approccio dal basso verso l'alto generando set di dati più piccoli con caratteristiche diverse per scenari diversi e quindi combinandoli per generare i dati finali della competizione.
Di seguito sono riportati alcuni dettagli in più sulla costruzione dei set di dati di addestramento, test pubblico e test privato. Per ogni scenario è stato costruito un denso insieme di punti candidati (si pensi a una delle sorgenti radioattive da scoprire, schermate o non schermate). Poiché le maggiori conseguenze della competizione risiedevano nei risultati del set di dati del test privato, è stato costruito per primo, utilizzando un design di riempimento dello spazio non uniforme (NUSF) [4] , dove la non uniformità è stata scelta per enfatizzare le regioni più difficili (qui, il rivelatore in rapido movimento alla ricerca di una piccola quantità di materiale radioattivo), ma comunque con una certa copertura nell'intero spazio. Una volta finalizzato questo progetto, il set di candidati ridotto (originale meno i punti già selezionati) è stato utilizzato per costruire il set di dati del test pubblico. In questo caso, l'enfasi era su livelli di difficoltà moderati, ma ancora una volta con una certa copertura dell'intero spazio. Il processo è stato ripetuto un'ultima volta per costruire i dati di addestramento, con un set di candidati ulteriormente ridotto (i punti selezionati dai set di dati dei test pubblici e privati sono stati rimossi dal set di candidati originale). Ciò ha consentito la creazione di tre set di dati progettati per ciascuna combinazione sorgente radioattiva x schermatura.
Successivamente, questi progetti sono stati combinati in tutti gli scenari e randomizzati in tre set di dati finali (formazione generale, test pubblico generale e test privato generale), che sono stati poi forniti ai concorrenti. Ci sono alcuni documenti che ho scritto con i miei colleghi su come pensare alla costruzione di set di dati sulla competizione di dati [5] o come abbiamo implementato queste strategie per il problema del rilevamento delle radiazioni [6] . Attualmente, JMP non dispone di una funzione automatica per la costruzione diretta dei progetti NUSF, ma è possibile crearne una che utilizzi un approccio sequenziale per variare il grado di uniformità del progetto [7] con i design veloci e flessibili di riempimento dello spazio [8] in JMP. In alternativa, è disponibile il codice R per costruire questi progetti nei materiali supplementari del mio articolo [4] .
Ho una domanda sulla gestione della cura dei valori anomali prima dell'addestramento degli algoritmi. C'è un pericolo nell'escluderli, in particolare se c'è scarsità in quello spazio degli stati. Utilizzeresti potenzialmente un progetto di esperimento per misurazioni adattive per differenziare se includere o escludere tali valori anomali? Esistono altri approcci per determinare la cura degli outlier?
L'identificazione di valori anomali e punti di leva elevati è degna di nota per il loro impatto sproporzionato sui risultati e sulla nostra interpretazione dei modelli. Per definire queste nozioni in modo più preciso, un valore anomalo è un'osservazione in cui la risposta o le risposte non seguono l'andamento degli altri dati. Un punto di leva elevato è un'osservazione in cui la combinazione di input è estrema rispetto al resto del set di dati (questo può essere difficile da valutare man mano che la dimensione dello spazio di input aumenta).
La progettazione degli esperimenti potrebbe essere utile in modi diversi per ognuno di questi. Per un valore anomalo, un piccolo esperimento locale nella regione in cui è stato osservato il valore di risposta estremo potrebbe aiutare a chiarire se si tratta di una regione con comportamento diverso o forse ha una variazione superiore a quella tipica. Ognuno di questi, una volta confermato, richiederebbe una reazione diversa. Per un punto di leva elevato, la sperimentazione intenzionale nella regione che collega il punto di leva alto al resto dello spazio di input può aiutare a caratterizzare la relazione tra input e risposte senza grandi lacune. Può aiutare a fornire informazioni sulla transizione dalle due regioni di localizzazione di input. Entrambe queste strategie, ovviamente, dipendono dal grado di controllo delle impostazioni di input che ha lo sperimentatore.
Sono piuttosto vecchio stile sulla rimozione dei valori anomali. A meno che non ci sia competenza in materia per guidare l'inclusione o l'esclusione, sono estremamente riluttante a rimuovere questi punti dati. I modelli di ensemble (che combinano modelli basati sull'intero set di dati e con i valori anomali rimossi) possono fornire un modo alternativo per calibrare l'impatto di queste osservazioni sulla comprensione della variabilità e dell'incertezza del modello.
Riferimenti:
[1] Anderson-Cook, CM, Lu, L. (2023) “La raccolta di dati progettata è ancora rilevante nell'era dei Big Data? Qualità e Affidabilità Ingegneria Internazionale 39(4) 1085-1101.
[2] Freeman, L. (2023) “Recensione: la raccolta dei dati di progettazione è ancora rilevante nell'era dei big data? Con estensioni al machine learning” Qualità e Affidabilità Ingegneria Internazionale 39(4) 1102-1106.
[3] Friggere, H. (2018) Ciao mondo: essere umani nell'era degli algoritmi , W.W Norton & Company.
[4] Lu, L., Anderson-Cook, CM, Ahmed, T. (2021) "Progetti di riempimento dello spazio non uniformi" Giornale di tecnologia di qualità 53(3) 309-330.
[5] Anderson-Cook, CM, Lu, L., Myers, K., Quinlan, K., Pawley, N. (2019) "Apprendimento migliorato dai concorsi sui dati attraverso la generazione strategica di set di dati informativi" Ingegneria della qualità 31(4) 564-580.
[6] Anderson-Cook, CM, Myers, K., Lu, L., Fugato, ML, Quinlan, K., Pawley, N. (2019) "Concorsi sui dati: ottenere di più da un progetto strategico e un'analisi post-competizione" Analisi statistica e data mining 12 271-289.
[7] Lu, L., Anderson-Cook, CM (2022) "Sfruttando ciò che sai: design versatili che riempiono lo spazio" Ingegneria della qualità https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R. e B. Jones. 2015. "Progetti rapidi e flessibili per il riempimento dello spazio per regioni non rettangolari" Qualità e Affidabilità Ingegneria Internazionale 31 (5): 829-37. doi: 10.1002/qre.1640.
Apprezziamo che Christine abbia dedicato del tempo a condividere più della sua saggezza su questo argomento strategico. Grazie a tutti coloro che hanno partecipato e hanno posto domande così belle! Applaudiamo tutti gli sforzi per raccogliere dati ricchi di informazioni! Raccomandiamo vivamente anche l'articolo di Christine, Il perché e il come fare buone domande .
