Nel recente Statisticamente parlando sulla demistificazione dell'apprendimento automatico e dell'intelligenza artificiale, il famoso autore, statistico ed educatore, la plenaria di apertura di David Hand ha posto le basi per una discussione molto interessante con i nostri relatori esperti: Cameron Willden, statistico presso WL sangue; Sam Gardner, fondatore di Wildstats Consulting; e Jason Wiggins, ingegnere di sistemi senior presso JMP.
Nel messaggio precedente , i nostri relatori hanno risposto alle domande sulle competenze e sulla formazione che abbiamo ricevuto durante l'evento in live streaming.In questo post, condividono i loro pensieri su domande su dati e modellazione.La prima domanda riguarda opportunamente i dati oscuri, che è il nome dell'ultimo libro di David Hand, Dati oscuri: perché ciò che non sai è importante (altamente raccomandato).
L'opposto dei dati oscuri sono i dati luminosi. Non è una rarità?
Sam: Spesso nelle prime fasi del percorso di data science di un'organizzazione, scoprono di avere molti problemi con i dati oscuri.Il problema principale da risolvere è come ottenere i dati giusti. Le organizzazioni che vogliono davvero risolvere i problemi, e risolverli bene, avranno approcci, strategie e sistemi che consentiranno loro di generare e raccogliere dati "brillanti" e validi.
JMP è in grado di "adattare" solo i dati mancanti, ad esempio con macchine a vettori di supporto o GenReg? Utilizzare in qualche modo la struttura dei dati mancanti con i dati esistenti per adattarli, un po' come un adattamento inverso?Questo sarebbe diverso da "informativo mancante".
Giasone: Verificherei l'imputazione SVD multivariata e l'imputazione automatizzata dei dati nell'utilità Esplora valori mancanti e vedrei se questi faranno ciò che speri.
Sam: JMP e JMPPro può eseguire imputazioni multiple basate sulla struttura di correlazione dei dati.Vedere la guida in linea per Imputa i dati mancanti e Esplora i valori mancanti .
Che tipo di modello di machine learning possiamo utilizzare per gestire i dati multietichetta che non si escludono a vicenda?
Cameron: Se ho capito bene, puoi farlo semplicemente avendo più risposte.Ad esempio, un modello potrebbe elaborare un'immagine per classificare qualcuno come vecchio o giovane e separatamente come maschio e femmina.
Qual è il modo migliore per avvicinarsi alla modellazione predittiva per uno o più output di processo con un'elevata variabilità nei dati di processo?
Cameron: Il modo migliore per superare l'elevata variabilità è con un grande volume di dati, ad esempio, l'errore standard di una media ha la radice quadrata della dimensione del campione nel denominatore.
Giasone: Identificare le fonti di variazione del processo; investire nella misurazione e nella raccolta continua dei dati da essi. Quanti input di processo critici vengono misurati nel tuo processo? Ce ne sono abbastanza per descrivere adeguatamente la variazione negli output? Ho partecipato e condotto progetti volti a comprendere problemi come questo.Possono essere complicati, ma sono necessari.Modellare non è magia. Hai bisogno di buone informazioni per avere successo. Investirei qui prima di immergermi in modelli esoterici.
Quando si desidera addestrare un nuovo modello su un piccolo set di dati al fine di ottenere prima i premi (risparmio di denaro), quali sono alcuni consigli utili e pratici per farlo, anche se si tratta di utilizzare un modello meno che perfetto, ma che è " abbastanza buono."
Cameron: Nel regno del deep learning, il transfer learning offre un modo per fare molto di più con meno.Gli esperimenti progettati sono un altro modo per ottenere maggiori informazioni sulle relazioni per punto dati perché pianifichi i punti in modo tale da ridurre al minimo la quantità di informazioni ridondanti.Cioè, generalmente hai una correlazione molto piccola tra i fattori, e quindi i fattori di inflazione della varianza sono uguali o molto vicini a 1.
Giasone: Strategie come "lasciane fuori uno" o la convalida incrociata k-fold possono essere utili durante l'addestramento di un modello su set di dati più piccoli per evitare l'overfitting.Ho avuto successo con modelli di regressione penalizzati su piccoli set di dati utilizzando entrambe le strategie di convalida incrociata.Quando crei un modello, quanto spesso controlli il reale rispetto al previsto? Se le tue previsioni sono adatte per prendere decisioni aziendali, il modello potrebbe essere "abbastanza buono".
Nella tua esperienza, qual è la percentuale di tempo in cui devi applicare un modello di apprendimento continuo/iterativo rispetto a un modello offline/una tantum per risolvere i problemi?Quali sono i pro e i contro di ciascuno?
Cameron: Ciò varierà ampiamente in base all'area di applicazione. Se sto modellando la domanda di un prodotto sulla base di indicatori anticipatori, dovrei assolutamente aspettarmi che tali relazioni si evolvano nel tempo. Far evolvere e adattare il mio modello prodotto nel tempo sarebbe molto vantaggioso. Se sto modellando gli output della macchina sulla base di una serie di proprietà fisiche, le relazioni rimarranno probabilmente stabili nel tempo e non devo preoccuparmi tanto dell'apprendimento online. L'eccezione potrebbe essere se desidero che le stime dei parametri del mio modello diventino più precise nel tempo man mano che arrivano più dati.
Quando non sei lì per indagare/guardare il processo, potresti perdere la causa del problema; inoltre, COVID complica questo. Come ricercatori/risolutori di problemi/data scientist, cosa facciamo quando non possiamo essere "lì" per raccogliere i dati?
Cameron: Bella domanda, e l'unica cosa che posso davvero pensare di dire è capire come coinvolgere le persone che hanno raccolto i dati con l'analisi dei dati. Anche se non hanno una formazione analitica, possono probabilmente comprendere un'analisi grafica abbastanza bene da partecipare a una discussione e tirare fuori spunti dalla loro esperienza diretta per contribuire alla discussione e all'interpretazione.
Giasone: Questa è dura!Ci sono strumenti virtuali che puoi usare per vedere il processo? Chi gestisce il processo? Possono essere addestrati a fare osservazioni sul processo che possono spiegare i problemi che emergono nei dati?Puoi fare passeggiate di processo virtuali?
L'abbondanza di dati può portare alla falsa sicurezza che i dati siano imparziali.Quali sono le misure di mitigazione dell'utilizzo di un'abbondanza di dati distorti mentre arrivano nuovi dati controfattuali?
Sam: Metti alla prova i tuoi modelli.Guarda sempre per vedere se il modello che hai sviluppato sta ancora prevedendo bene.Assicurati che il "supporto" del modello (l'intervallo delle variabili predittive utilizzate per costruire il modello) sia ben compreso e controlla se le nuove situazioni che utilizzano il modello prevedono al di fuori di tale intervallo di "supporto".Quando hai raccolto abbastanza nuovi dati, i modelli possono essere riaddestrati, quindi dovresti confrontare il vecchio modello con il nuovo modello per vedere se stanno facendo previsioni simili o diverse.
Che tipo di computer/macchina è necessario per lavorare su modelli AI/ML? Può essere fatto su un laptop con ampia RAM?
Cameron: Dipende davvero da cosa stai facendo. Non tutto il machine learning viene eseguito con enormi set di dati e modelli che contengono milioni di parametri. Probabilmente hai abbastanza potenza di elaborazione sul tuo smartphone per fare molta AI/ML. Una volta che inizi a lavorare con set di dati di dimensioni anche di decine di gigabyte, potresti iniziare a imbatterti nei limiti di ciò che puoi fare su un PC, anche se stai elaborando i dati in batch. Se stai facendo deep learning con immagini o video, il calcolo parallelo e GPU diventa molto importante; a quel punto, probabilmente stai utilizzando risorse informatiche condivise all'interno della tua organizzazione o utilizzando servizi basati su cloud. Google Colaboratory è un modo semplice e gratuito per accedere al GPU computing per il deep learning.Puoi pagare anche per l'accesso a livelli più elevati di potenza di calcolo della GPU su quel servizio.
Giasone: Che tipo di modelli ML desideri utilizzare?Quanti dati hai? Molti degli esercizi di modellazione che ho svolto sono stati eseguiti su una workstation portatile: processore quad core, 32 GB di RAM, ecc. Ho lavorato a un progetto di rilevamento dei difetti in cui abbiamo utilizzato Reti neurali convoluzionali per identificare i difetti di fabbricazione dai feed della fotocamera in corso. Abbiamo creato PC da gioco personalizzati di fascia alta per affrontare questo problema e stavamo esaminando l'implementazione di un server prima che lasciassi il progetto. La più grande differenza tra la mia workstation portatile e la macchina da gioco è la scheda grafica. Se prevedi di eseguire l'analisi delle immagini e/o il GPU Computing, una scheda grafica per laptop potrebbe non essere sufficiente. Se la velocità e la memoria sono un problema, potresti voler utilizzare un server o esaminare il calcolo distribuito.
Qual è lo strumento/tecnica (pulire, combinare, modellare o altro) che ti ha aiutato di più a svilupparti nella tua carriera?
Cameron: La curiosità, la volontà di provare cose difficili, l'ostinata determinazione a trovare modi per superare gli ostacoli e l'apprendimento attraverso la pratica sono stati molto più importanti di qualsiasi strumento e tecnica specifici. Raccogli ciò di cui hai bisogno lungo la strada.
Giasone: Prima JMP avevo l'utilità Recode, penso che uno strumento che mi ha aiutato sia stato sfruttare array e matrici per la pulizia dei dati.È incredibile cosa possano fare un po' di matematica matriciale, manipolazione di matrici e/o indicizzazione logica in uno script per trovare e risolvere problemi nei dati. Le espressioni regolari sono un altro strumento che ha fatto una grande differenza nella mia carriera per quanto riguarda la pulizia/mungitura dei dati di testo. Ora che abbiamo Recode, questo è il mio strumento di pulizia dei dati preferito!Supporta le espressioni regolari per il testo e può facilmente trovare problemi nei dati numerici. Dal momento che puoi salvare i risultati come una formula, recode fa automaticamente la maggior parte degli script che facevo io.Anche le utility Explore Outliers ed Explore Patterns fanno molto di ciò che ero abituato a gestire con gli script per la pulizia dei dati. Tutti sono grandi risparmiatori di tempo!Soprattutto, direi che l'utilizzo di data viz in tutte le fasi del flusso di lavoro analitico per svelare la storia dietro i dati ha avuto il maggiore impatto sulla mia carriera.
Sam: Onestamente, creare buoni grafici di dati è probabilmente la cosa più efficace che posso fare. Se lo metti in una foto, racconterà la storia dei dati e del problema. Il secondo strumento più importante è la scrittura: comunicare i risultati di un'analisi, riassumere ciò che è stato appreso e formulare raccomandazioni per ulteriori azioni. Se non lo scrivi, le persone non ricorderanno né sapranno cosa è successo.
Come convincere le industrie chimiche o farmaceutiche che basano i loro processi (funzionamento e controllo) su modelli meccanicistici a lanciarsi in alternative black-box?Gli approcci ibridi sono il primo passo?
Cameron: I modelli meccanicistici li trattengono in qualche modo? Per me un modello meccanicistico è sempre preferibile quando è a portata di mano. Proprio come non hai bisogno di un'educazione fisica per capire cosa accadrà quando lanci una palla, un computer può imparare come funziona qualcosa vedendo molti esempi. Tuttavia, se conosci tutti i calcoli fisici e i valori dei parametri, hai bisogno di pochi dati, se non di nessuno, per fare previsioni accurate. Quanto meglio scomponi una situazione in base ai primi principi, meno dati ti servono e meno devi preoccuparti anche dell'estrapolazione.I modelli basati sui dati (lo userò piuttosto che la "scatola nera") sono incredibilmente utili per aggirare le lacune della conoscenza o approssimare le complessità. Se ottenere una risposta del 100% richiedesse mesi, ma puoi utilizzare un modello basato sui dati per ottenere una risposta del 95% in questo momento, cosa sceglieresti? Qual è il costo opportunità con la prima opzione (pensa a cosa potresti fare con tutto quel tempo extra)?
Avevamo domande su quale auricolare Sam utilizzasse (un Plantronics 655 DSP) e su come ottenere il suo libro.L'e-book può essere ordinato direttamente da S.A.S. Press e le copie cartacee sono disponibili su Amazzonia .La seconda edizione è in lavorazione e dovrebbe essere disponibile nel 2021!
Puoi guardare la versione on-demand di questo episodio di Statisticamente parlando e leggi un estratto dal capitolo scientifico di Dati oscuri.Essere in grado di classificare e gestire meglio tutti i dati oscuri là fuori renderà i tuoi modelli molto più utili. Ringraziamo i nostri spettatori per aver posto domande così interessanti e ringraziamo Cameron, Sam e Jason per aver condiviso più della loro esperienza!
