Nel recente Statisticamente parlando sulla demistificazione dell'apprendimento automatico e dell'intelligenza artificiale, il famoso autore, statistico ed educatore, la plenaria di apertura di David Hand ha posto le basi per una discussione molto interessante con i nostri esperti: Cameron Willden, statistico di WL Gore; Sam Gardner, fondatore di Wildstats Consulting; e Jason Wiggins, ingegnere di sistema senior presso JMP.
Nel messaggio precedente , i nostri relatori hanno risposto alle domande sull'esperienza e la formazione che abbiamo ricevuto durante l'evento in live streaming.In questo post condividono i loro pensieri su domande sui dati e sulla modellazione.La prima domanda riguarda giustamente i dati oscuri, che è il nome dell'ultimo libro di David Hand, Dark Data: perché ciò che non sai è importante (altamente raccomandato).
L'opposto dei dati oscuri sono dati luminosi. Non è una rarità?
Sam: Spesso nelle prime fasi del viaggio nella scienza dei dati di un'organizzazione, scoprono di avere molti problemi con i dati oscuri.Il problema principale da risolvere è come ottenere i dati giusti. Le organizzazioni che vogliono davvero risolvere i problemi - e risolverli bene - avranno approcci, strategie e sistemi che consentiranno loro di generare e raccogliere dati "brillanti" e validi.
JMP può "adattare" solo i dati mancanti, ad esempio, con macchine a vettore di supporto o GenReg? Utilizzare in qualche modo la struttura dei dati mancanti con i dati esistenti per adattarli - un po 'come un adattamento inverso?Questo sarebbe diverso da "informazioni mancanti".
Jason: Vorrei controllare l'imputazione SVD multivariata e l'imputazione automatica dei dati nell'utilità Esplora valori mancanti e vedere se questi faranno quello che speri.
Sam: JMP e JMP Pro può eseguire più imputazioni basate sulla struttura di correlazione dei dati.Vedere la guida in linea per Imputa dati mancanti e Esplora i valori mancanti .
Che tipo di modello di apprendimento automatico possiamo utilizzare per affrontare i dati multilabel che non si escludono a vicenda?
Cameron: Se ti capisco correttamente, puoi farlo semplicemente avendo più risposte.Ad esempio, un modello potrebbe elaborare e visualizzare un'immagine per classificare qualcuno come vecchio o giovane e separatamente come maschio e femmina.
Qual è il modo migliore per avvicinarsi alla modellazione predittiva per un output di processo con elevata variabilità nei dati di processo?
Cameron: Il modo migliore per superare l'elevata variabilità è con un grande volume di dati, ad esempio, l'errore standard di una media ha la radice quadrata della dimensione del campione nel denominatore.
Jason: Identificare le fonti di variazione del processo; investire continuamente nella misurazione e nella raccolta di dati da essi. Quanti input di processo critici vengono misurati nel processo? Ce ne sono abbastanza per descrivere adeguatamente la variazione nei risultati? Ho partecipato e condotto progetti volti a comprendere problemi come questo.Possono essere complicati, ma sono necessari.La modellazione non è magia. Hai bisogno di buone informazioni per avere successo. Investirei qui prima di immergermi in modelli esoterici.
Quando si desidera addestrare un nuovo modello su un piccolo set di dati al fine di ottenere i premi prima (risparmio di denaro), quali sono alcuni buoni consigli pratici per farlo, anche se si tratta di utilizzare un modello meno che perfetto, ma che è " abbastanza buono."
Cameron: Nel regno del deep learning, il transfer learning offre un modo per fare molto di più con meno.Gli esperimenti progettati sono un altro modo per ottenere maggiori informazioni sulle relazioni per punto dati perché pianifichi i punti in modo tale da ridurre al minimo la quantità di informazioni ridondanti.Cioè, generalmente hai una correlazione minima tra i fattori, e quindi fattori di inflazione di varianza uguali o molto vicini a 1.
Jason: Strategie come "lasciare uno fuori" o k-fold cross validation possono essere utili quando si addestra un modello su set di dati più piccoli per evitare un adattamento eccessivo.Ho avuto successo con modelli di regressione penalizzati su piccoli set di dati utilizzando entrambe le strategie di convalida incrociata.Quando crei un modello, con che frequenza controlli l'effettivo rispetto a quello previsto? Se le tue previsioni sono adatte a prendere decisioni aziendali, il modello potrebbe essere "abbastanza buono".
Nella tua esperienza, qual è la percentuale di tempo in cui hai bisogno di applicare un modello di apprendimento continuo / iterativo rispetto a un modello offline / una tantum per risolvere i problemi?Quali sono i pro e i contro di ciascuno?
Cameron: Ciò varierà ampiamente in base all'area di applicazione. Se sto modellando la domanda di un prodotto sulla base di indicatori anticipatori, dovrei assolutamente aspettarmi che tali relazioni si evolvano nel tempo. Avere il mio modello di produzione che si evolve e si adatta nel tempo sarebbe molto vantaggioso. Se sto modellando gli output delle macchine sulla base di una serie di proprietà fisiche, le relazioni rimarranno probabilmente stabili nel tempo e non devo preoccuparmi tanto dell'apprendimento online. L'eccezione potrebbe essere se desidero che le stime dei parametri del mio modello diventino più precise nel tempo man mano che arrivano più dati.
Quando non sei lì per indagare / guardare il processo, potresti perdere la causa del problema; inoltre, COVID complica questo. Come ricercatori / risolutori di problemi / scienziati dei dati, cosa facciamo quando non possiamo essere "lì" per raccogliere i dati?
Cameron: Bella domanda, e l'unica cosa che posso davvero pensare di dire è capire come coinvolgere le persone che hanno raccolto i dati con l'analisi dei dati. Anche se non hanno un background analitico, probabilmente possono comprendere un'analisi grafica abbastanza bene da partecipare a una discussione e tirare fuori spunti dalla loro esperienza di prima mano per contribuire alla discussione e all'interpretazione.
Jason: Questa è dura!Esistono strumenti virtuali che puoi utilizzare per vedere il processo? Chi sta eseguendo il processo? Possono essere addestrati per fare osservazioni sul processo che possono spiegare i problemi che emergono nei dati?Puoi fare passeggiate virtuali?
L'abbondanza di dati può portare alla falsa sicurezza che i dati siano imparziali.Quali sono le fasi di mitigazione dell'utilizzo di un'abbondanza di dati distorti mentre arrivano nuovi dati controfattuali?
Sam: Metti alla prova i tuoi modelli.Controlla sempre se il modello che hai sviluppato prevede ancora buone previsioni.Assicurarsi che il "supporto" del modello (l'intervallo delle variabili predittive utilizzate per costruire il modello) sia ben compreso e verificare se le nuove situazioni che utilizzano il modello prevedono previsioni al di fuori di tale intervallo di "supporto".Quando hai raccolto abbastanza nuovi dati, i modelli possono essere riqualificati, quindi dovresti confrontare il vecchio modello con il nuovo modello per vedere se stanno facendo previsioni simili o diverse.
Che tipo di computer / macchina è necessario per lavorare sui modelli AI / ML? Può essere fatto su un laptop con ampia RAM?
Cameron: Dipende davvero da cosa stai facendo. Non tutto il ML è fatto con enormi set di dati e modelli che contengono milioni di parametri. Probabilmente hai abbastanza potenza di elaborazione sul tuo smartphone per fare un sacco di AI / ML. Una volta che inizi a lavorare con set di dati di dimensioni pari a decine di gigabyte, potresti iniziare a incappare nei limiti di ciò che puoi fare su un PC, anche se stai elaborando i dati in batch. Se stai facendo deep learning con immagini o video, il calcolo parallelo e GPU diventa molto importante; a quel punto, probabilmente stai utilizzando risorse di elaborazione condivise all'interno della tua organizzazione o stai utilizzando servizi basati su cloud. Google Colaboratory è un modo semplice e gratuito per accedere al GPU Computing per il deep learning.Puoi anche pagare per l'accesso a livelli più alti di potenza di elaborazione GPU su quel servizio.
Jason: Che tipo di modelli di ML desideri utilizzare?Quanti dati hai? Molti degli esercizi di modellazione che ho fatto sono stati su una workstation portatile: processore quad core, 32 GB di RAM, ecc. Ho lavorato a un progetto di rilevamento dei difetti in cui abbiamo utilizzato Reti neurali convoluzionali per identificare i difetti di fabbricazione dai feed della telecamera in corso. Abbiamo costruito PC da gioco personalizzati di fascia alta per affrontare questo problema e stavamo esaminando la distribuzione di un server prima di lasciare il progetto. La più grande differenza tra la mia workstation portatile e la macchina da gioco è la scheda grafica. Se prevedi di eseguire l'analisi delle immagini e / o l'elaborazione della GPU, una scheda grafica per laptop potrebbe non essere sufficiente. Se la velocità e la memoria sono un problema, potresti voler utilizzare un server o indagare sull'elaborazione distribuita.
Qual è lo strumento / tecnica (pulire, combinare, modellare o altro) che ti ha aiutato di più a svilupparti nella tua carriera?
Cameron: La curiosità, la volontà di provare cose difficili, l'ostinata determinazione a trovare modi per superare gli ostacoli e l'apprendimento attraverso la pratica sono stati molto più importanti di qualsiasi strumento e tecnica specifici. Raccogli ciò di cui hai bisogno lungo la strada.
Jason: Prima JMP aveva l'utilità Recode, penso che uno strumento che mi ha aiutato fosse sfruttare array e matrici per la pulizia dei dati.È sorprendente cosa possono fare un po 'di matematica con matrici, manipolazione di matrici e / o indicizzazione logica in uno script per trovare e risolvere problemi nei dati. Regular Expressions è un altro strumento che ha fatto una grande differenza nella mia carriera per quanto riguarda la pulizia / il munging dei dati di testo. Ora che abbiamo Recode, questo è il mio strumento di pulizia dei dati preferito!Supporta le espressioni regolari per il testo e può facilmente trovare problemi nei dati numerici. Dato che puoi salvare i risultati come formula, recode esegue automaticamente la maggior parte degli script che facevo.Le utilità Esplora valori anomali ed Esplora modelli fanno anche molto di ciò che gestivo con gli script per la pulizia dei dati. Tutti sono grandi risparmiatori di tempo!Soprattutto, direi che l'utilizzo della visualizzazione dei dati in tutte le fasi del flusso di lavoro analitico per svelare la storia dietro i dati ha avuto il maggiore impatto sulla mia carriera.
Sam: Onestamente, fare buoni grafici di dati è probabilmente la cosa più efficace che posso fare. Se lo metti in un'immagine, racconterà la storia dei dati e del problema. Il secondo strumento più importante è la scrittura: comunicare i risultati di un'analisi, riassumere ciò che è stato appreso e formulare raccomandazioni per ulteriori azioni. Se non lo scrivi, le persone non ricorderanno né sapranno cosa è successo.
Come puoi convincere le industrie chimiche o farmaceutiche che basano i loro processi (funzionamento e controllo) su modelli meccanicistici a saltare in alternative black-box?Gli approcci ibridi sono il primo passo?
Cameron: I modelli meccanicistici li trattengono in qualche modo? Per me un modello meccanicistico è sempre preferibile quando è a portata di mano. Proprio come non hai bisogno di un'educazione fisica per capire cosa succederà quando lanci una palla, un computer può imparare come funziona qualcosa vedendo molti esempi. Tuttavia, se si conoscono tutti i calcoli fisici ei valori dei parametri, sono necessari pochi dati, se non nessuno, per fare previsioni accurate. Meglio scomponi una situazione in base ai principi primi, meno dati hai bisogno e meno devi preoccuparti anche dell'estrapolazione.I modelli basati sui dati (userò quello anziché la "scatola nera") sono incredibilmente utili per aggirare le lacune di conoscenza o per approssimare le complessità. Se ottenere una risposta al 100% richiedesse mesi, ma puoi utilizzare un modello basato sui dati per ottenere una risposta al 95% in questo momento, cosa sceglieresti? Qual è il costo opportunità con la prima opzione (pensa a cosa potresti fare con tutto quel tempo extra)?
Avevamo domande su quale auricolare Sam utilizzava (un Plantronics 655 DSP) e su come ottenere il suo libro.L'e-book può essere ordinato direttamente da SAS Press e le copie cartacee sono disponibili su Amazon .La seconda edizione è in corso e dovrebbe essere disponibile nel 2021!
Puoi guardare la versione on demand di questo episodio di Statisticamente parlando e leggi un file estratto dal capitolo scientifico di Dati oscuri.Essere in grado di classificare e gestire meglio tutti i dati oscuri disponibili renderà i tuoi modelli molto più utili. Ringraziamo i nostri spettatori per aver posto domande così buone, e ringraziamo Cameron, Sam e Jason per aver condiviso più della loro esperienza!
