Dati oscuri, competenza, modellazione: abbiamo trattato una serie di argomenti nel mese di ottobre . 1 Statisticamente parlando . David Hand ha dato un brillante plenaria parlare e prepara il terreno per una grande tavola rotonda mettendoci in guardia ricordare quel pensiero è necessario e di cui essere consapevoli tutti i dati oscuri là fuori - il dati che non vediamo, ma di cui abbiamo bisogno tenere in considerazione . Dark Data: perché quello che non sai M atters è il suo ultimo libro (vedi a post sul blog di esso ; se non l'hai letto , puoi ottenere un campione estratto ).
I relatori includevano Cameron Willden , statistico a WL Gore, che supporta gli ingegneri e scienziati in molte linee di prodotti differenti; Sam Gardner, fondatore di Wildstats Consulenza , con più di 30 anni di esperienza nel problema statistico risolvendo per governo e industria; e JMP Jason Wiggins , un veterano di sintesi degli Stati Uniti di 20 anni con esperienza nell'ottimizzazione dei processi, nell'analisi dei sistemi di misurazione e nella modellazione predittiva / data mining.
Abbiamo esaurito il tempo prima di poter rispondere a tutte le domande domande del pubblico in live streaming , ma i nostri relatori hanno gentilmente accettato di fornire risposte a molti di loro , condividendo ulteriormente la saggezza dalle loro esperienze collettive . Il domande sono raggruppati per argomento - ce n'erano così tanti, stiamo facendo due post . In questa prima parte, noi si concentrerà su tutte le questioni relative all'esperienza e alla formazione. Parte T wo tratterà domande sulla modellazione e sui dati.
La scienza dei dati sembra consentire a molte persone che non sono addestrate analiticamente di ottenere lavori analitici. Cosa ne pensi di questo?
Cameron : Se le persone stanno facendo scienza dei dati ma tutto quello che sanno è "Metti i dati a questo fine, e ottieni la risposta a questo fine", le persone che prendono decisioni basate su quel lavoro si trovano ad affrontare un mondo di dolore.Non ho paura di democratizzare tutti i tipi di analisi, ma le persone devono comunque avere una buona comprensione di base delle statistiche e dei limiti di ogni strumento nella tua cassetta degli attrezzi. Più precisamente, dovrebbero essere in grado di riconoscere in modo affidabile quando stanno per entrare in conflitto con tali limitazioni nel mondo reale. Arrivare a quel punto non lo fa richiedono un padrone laurea in stat istic s o m Achine l guadagnare (ML ) ma arrivarci attraverso una combinazione di formazione formale e apprendistato informale mi sembra realistico.
Sam: Su tutto , Trovo che questa sia una buona cosa. Innovatori (come JMP !) ho creato davvero meraviglioso strumenti software quella hanno consentito una "democratizzazione" dell'analisi, dove le competenze primarie richiedevano a ri meno su programmazione e matematica e più su problem solving, lavoro di squadra, affari o organizzazione acume e comunicazione. Ci sono più problemi da risolvere tha n ci sono persone per risolverli attualmente, e ciò di cui le organizzazioni hanno bisogno sono persone che abbiano un "Quoziente analitico" (QA) elevato. I dipendenti con un QA elevato possono provenire da una varietà di background e avere un insieme variabile di competenze, ma tutti devono comunque comprendere le idee fondamentali nella scienza dei dati .
Penso che ci sia l'idea che i data scientist non abbiano bisogno di conoscere le statistiche. Penso che sia una tendenza pericolosa. Qual è la tua opinione?
Sam: Sebbene, come ho risposto sopra, avere persone con un alto livello di qualità e l'accesso a buoni strumenti software può consentire a un'azienda di fare scienza dei dati in tutta l'azienda, hai ancora bisogno di un quadro di persone con una profonda conoscenza delle scienze matematiche. La ragione di ciò è che sono il team principale che svilupperà strumenti e processi interni migliori per la scienza dei dati . UN s il business cresce io t S AQ, i problemi facili verranno risolti e i problemi rimanenti spesso richiedono un approccio più tecnico e xpertise risolvere. Inoltre, gli statistici in genere hanno un acuto senso di come risolvere questi difficili problemi. Quindi sì, io t's buono per la tua organizzazione a cui avere accesso uno statistico e d on't supponi di poter far crescere la tua organizzazione ' s AQ senza l'aiuto e i servizi di uno statistico .
Jason: Ho osservato che le persone che sono buone analisti hanno una compulsione per capire cosa stanno facendo , il che significa imparare la statistica istic S. È apparente in una presentazione o in un rapporto tecnico quando qualcuno ha una profonda comprensione di che cosa loro sono comunicare . Sanno abbastanza per comunicare risultati e metodi in modo semplice e rispondere alle domande difficili che seguono? Non credo che ogni data scientist dovrebbe avere la conoscenza di un matematico statistico, ma dovrebbero avere una buona base teorica e applicativa degli strumenti che usano .Penso anche che esista una distinzione tra i data scientist che sono analisti e quelli che sono gli architetti dei dati. In alcune aziende con cui interagisco , queste sono diverse funzioni lavorative con differenti comando, ma entrambi sono indicati come data scientist . Il gli architetti dei dati potrebbero non aver bisogno di molta comprensione della statistica istic S come gli analisti, ma dovrebbero avere abbastanza per guidare il loro lavoro.Tutti possono beneficiare di una migliore conoscenza delle statistiche! Perché solo richiederlo ai data scientist e agli statistici?
Ho bisogno di aiuto nei campi ML e AI. Devo assumere qualcuno con esperienza nel settore aziendale o posso fornirlo a un semplice data scientist di talento con esperienza in ML e AI? Ho alcune statistiche di base e competenze di data science.
Cameron: I data scientist sono spesso definiti come persone che hanno statistiche forti istic s / analisi, programmazione e dominio competenza , ma fortunatamente, quest'ultimo viene tipicamente acquisito sul lavoro e al livello necessario per essere efficace. Come statistico industriale a Gore a partire dal il Divisione tessuti, ho dovuto imparare tantissimo sui tessuti, laminazione e gestione del web ; ma sono stato in grado di imparare abbastanza dopo solo poche settimane per iniziare a fare domande agli ingegneri no pensato di chiedere informazioni sul loro processo. Collaborando con loro, sono stati in grado di colmare molte delle lacune di conoscenza che avevo in ordine per a creare collettivamente una strategia efficace per risolvere il loro problema. Ho vissuto la stessa esperienza nel nostro M edical P divisione rodotti, HR , e ora più recentemente , S uply C hain.Potresti trovare un candidato che ha conseguito una laurea nel tuo dominio ma ha completato una laurea in statistica istic s / ML / scienza dei dati. Mi sembra una rara eccezione e potresti aspettare un'eternità per trovare quel candidato.
Jason: Raramente ho avuto il lusso di assumere qualcuno che si occupi di scienza del dominio e dei dati o anche di risolvere problemi statistici di base competenza . Ho cercato persone che lo fossero capace studenti e avere dimostrato successo nell'apprendimento di nuovi concetti . Se un nuovo assunto ha l'attitudine, puoi colmare le lacune competenza con la formazione. Credo che avere un solido vantaggio il processo di imbarco con formazione è fondamentale per il successo di un nuovo assunto. Penso che la maggior parte delle aziende avere le conoscenze per addestrare il dominio competenza ma potrebbe ancora essere necessario progettare il curriculum e la struttura per consegnarlo .Se la tua azienda non ha il livello di abilità necessario per insegnare ML e capacità di problem solving statistico a qualcuno con dominio competenza , trova buoni consulenti con cui collaborare fino al il il livello di abilità generale raggiunge cosa è necessario per insegnare internamente.Ogni compagno puoi b trarre vantaggio dall'avere un po profondo ol di exp ertise in th e statistica risoluzione dei problemi regno.
È in corso un dibattito sull'opportunità di disporre di "buoni" data scientist con conoscenza del dominio e potrebbero avere un "pregiudizio" verso interpretazioni di dati / risultati rispetto ad avere data scientist "puri" che possono invece collaborare con esperti di dominio. Pensieri?
Cameron: Dominio competenza avrebbe sempre superato le preoccupazioni sul potenziale di bias secondo me . La conoscenza del dominio ti aiuta anticipare problemi, capire le sfumature che hanno un grande impatto e interpretare i risultati correttamente. Però, lo penso ha più senso assumere in base all'analisi e alle capacità di codifica rispetto alla conoscenza del dominio da che di solito può essere acquisito sul lavoro, appoggiandosi agli altri nella loro squadra per questo competenza nel frattempo.
Jason: Vorrei prima affrontare la seconda parte della domanda. Se accoppi un data scientist con esperti di dominio per risolvere problemi aziendali complessi , il data scientist non svilupperà il dominio competenza ? Sono d'accordo che è bene lavorare in modo collaborativo / interfunzionale per collegare competenza lacune. Dobbiamo fare affidamento sui nostri colleghi chi conoscere le cose w e don 't . io anche pensare esso è bello avere nuove prospettive . UN allo stesso tempo , come lo sai quale domande da porre senza la conoscenza del dominio? Deve venire da qualche parte. Perché non sviluppare domai n Experti se in tutti , Compreso il scienziato dei dati ?Tutti gli scienziati dovrebbero essere consapevoli dei pregiudizi cognitivi ed essere interessati a attenzione per esso personalmente e organizzativamente. Un buon modo per avere a che fare con questo è per essere disciplinato a statistica ing obiettivi di analisi, ipotesi, ipotesi e potenziali lacune prima di imbarcarsi sperimentazione o analisi. Se tu non farlo , è troppo facile per la nostra mente distorcere il pensiero o l'intento originale per far corrispondere ciò che è attualmente visibile . Distorsioni come questa possono farlo totalmente maschera l'Eureka ! momenti th a tutti noi bramiamo.
Sam: Di solito ci vuole una squadra per risolvere un problema e tutti i membri del team giocano un ruolo. Il data scientist "puro" può concentrarsi su aspetti più tecnici dettagli ma deve essere in grado di comunicare e avere la fiducia del resto del team. Anche quella persona deve avere buoni affari acume , per poter vedere il file quadro generale e capire la politica della situazione e dell'organizzazione. Un buon data scientist può farlo anche apprendere la conoscenza del dominio aziendale in modo che siano un membro più efficiente della squadra .
Avete tutti confermato l'impostazione ottimale per data scientist / ingegnere di apprendimento automatico come ambiente di squadra. Quando si cerca un lavoro in quest'area, quali sono le bandiere rosse nelle descrizioni del lavoro?
Cameron: La bandiera rossa principale è quando la descrizione del lavoro descrive un "unicorno" della scienza dei dati e le responsabilità elencate includono cose un ingegnere dei dati, un ingegnere di app, ecc. , normalmente farebbe. Cerca frasi come "interfunzionale" e "team" o descrizioni dei tipi di persone con cui lavoreresti per indicare che l'organizzazione ha una funzione di data science matura, o almeno è stata ponderata su come sono andando a far crescere quella capacità.
Anche quando le persone parlano di intelligenza artificiale, utilizzano ancora software statistici come JMP per analizzare i dati e creare modelli?
Cameron : L'intelligenza artificiale non richiede sempre una soluzione personalizzata e certamente non sono sempre reti neurali profonde!Esistono così tanti metodi ML per l'apprendimento supervisionato e non supervisionato che possono essere eseguiti molto bene con software punta e clicca come JMP .
Sam : I grandi data scientist possono esserlo potenziato fare ottimo lavoro se dispongono degli strumenti che consentono loro di eseguire analisi . Sì, molti data scientist avranno JMP nella loro cassetta degli strumenti analitici! Le capacità di modellazione di JMP sono diverse e complete e, anche se potresti non essere in grado di fare tutto ciò che devi fare in JMP, può comunque fare molto per te. Combinando ciò con le sue capacità di visualizzazione ed esplorazione dei dati, può davvero migliorare la velocità e la qualità del lavoro di IA svolto .
Potete consigliare un corso online per un'introduzione al machine learning?
Cameron: Sono un grande fan del corso di Machine Learning di Andrew Ng su Coursera come intro. Copre le reti neurali, ma anche la regressione, la regressione logistica, le macchine vettoriali di supporto, ecc. Se vuoi saperne di più sulle reti neurali avanzate, allora fai la specializzazione Deep Learning tramite deeplearning.ai, anche in Coursera.Il corso di Machine Learning di Andrew Ng utilizza un opensource Matlab clone chiamato Octave, che probabilmente non utilizzerai mai più. Userai Python tramite Jupyter Notebook per tutti i corsi deeplearning.ai, che è molto più utile, e sarai anche introdotto ai framework ML più popolari in Python come Keras e TensorFlow.
Jason: Ho preso diversi moduli Coursera. Penso che questo su Specializzazione in Data Science è un buon punto di partenza. Verso la scienza dei dati è una grande risorsa , pure.
Apprezziamo le molte domande dei nostri spettatori inviato durante il live streaming di Statistically Speaking, e apprezziamo Cameron, Sam e Jason per aver dedicato del tempo a condividere il loro prezioso prospettive sopra competenza e formazione.
Abbiamo ancora una formazione suggerimento : Pensiero statistico per la risoluzione dei problemi industriali è disponibile da JMP così come a partire dal Coursera . Nel prossimo post, i nostri relatori volere un risposte alle domande su dati e modellazione.
Se non hai avuto la possibilità di vedere il panel dal vivo, puoi guardare la registrazione di I metodi di big data e machine learning sono sufficienti? sul nostro sito web.
