Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?I set di dati della vita reale di solito hanno tutti i tipi di trappole, insidie e trucchi, proprio come il tempo, le onde e gli orsi del Canada occidentale. Come e dove esattamente iniziamo a gestire queste attività di pulizia e preparazione dei dati?
Diversi anni fa, ho intrapreso un'avventura nella natura selvaggia canadese con due dei miei buoni amici, Steve e Aaron, padre e figlio, entrambi esperti boscaioli di Canuck. Abbiamo caricato tutta la nostra attrezzatura sul logoro pick-up di Aaron e ci siamo diretti verso nord attraverso gli incredibili fiordi della British Columbia, sbarcando in una remota e incontaminata gola alpina con pareti di sempreverdi aromatici che circondano un lago lungo, profondo e cristallino.
Quando ci siamo messi in acqua, una profonda sensazione di serenità e fuga è stata superata da un'ondata di adrenalina quando il tempo è passato improvvisamente da caldo e soleggiato a brutto, freddo, vento forte e pioggia. Il nostro kayak e la nostra canoa si sono quasi capovolti nelle creste bianche e abbiamo dovuto remare furiosamente fino a riva. Dopo essersi asciugati e riorganizzarsi, i quattro giorni successivi sono stati spettacolari; non abbiamo visto un'altra anima per tutto il tempo, ma abbiamo assistito a un incredibile serraglio di uccelli selvatici e alci, assaporato deliziose kokanee fresche cotte in padella su una fiamma aperta, scogliere saltate nell'acqua gelida e riscaldate per ore nelle sorgenti calde naturali. Non abbiamo attirato grizzly grazie all'abile sigillatura di Aaron e all'appendere le nostre provviste accuratamente pulite ben lontano dal campo ogni notte. Il tempo ci colpì ancora un paio di volte e ricordo di aver tremato fino alle ossa fino a quando non trovai un riparo sicuro.
A causa di alcuni ritardi imprevisti durante il ritorno, Steve e Aaron mi hanno lasciato frettolosamente e gentilmente al mio hotel in centro a Vancouver poiché il mio discorso alle riunioni statistiche congiunte era nella prima sessione. Molti dei miei colleghi stavano effettuando il check-in contemporaneamente e hanno dovuto fare triple riprese prima di dire "ciao" poiché ero completamente malconcia e con la barba lunga con tutta la mia attrezzatura sporca al seguito. Non ricordo che una doccia calda nella stanza sia mai stata così bella come quella, ed è stato anche bello impegnarsi nuovamente con gli amici statistici alla conferenza, sostenuti da uno sballo naturale dai grandi spazi aperti.
Mi ritrovo ora a tornare da un lungo viaggio di tipo diverso, dopo aver fatto uno sforzo totale per esplorare le acque agitate tra statistica applicata e scienza dei dati. La mia escursione di due anni ha comportato un'immersione profonda nelle competizioni di data science presso Kaggle e DREAM, e sono grato a queste organizzazioni per essersi stabilite in formati così coinvolgenti. Vorrei anche estendere un enorme apprezzamento alla mia famiglia, agli amici e ai colleghi durante le innumerevoli ore di "assenza". Molte persone mi hanno incoraggiato a condividere storie di successo e lezioni apprese, e questo blog prolisso è un primo tentativo in tal senso.
Un punto naturale da cui iniziare è la pulizia e la preparazione dei dati. Costruire qualcosa di utile richiede di sporcarsi e fare un gran casino, vero ragazzi? Poi dobbiamo ripulire. Questo è sicuramente vero per i buoni set di dati e anche le competizioni ben preparate hanno numerosi problemi. I set di dati della vita reale sono generalmente peggiori, con tutti i tipi di trappole, insidie e trucchi, proprio come il tempo, le onde e gli orsi del Canada occidentale. Come e dove esattamente iniziamo a gestirli?
Dividi e conquista, esplorando un passo alla volta. Un bel nuovo tutorial in questo senso è disponibile dal recente Sfida di pulizia dei dati di 5 giorni da Rachael Tatman a Kaggle. È un trattamento amichevole e approfondito di molti dei principali argomenti di pulizia utilizzando diversi set di dati interessanti (immobili, kickstarter, disastri naturali, attentati suicidi) come esempi pratici dettagliati nei quaderni Python. Complimenti a Rachael e colleghi per aver dedicato del tempo a metterli insieme in un ordine e un flusso sensato.
Spingendo verso la destinazione di una pulizia dei dati veramente profonda, efficace ed efficiente, ho trovato estremamente utili l'esplorazione visiva interattiva e il punta e clicca funzionale con il mouse. Il mio strumento preferito qui è JMP . È stata la mia arma segreta per il successo nelle sfide Kaggle e DREAM con dati tabulari. Ha un'integrazione unica e intricata di grafica e statistiche che non si trovano né nei pacchetti visivi puri né nei linguaggi di analisi dei dati come Python o R. Con l'interazione visiva guidata dal mouse e una libreria di analisi immediatamente pratica e ricca, posso scoprire molto rapidamente problemi nascosti e pulire dati sporchi, spesso in modo molto più efficiente rispetto alla scrittura diretta del codice. Inoltre, essendo un thick client, JMP risponde istantaneamente alle azioni del mouse su più grafici collegati e dashboard costruiti al volo, essenziali per immergersi ininterrottamente nei propri dati e scoprire sporcizia a volte nefastamente incorporata. JMP è il mio strumento di prima scelta per qualsiasi nuovo set di dati tabulari, anche quando intendo scrivere codice di analisi personalizzato.
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP è il mio strumento di prima scelta per qualsiasi nuovo set di dati tabulari, anche quando intendo scrivere codice di analisi personalizzato.
Aspetta però, un grosso problema: a chi piace davvero pulire qualcosa? Uno sguardo alla mia scrivania, al desktop del computer e a dozzine di schede del browser aperte rivela che di solito non è la mia massima priorità. Qualcun altro o qualche robot di intelligenza artificiale non può farlo per noi in modo che possiamo arrivare alle cose divertenti di assemblare modelli di alberi potenziati dal gradiente o mettere a punto un'architettura di apprendimento profondo? Purtroppo, ogni set di dati porta il proprio insieme diverso di problemi disordinati che richiedono un'attenzione umana premurosa. Ho trovato un segreto qui per essere una forte curiosità nel comprendere veramente i tuoi dati e poi riordinare lungo la strada mentre scopri le cose, il tutto con uno spirito avventuroso e la fiducia che la pulizia profonda porta quasi sempre a un migliore apprendimento profondo. Anche in questo caso, il mouse può essere potente e persino divertente rispetto al tempo e all'energia necessari per digitare ed eseguire sempre il debug del codice una tantum con la tastiera.
ho messo insieme una lista di controllo dettagliata per la pulizia che utilizzo ogni volta che guardo un nuovo set di dati specifico per la modellazione predittiva e spero di condividerlo relativamente presto insieme ad esempi. Inoltre, ecco alcuni collegamenti ad alcuni fantastici materiali per la pulizia dei dati di JMP dei miei colleghi Don McCormack, Olivia Lippincott, Rob Carver e Trevor Bihl:
