Un articolo del New York Times del 2014, Per gli scienziati di Big Data, il "lavoro dei bidelli" è un ostacolo fondamentale per gli approfondimenti , sembra aver suscitato molto interesse nel titolo "bidello dei dati". C'è anche un Wikipedia pagina per questo. Qualunque cosa tu lo chiami: il monitoraggio dei dati, il wrangling dei dati o semplicemente la pulizia dei dati, è purtroppo piuttosto descrittivo della fatica spesso associata alla preparazione dei dati per l'analisi. Allo stesso modo lo straordinario ritardo Hans Rosling ha descritto come la lavatrice "magica" ha permesso a sua madre di dedicare più tempo a perseguire altre cose nella sua La lavatrice magica TED Talk, non ci sono modi innovativi per automatizzare il "lavaggio dei dati"? Non dovremmo aspettarci un po 'meno fatica di dati e un po' più di tempo per perseguire altre cose in questa era di automazione? Noi la pensiamo così.
JMP ha una lunga storia di alleggerimento del lavoro di pulizia dei dati. JMP 14 contribuisce a migliorare le funzionalità e i miglioramenti di wrangling dei dati per accelerare le scoperte dei dati e ottenere più rapidamente le "cose buone" dell'analisi dei dati: visualizzazione, modellazione e creazione di dashboard e report per condividere i risultati. Dopo aver ricevuto JMP 14 il mese prossimo, assicurati di esplorare alcuni di questi risparmiatori di tempo per la pulizia dei dati da non perdere.
Importazione di più fileLa nuova funzionalità di importazione di più file consente di caricare dozzine o centinaia di file e concatenarli in una singola tabella di dati JMP, il tutto senza script. Puoi filtrare i file per dimensione, data, nome e tipo. Un caso d'uso comune per questo è la concertazione di file di cartelle su cui potresti voler eseguire l'esplorazione del testo, ad esempio una cartella piena di trascrizioni di riparazione, con una riparazione per file. L'importazione che voglio realizzare è mappare ogni documento su una cella in una tabella di dati JMP come fase di pre-elaborazione prima dell'analisi del testo. Con l'importazione di file multipli, puoi scegliere di importare in una singola colonna, rendendo semplice questa fase di pre-elaborazione dei dati, una volta dispendiosa in termini di tempo. Jason Brinkley, Senior Associate presso Abt Associates, ha partecipato al nostro programma di adozione anticipata JMP 14 ed era felice del tempo risparmiato con questa nuova funzionalità:
“Di recente ho avuto un grande progetto in cui qualcuno aveva scaricato in batch più di 150 file di dati raccolti insieme dal Web. Questi file erano grandi e non strutturati, ma la cosa peggiore era quella di essere scaricati su due livelli (livello individuale e di gruppo). Non c'era modo di sapere quali file contenessero dati a ciascun livello dai nomi dei file. L '"Importazione di più file" trovata in JMP 14 è stata un enorme risparmio di tempo in quanto ha importato tutti i dati, saltando le informazioni di disturbo nella parte superiore dei file di dati (informazioni sul sito Web e intestazioni delle pagine Web) e impilando automaticamente i file nell'individuo e livelli di gruppo. L'elaborazione ha richiesto circa 30 minuti, ma alla fine avevo due file facili da pulire e pronti per l'analisi. Sento che questo particolare sforzo avrebbe richiesto una codifica significativa su altre piattaforme ". recodeLa ricodifica nel menu Cols è in circolazione da molto tempo, ma continua ad essere migliorata in ogni nuova versione di JMP. JMP 14 offre ancora più potenza per contrastare i dati categorici e numerici con miglioramenti come l'analisi del testo migliorata, l'importazione delle colonne dei risultati della ricodifica, la ricodifica delle colonne continue numeriche, il supporto per le colonne a risposta multipla, la sostituzione della stringa (con o senza analisi delle espressioni regolari personalizzate) e altro ancora.
Guardo spesso i titoli delle persone che si registrano per JMP eventi per vedere quali tipi di scienziati, ingegneri, ricercatori e altri analisti attraggono questi eventi. Il supporto per più colonne di risposta in Recode è particolarmente utile quando si esaminano titoli con credenziali. Se avevi una colonna come quella sotto e volevi separare le credenziali, comportava molti passaggi: testo in colonne, accatastamento, ricodifica, suddivisione, combinazione e quindi incolla. Ora, puoi semplicemente designare la colonna come tipo di modellazione a risposta multipla, ricodificare e sei in grado di eseguire facilmente le attività di pulizia dei dati.
Ne vuoi ancora di più? Ulteriori informazioni sulla preparazione dei datiCi sono molte altre aggiunte in JMP 14 per ridurre il numero di clic e semplificare il processo di rilevamento, come ad esempio:
Miglioramenti del join virtuale che offrono l'accesso ai dati in una tabella da parte di un'altra tabella con pochi clic. Nuove utilità per le colonne che semplificano la creazione e il funzionamento con le etichette dei valori. Facilità di ricerca di righe duplicate. Altri miglioramenti del flusso di lavoro come la ricerca e il filtro delle preferenze e la possibilità di visualizzare in anteprima i risultati nell'editor delle formule.Speriamo che questi punti salienti suscitino la tua curiosità su come JMP 14 può rendere più piacevole il tuo monitoraggio dei dati e darti più tempo per perseguire altre cose.
