La pulizia dei dati di testo è un passaggio poco importante ma importante nelle statistiche e nell'analisi. I dati inseriti manualmente sono pieni di errori ortografici, errori tipografici e incongruenze. Anche i dati generati dalla macchina possono causare problemi se due origini dati non sono d'accordo sulla formattazione. Gli errori devono essere corretti prima di analizzare i dati, perché la differenza più piccola fa apparire due pezzi di testo diversi dal computer. Un 2014 New York Times articolo stimato che gli scienziati di dati spendono tra il 50 e l'80 percento dei loro dati di pulizia del tempo.
Riconosciamo che la pulizia dei dati è un passaggio fondamentale, quindi stiamo aggiungendo diverse nuove funzionalità in JMP 12 per renderlo più semplice. Il comando Recode revisionato in JMP è uno di loro. Abbiamo ampliato la Ricodifica con algoritmi di pulizia automatica dei dati e un'interfaccia utente migliorata per le attività di pulizia manuale.
Il nuovo comando "Raggruppa valori simili" di Recode corregge automaticamente gli errori di immissione dei dati di piccole dimensioni. Errori di battitura e incongruenze ortografiche appaiono come un piccolo numero di caratteri mancanti, extra o errati in un testo altrimenti identico. Ad esempio, il "rhythim" errato può essere corretto in "rhythm" rimuovendo il carattere "i". Raggruppa valori simili identifica tali errori nella tabella di dati e li raggruppa, emettendo la stima migliore per l'ortografia corretta per il gruppo. Offre il controllo manuale sulla soglia di differenza, oltre a spazi bianchi, punteggiatura e distinzione tra maiuscole e minuscole.
Gli strumenti automatici risparmiano sforzi significativi, ma non riescono a ottenere sempre la risposta giusta. In questi casi, abbiamo ridisegnato l'interfaccia utente per l'editing manuale, semplificando il lavoro con set di dati di grandi dimensioni e verificato che i valori ricodificati siano corretti.
Schermata di Ricodifica che mostra i risultati dei valori simili di gruppo con alcuni gruppi compressi.
Il nuovo "Display raggruppato" di Recode rende chiaro quando due stringhe diverse vengono ricodificate sulla stessa stringa. I gruppi possono essere compressi o filtrati da una query di ricerca, rendendo più semplice concentrarsi sulle aree di interesse all'interno di un set di dati di grandi dimensioni. Il menu del tasto destro offre il controllo manuale sulla creazione e divisione dei gruppi. Ogni operazione è ora annullabile.
Infine, abbiamo aggiunto molti nuovi modi per salvare, caricare, modificare e unire gli script Recode per le attività di pulizia dei dati ripetitive. Gli script possono ora essere salvati in un file autonomo oltre alla tabella dei dati. Il caricamento di uno script nella finestra di dialogo Ricodifica mostra l'effetto dello script sui dati della tabella corrente e consente ulteriori modifiche. Gli script possono essere uniti in modo intelligente durante il caricamento o il salvataggio.
Nota dell'editore: Questo post è parte di a serie di anteprime di JMP 12 scritto dalle persone che sviluppano il software.
Melvin Alexander ha scritto:
Di recente ho presentato una presentazione con una tabella di dati (contenente script incorporati) e una diapositiva che descrivono i modi per pulire e trasformare i dati (ad esempio, rimuovere le parole di arresto, utilizzare la ricodifica per modificare i valori dei dati, applicare le trasformazioni dei registri per preparare i dati per la decomposizione del valore singolare con la funzione SVD (), ecc.).
La presentazione si trova a:
https://community.jmp.com/docs/DOC-7473
Spero che questo ti aiuti
James Preiss ha scritto:
Ciao Michael, grazie per il tuo feedback. Non abbiamo alcun esempio di pulizia dei dati importati da database o Excel in questo momento. L'argomento è sul nostro elenco di suggerimenti per la prossima versione. Nel frattempo, ci sarà un post più approfondito su Recode dopo JMP 12. Se tu (o qualche lettore) hai dati di esempio o un problema di pulizia del testo che vorresti condividere, per favore pubblicali nel Community utente JMP così possiamo imparare di più sulle esigenze di pulizia dei dati dei nostri clienti.
Michael Clayton ha scritto:
Grazie per lo sforzo di rendere più facile l'analisi dei dati disordinati.
Spero che anche gli strumenti HELP siano aggiornati, e forse alcuni nuovi tutorial, case study, ecc. Su qualsiasi cosa relativa a QUALSIASI modo per spostare dati disordinati da DB o Excel (di solito) e riorganizzarli secondo necessità.
