I dati inseriti manualmente non sono di solito chiari e coerenti. Anche quando i dati vengono immessi da campi a scelta multipla anziché da campi di immissione testo, potrebbe essere necessario un lavoro aggiuntivo quando è combinato con dati che potrebbero non utilizzare le stesse categorie in tutte le fonti. A volte le stesse categorie sono scritte in modo diverso, abbreviate in modo diverso, o maiuscole in modo diverso, o semplicemente errate, generando molte più categorie e un'analisi non valida quando vengono utilizzate in un modello.
Ad esempio, considera il campo cliente in i dati "Cylinder Bands" che può essere scaricato dal laboratorio UCI Machine Learning (originariamente da Bob Evans, RR Donnelly & Sons).
Quando importi questi dati, troverai che ci sono 83 valori unici di "Cliente". Ci sono molti meno clienti effettivi di questo - è solo che ci sono più codici dello stesso cliente. Ad esempio, il cliente Abbey Press è codificato in tre modi: "ABBEY", "ABBEYPRESS" e "ABBYPRESS".
Nelle prime versioni di JMP, abbiamo usato trucchi per ricodificare i valori. Ad esempio, potremmo copiare "ABBEYPRESS" negli appunti, quindi utilizzare un istogramma per selezionare le righe corrispondenti a "ABBEY", selezionare la colonna "Cliente" e quindi incollare, il che cambierebbe "ABBEY" in "ABBEYPRESS".
Una volta che il comando Recode è diventato disponibile, potremmo semplicemente copiare "ABBEYPRESS" e incollarlo negli altri valori di riconciliazione per "ABBEY" e "ABBYPRESS" nella finestra di dialogo Recode.
Tutto questo funziona se non hai troppe categorie, ma cosa succede se hai centinaia di categorie? Può essere molto laborioso eseguire tutte quelle copie e incolla.
Ci sono due modi molto importanti per ricodificare molto meglio nella nuova funzione Recode in JMP 12.
Innanzitutto, puoi fare un intero gruppo semplicemente selezionando tutti i valori di ricodifica e facendo clic con il tasto destro per selezionare la categoria scelta. Ora appaiono come un gruppo, tutti insieme, anche se i valori originali sono stati separati. Non più copia e incolla; è semplicemente selezionare e scegliere, con i risultati che formano un gruppo visibile.
Ma la caratteristica davvero sorprendente della nuova Ricodifica è quella che ti permette di trovare automaticamente gruppi di valori simili.
In questo esempio, la funzione formava automaticamente 16 gruppi. È quindi possibile verificare se i gruppi risultanti hanno tutte le categorie desiderate, ma non troppe.
Come determina quali valori combinare? Osserva ogni coppia di etichette di categoria e determina la distanza di modifica tra le due stringhe di caratteri. Chiamata anche la distanza di Levenshtein, è il numero minimo di operazioni di modifica da convertire da una stringa all'altra. Quando si esegue il comando "Raggruppa valori simili", viene visualizzata una finestra di dialogo per scegliere il tipo di modifiche da considerare quando si calcola questa distanza e il criterio da utilizzare per chiamarlo una corrispondenza. Le scelte di default per questa finestra di solito funzionano bene.
Alcuni dei gruppi sono stati eseguiti perfettamente, ad esempio per "ECKERD":
Poiché "ABBEY" è così diverso da "ABBEYPRESS", non soddisfa il criterio di combinarli, quindi è necessario selezionare e fare clic con il pulsante destro del mouse su "Gruppo" per farlo.
Allo stesso modo, non ha catturato l'abbreviazione di "CAS" per "CASUAL" in queste due categorie:
E ha solo cinque dei sei "HANOVERHOUSES":
Mentre è necessario controllare i risultati, la funzione automatizzata ne ottiene la maggior parte.
Dopo la ricodifica, abbiamo ridotto il numero di categorie da 83 a 56.
Ispezioni più approfondite rivelano che sono necessarie altre rettifiche; infatti, le voci dopo la riga 503 sembrano essere passate da maiuscole a minuscole. Facendo clic con il pulsante di controllo sulla voce di menu "Converti in lettere minuscole", possiamo correggerli tutti.
Mentre ci si sposta in tabelle di dati più grandi che devono essere ripulite, può essere molto utile disporre di alcune funzionalità automatiche come "Raggruppa valori simili" e un flusso di interfaccia utente migliorato, come la selezione e il raggruppamento invece di copiare e fare più paste.
(Le nuove funzionalità Recode, introdotto in un post precedente del blog, sono stati implementati da James Preiss.)
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
Emil Friedman ha scritto:
Questo renderà la vita molto più facile. Grazie.
Un problema simile si verifica quando si concatenano più file (Tabelle-> Concatenato) in cui i nomi delle colonne sono quasi gli stessi. Risolvo le formule di colonne di scrittura che cercano versioni alternative della stessa metrica e restituiscono ciò che non manca. È molto più sicuro di copia / incolla e mi dà un percorso di documentazione. Mi chiedo se questo genere di cose possa essere integrato in una versione futura.
