Los datos ingresados manualmente generalmente no son limpios y consistentes. Incluso cuando los datos se ingresan mediante campos de opción múltiple en lugar de campos de ingreso de texto, es posible que necesite un trabajo adicional cuando se combina con datos que pueden no usar las mismas categorías en todas las fuentes. A veces, las mismas categorías se escriben de manera diferente, se abrevian o se escriben con mayúscula de manera diferente, o simplemente se escriben incorrectamente, lo que da como resultado muchas más categorías y un análisis no válido cuando se usan en un modelo.
Por ejemplo, considere el campo cliente en Los datos de "Cylinder Bands" que se puede descargar desde el laboratorio de aprendizaje automático de UCI (originalmente de Bob Evans, RR Donnelly & Sons).
Cuando importe estos datos, encontrará que hay 83 valores únicos de "Cliente". Hay muchos menos clientes reales que eso, es solo que hay múltiples codificaciones del mismo cliente. Por ejemplo, el cliente Abbey Press está codificado de tres maneras: "ABBEY", "ABBEYPRESS" y "ABBYPRESS".
En las primeras versiones de JMP, usamos trucos para recodificar los valores. Por ejemplo, podemos copiar "ABBEYPRESS" en el portapapeles, luego usar un histograma para seleccionar las filas correspondientes a "ABBEY", seleccionar la columna "Cliente" y luego pegar, lo que cambiaría cada "ABBEY" en "ABBEYPRESS".
Una vez que el comando Recode esté disponible, podríamos simplemente copiar “ABBEYPRESS” y pegarlo en los otros valores de recode para “ABBEY” y “ABBYPRESS” en el cuadro de diálogo Recode.
Todo esto funciona si no tiene demasiadas categorías, pero ¿qué sucede si tiene cientos de categorías? Puede ser muy laborioso realizar todas esas copias y pastas.
Hay dos formas muy importantes de que la recodificación es mucho mejor en la nueva instalación de Recode en JMP 12.
Primero, puede hacer un grupo completo simplemente seleccionando todos los valores de recodificación y haciendo clic derecho para elegir la categoría elegida. Ahora aparecen como un grupo, todos juntos, incluso si los valores originales estaban separados. No más copiar y pegar; es simplemente seleccionar y elegir, con los resultados formando un grupo visible.
Pero la característica realmente sorprendente en el nuevo Recode es la que le permite encontrar automáticamente grupos de valores similares.
En este ejemplo, la característica forma automáticamente 16 grupos. Luego puede verificar si los grupos resultantes tienen todas las categorías que desea, pero no demasiadas.
¿Cómo determina qué valores combinar? Examina cada par de etiquetas de categoría y determina la distancia de edición entre las dos cadenas de caracteres. También llamada la distancia Levenshtein, es el número mínimo de operaciones de edición para convertir de una cadena a otra. Cuando ejecuta el comando "Agrupar valores similares", se abre un cuadro de diálogo para elegir qué tipo de cambios considerar al calcular esta distancia y el criterio a utilizar para calificarla como una coincidencia. Las opciones predeterminadas para este diálogo generalmente funcionan bien.
Algunos de los grupos se realizaron a la perfección, por ejemplo, para "ECKERD":
Debido a que "ABBEY" es muy diferente de "ABBEYPRESS", no cumple con el criterio para combinarlos, por lo que debe seleccionar y hacer clic derecho en "Grupo" para hacerlo.
Del mismo modo, no detectó la abreviatura de "CAS" para "CASUAL" en estas dos categorías:
Y solo obtuvo cinco de los seis "HANOVERHOUSES":
Si bien tendrá que verificar los resultados, la función automatizada obtiene la mayoría de ellos.
Después de la recodificación, hemos reducido el número de categorías de 83 a 56.
Una inspección más cercana revela que se necesitan otras recodificaciones; de hecho, las entradas después de la fila 503 parecen haber cambiado de mayúsculas a minúsculas. Al hacer clic con la tecla Control en el elemento del menú "Convertir a minúsculas", podemos solucionarlos todos.
Al pasar a tablas de datos más grandes que necesitan limpieza, puede ser muy útil tener algunas funciones automatizadas como "Valores similares de grupo", y un flujo mejorado de la interfaz de usuario, como seleccionar y agrupar en lugar de copiar y realizar múltiples pegamentos.
(Las nuevas características de Recode, introducido en una entrada de blog anterior, fueron implementados por James Preiss)
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
Emil Friedman escribió:
Esto hará la vida mucho más fácil. Gracias.
Un problema similar ocurre al concatenar varios archivos (Tablas-> Concatenar) en donde los nombres de las columnas son casi iguales. Termino escribiendo fórmulas de columna que buscan versiones alternativas de la misma métrica y devuelvo la que no falta. Es mucho más seguro que copiar / pegar y me da un rastro de documentación. Me pregunto si ese tipo de cosas podrían integrarse en una versión futura.
