La limpieza de datos de texto es un paso desagradable pero importante en estadística y análisis. Los datos ingresados manualmente están llenos de faltas de ortografía, errores tipográficos e inconsistencias. Incluso los datos generados por la máquina pueden causar problemas si dos fuentes de datos no están de acuerdo con el formato. Los errores se deben corregir antes de analizar los datos, ya que la diferencia más pequeña hace que dos partes del texto aparezcan diferentes en la computadora. Un 2014 New York Times artículo estimaron que los datos científicos dedican entre el 50 y el 80 por ciento de su tiempo a la limpieza de datos.
Reconocemos que la limpieza de datos es un paso crítico, por lo que estamos agregando varias características nuevas en JMP 12 para que sea más fácil. El comando Recode revisado en JMP es uno de ellos. Ampliamos Recode con algoritmos automáticos de limpieza de datos y una interfaz de usuario mejorada para tareas de limpieza manual.
El nuevo comando "Valores similares de grupo" de Recode corrige automáticamente los pequeños errores de entrada de datos. Los tipos de letra y la ortografía inconsistente se muestran como una pequeña cantidad de caracteres extra o incorrectos que faltan en un texto idéntico. Por ejemplo, el "rhythim" mal escrito se puede corregir a "rhythm" quitando el carácter 'i'. Los valores similares de grupo identifican tales errores en la tabla de datos y los agrupan, dando como resultado su mejor conjetura en la ortografía correcta para el grupo. Ofrece control manual sobre el umbral de diferencia, así como espacios en blanco, puntuación y sensibilidad a las mayúsculas.
Las herramientas automáticas ahorran un esfuerzo significativo, pero no pueden obtener la respuesta correcta todo el tiempo. Para esos casos, rediseñamos la interfaz de usuario para la edición manual, facilitando el trabajo con grandes conjuntos de datos y verificando que los valores recodificados son correctos.
Captura de pantalla de Recode que muestra los resultados de Valores similares de grupo con algunos grupos colapsados.
La nueva "Visualización agrupada" de Recode deja en claro cuando dos cadenas diferentes se recodifican en la misma cadena. Los grupos pueden contraerse o filtrarse mediante una consulta de búsqueda, lo que facilita el enfoque en áreas de interés dentro de un gran conjunto de datos. El menú del botón derecho ofrece control manual sobre la creación y división de grupos. Ahora se puede deshacer cada operación.
Finalmente, agregamos muchas nuevas formas de guardar, cargar, modificar y fusionar secuencias de comandos Recode para tareas de limpieza de datos repetitivas. Los scripts ahora se pueden guardar en un archivo independiente además de la tabla de datos. La carga de un script en el cuadro de diálogo Recode muestra el efecto del script en los datos de la tabla actual y permite su posterior edición. Los scripts se pueden combinar de forma inteligente al cargar o guardar.
Nota del editor: Este post es parte de un Serie de avances de JMP 12. Escrito por las personas que desarrollan el software.
Melvin Alexander escribió:
Hace poco di una presentación con una tabla de datos (que contiene scripts incrustados) y una plataforma de diapositivas que describe formas de limpiar y transformar datos (por ejemplo, eliminar palabras de parada, usar recodificar para cambiar valores de datos, aplicar transformaciones de registros para preparar datos para la descomposición de valores singulares con la función SVD (), etc.).
La presentación se encuentra en:
https://community.jmp.com/docs/DOC-7473
Espero que esto ayude
James Preiss escribió:
Hola Michael, gracias por tus comentarios. No tenemos ningún ejemplo de limpieza de datos importados de bases de datos o Excel en este momento. El tema está en nuestra lista de sugerencias para el próximo lanzamiento. Mientras tanto, habrá una publicación más detallada sobre Recode después de JMP 12. Si usted (o algún lector) tiene datos de muestra o un problema de limpieza de texto que le gustaría compartir, publíquelos en el Comunidad de usuarios de JMP para que podamos aprender más sobre las necesidades de limpieza de datos de nuestros clientes.
Michael Clayton escribió:
Gracias por el esfuerzo de hacer que los datos desordenados sean más fáciles de analizar.
Espero que las herramientas HELP también se actualicen, y quizás algunos nuevos tutoriales, estudios de casos, etc. sobre cualquier cosa relacionada con CUALQUIER forma de mover datos desordenados desde DB o Excel (generalmente) y reorganizarlos según sea necesario.
