Entonces, si desea obtener más información sobre la integración de Python y JMP, primero asegúrese de estar al día mirando el video relacionado, si aún no lo ha hecho.
Un grupo de ingenieros de sistemas de JMP ha desarrollado una serie de blogs que muestran la facilidad con la que se pueden integrar JMP y Python para manejar tareas cotidianas, como la limpieza de datos, así como análisis y modelado más avanzados. Un agradecimiento especial a Yasmine Hajar ( @yasmine_hajar ) y Wendy Tseng ( @wendytseng ) por su ayuda con la codificación Python utilizada en el video y el blog.
En el video, mostramos cómo, usando solo un mouse y los ojos, encontrar posibles valores atípicos y luego eliminarlos de la tabla de datos. También aprenderá a analizar los valores faltantes y, si es necesario, a imputar valores como sustitutos para ver el análisis resultante si los datos no estuvieran faltantes.
JMP y Python se han complementado durante varios años y, con el lanzamiento de JMP 18, es mucho más fácil integrar el análisis de Python con la excelente visualización de datos de JMP. Sin embargo, y no soy muy imparcial en este punto, la limpieza de datos en JMP es mucho más fácil que en Python por una razón muy básica: la codificación.
Por ejemplo, con JMP puede escanear visualmente valores atípicos dentro de la plataforma de distribución en un modo univariado y dentro de la plataforma multivariada en un sentido multivariado. Existe la funcionalidad para escanear valores atípicos T2 de Hoteling para todos los datos de interés utilizando la plataforma de gráfico de control multivariado impulsado por modelos, pero lo dejaremos para otro momento. Nuevamente, mire el video adjunto para ver toda esta capacidad en acción.
Mientras tanto, aquí hay una lista de algunas de las opciones de limpieza de datos en Python:
- Extraiga patrones específicos de datos de texto, como direcciones de correo electrónico, números de teléfono o fechas.
- Eliminar caracteres o subcadenas no deseados de los datos de texto.
- Reemplazar patrones o subcadenas específicos con nuevos valores.
- Estandarice los datos de texto convirtiendo todos los caracteres a minúsculas o mayúsculas.
- Identificar y eliminar duplicados según datos de texto.
- Cambie el nombre de las columnas a un conjunto de etiquetas más reconocibles.
- Eliminar columnas innecesarias en un DataFrame.
- Cambiar el índice de un DataFrame.
Las primeras cinco opciones se pueden realizar rápidamente con la opción de recodificación de JMP. Además, si se utiliza la opción Nombres de columnas del menú desplegable Columnas, solo se necesitan unos pocos clics para cambiar el nombre de las columnas.
Eliminar columnas innecesarias en una tabla de datos es tan fácil como seleccionar las columnas de interés, hacer clic derecho en cualquiera de los encabezados de columna seleccionados y elegir Eliminar columnas.
Cuando se trata de encontrar valores faltantes e imputar datos faltantes, JMP es líder. La localización y el aislamiento de valores atípicos también son sencillos en JMP, como puede ver a continuación.
A continuación se muestra el código Python para abrir una tabla JMP y explorar valores atípicos y faltantes. Debajo se muestra una imagen del marco de datos y parte de la salida para valores atípicos y faltantes. Tenga en cuenta que los valores atípicos en Python se determinan utilizando una puntuación Z con un valor absoluto mayor que 3. Con base en este criterio, Python encontró valores atípicos para prácticamente todas las columnas continuas en la tabla de datos.
Para analizar los valores atípicos en JMP, siga este ejemplo, que utiliza Arrythmia.jmp del índice de datos de muestra de JMP. Vaya a Analizar > Filtrado > Explorar valores atípicos.
Puede decidir qué datos son realmente atípicos y puede recalcular fácilmente los rangos de valores atípicos con solo un par de clics. JMP recomienda que nunca elimine por completo los datos de su conjunto de datos, debido a posibles registros de auditoría. Siempre puede Ocultar y excluir datos en JMP para mantenerlos fuera de sus análisis sin eliminarlos del conjunto de datos. Ocultar datos en Python requiere más codificación y, muy probablemente, significa que nadie podrá ver los datos.
Para explorar valores faltantes en JMP, abra la tabla de datos, vaya a Analizar > Detección > Explorar valores faltantes.
