| Vocero |
Transcripción |
| mi paso |
Bienvenidos a la cumbre JMP Discovery. |
| |
Soy Mia Stephens, gerente de producto de JMP, y estoy aquí con Jordan Hiller, ingeniero de sistemas de JMP. Hoy hablaremos sobre cómo automatizar el flujo de trabajo de curación de datos. |
| |
Vamos a dividir nuestra charla en dos partes. Voy a comenzar hablando sobre el flujo de trabajo analítico y dónde encaja la curación de datos en este flujo de trabajo. |
| |
Y ahora le cedo la palabra a Jordan para que nos cuente el meollo del asunto, el tema central de esta charla. Vamos a hablar sobre la necesidad de una curación de datos reproducible. |
| |
Vamos a ver cómo hacer esto en JMP 15. Y luego podrán ver un adelanto de algunas nuevas funcionalidades de JMP 16 para registrar los pasos de curación de datos y las acciones que realicen para preparar sus datos para el análisis. |
| |
Analicemos entonces el flujo de trabajo analítico. Aquí les presentamos un flujo de trabajo común. Y, por supuesto, todo comienza por definir cuál es el problema de su negocio, comprendiendo el problema que intentan resolver. |
| |
Luego, es necesario recopilar datos. Y, por supuesto, se pueden recopilar datos de diversas fuentes e importarlos a JMP. Finalmente, debemos poder compartir los resultados y comunicar nuestros hallazgos a los demás. |
| |
Probablemente la parte más laboriosa de este proceso sea la preparación de nuestros datos para el análisis o la curación de nuestros datos. |
| |
¿Qué es exactamente la curación de datos? La curación de datos consiste en asegurar que nuestros datos sean útiles para impulsar descubrimientos analíticos. Fundamentalmente, queremos poder resolver un problema con el tiempo del que disponemos. |
| |
Se trata principalmente de organización de datos, estructura de datos y solución de problemas de calidad de datos. |
| |
Si pensamos en problemas o problemas comunes con los datos, generalmente se pueden clasificar en cuatro categorías. Podemos tener un formato incorrecto, datos incompletos, datos faltantes o datos sucios o desordenados. |
| |
Para hablar de este tipo de problemas e ilustrar cómo los identificamos en nuestros datos, vamos a recurrir a nuestro curso STIPS. |
| |
Y si no conoces STIPS, STIPS es nuestro curso online gratuito, Pensamiento Estadístico para la Resolución de Problemas Industriales, y está estructurado en siete módulos. |
| |
Módulos discretos. El módulo 2 trata sobre el análisis exploratorio de datos. |
| |
Debido a la naturaleza interactiva e iterativa del análisis exploratorio y la curación de datos, la última lección de este módulo se centra en la preparación de datos para el análisis. Esta lección trata sobre la identificación de problemas de calidad en los datos y los pasos a seguir para su curación. |
| |
Hablemos un poco más sobre los problemas comunes. Formato incorrecto. ¿Qué entendemos por formato incorrecto? |
| |
Esto ocurre cuando los datos no tienen el formato adecuado para el análisis. Esto puede aplicarse a toda la tabla de datos. Por ejemplo, puede que tengas los datos en columnas separadas, pero para el análisis necesites que estén agrupados en una sola columna. |
| |
Esto puede aplicarse a variables individuales. Es posible que el tipo de modelo o de datos sea incorrecto, o que se trate de datos de fecha u hora que no estén formateados de esa manera en JMP. |
| |
También puede ser un aspecto cosmético. Podrías optar por mover las variables de respuesta al principio de la tabla de datos, renombrar tus variables o agrupar los factores para facilitar su búsqueda en la tabla. |
| |
Los datos incompletos se refieren a la falta de datos. Esto puede ocurrir con variables importantes, por lo que es posible que no se estén recopilando datos sobre variables que, en última instancia, pueden ayudar a resolver el problema. |
| |
o en combinaciones de variables. O podría significar simplemente que no tienes suficientes observaciones, que no tienes suficientes datos en tu tabla de datos. |
| |
Se habla de datos faltantes cuando no se dispone de valores para las variables. Esto puede manifestarse de diversas maneras. |
| |
Y, por último, los datos sucios o desordenados se dan cuando hay problemas con las observaciones o las variables. |
| |
Por lo tanto, es posible que sus datos sean incorrectos. Los valores simplemente no son erróneos. Puede que haya inconsistencias en la forma en que las personas registraban o introducían los datos en el sistema. |
| |
Sus datos podrían ser inexactos, podrían no contar con un sistema de medición adecuado, podrían contener errores o erratas. |
| |
Los datos podrían estar obsoletos. Es posible que hayas recopilado la información sobre una instalación o máquina que ya no está en servicio. |
| |
Puede que esté desactualizado. Es posible que el proceso haya cambiado tanto desde que recopilaste los datos que estos ya no sean útiles. |
| |
Los datos pueden estar censurados o truncados. Puede haber columnas redundantes, con la misma información básica, o filas duplicadas. Por lo tanto, los datos erróneos y desordenados pueden presentarse de muchas formas diferentes. |
| |
¿Cómo se identifican los posibles problemas? Al analizar los datos, se empiezan a identificar. De hecho, este proceso es iterativo: al explorar los datos gráfica y numéricamente, se empiezan a ver posibles problemas que conviene solucionar. |
| |
o resolver. Por lo tanto, un buen punto de partida es simplemente examinar la tabla de datos. Al hacerlo, a menudo se pueden observar algunos problemas evidentes. |
| |
Para este ejemplo, vamos a utilizar algunos datos del curso STIPS llamado Componentes, y el escenario es que una empresa fabrica componentes pequeños y está intentando mejorar el rendimiento. |
| |
Y han recopilado datos de 369 lotes de piezas con 15 columnas. Así que, al analizar los datos, podemos observar algunos problemas bastante evidentes a simple vista. |
| |
Si observamos la parte superior de la tabla de datos, vemos estos pequeños gráficos y podemos apreciar las formas de las distribuciones. Podemos ver los valores. |
| |
Por ejemplo, el número de lote se representa mediante un histograma. El número de lote se considera un identificador, no una constante. Esto puede indicar que los datos están codificados incorrectamente. |
| |
Al observar la cantidad de desechos, podemos ver la forma de la distribución. También podemos ver que hay un valor negativo, lo cual podría no ser posible. |
| |
Vemos un histograma para el proceso con dos valores, y esto puede indicarnos que necesitamos cambiar el tipo de modelado del proceso de continuo a nominal. |
| |
Puedes ver más detalles si echas un vistazo al panel de columnas. Por ejemplo, el número de lote y el número de pieza están codificados como continuos. Probablemente sean nominales. |
| |
Y si se analizan los datos en sí, se pueden observar otros problemas. Por ejemplo, la humedad es algo que consideraríamos una variable continua, pero se observan un par de observaciones con valor N/A. |
| |
Y dado que JMP lee texto, la columna está codificada como nominal, por lo que esto es algo que quizás quieras corregir. |
| |
Detectamos algunos problemas con el proveedor. Faltan algunos valores y hay errores tipográficos. Además, observe que en el caso de la temperatura, los puntos suspensivos indican que faltan valores en estas filas. Por lo tanto, conviene investigar este problema con más detalle. |
| |
Así, se identifican muchos problemas simplemente examinando la tabla de datos, y se pueden identificar aún más problemas potenciales al visualizar los datos variable por variable. |
| |
Un punto de partida muy útil, y esta herramienta me gusta mucho, es el visor de columnas. El visor de columnas ofrece resúmenes numéricos de todas las variables que hayas seleccionado. |
| |
Por ejemplo, aquí faltan algunos valores. Como pueden ver, en el caso de la temperatura, faltan 265 de los 369 valores. Esto podría ser un problema si consideramos que la temperatura es un factor importante. |
| |
También podemos observar posibles problemas con los valores registrados en la tabla de datos. Por ejemplo, tanto la tasa de desecho como el número de desechos presentan valores negativos. |
| |
Y si esto no es físicamente posible, es algo que podríamos investigar en el sistema en el que recopilamos los datos. |
| |
Al analizar algunas de las estadísticas calculadas, también podemos observar otros problemas. Por ejemplo, el número de lote y el número de pieza deberían ser categorías. |
| |
No tiene sentido usar el número de lote promedio ni el número de pieza promedio. Por lo tanto, esto indica que probablemente debería revisar la tabla de datos y cambiar el tipo de modelo. |
| |
Las distribuciones nos revelan mucha información sobre nuestros datos y posibles problemas. Podemos observar la forma de las distribuciones, su centrado y su dispersión. También podemos detectar errores tipográficos. |
| |
Aquí, el problema radica en que hay cuatro o cinco clientes principales y algunos más pequeños. Si va a utilizar el número de cliente para el análisis, podría usar la función de recodificación para agrupar a algunos de esos clientes más pequeños en una categoría diferente. |
| |
Tenemos un gráfico de barras para la humedad, y esto se debe a que tenemos un valor N/A en la columna. Quizás no lo hayamos visto al revisar la tabla de datos, pero aquí se aprecia con bastante claridad al observar la distribución. |
| |
Podemos ver claramente los errores tipográficos en la palabra "proveedor". |
| |
Y cuando observamos las variables continuas, nuevamente, podemos analizar la forma, el centrado y la dispersión, pero también podemos encontrar algunas observaciones inusuales dentro de estas variables. |
| |
Así pues, tras analizar los datos variable por variable, una progresión natural es explorar los datos dos o más variables a la vez. |
| |
Por ejemplo, si observamos la tasa de desecho frente al número de desechos en el Generador de gráficos. |
| |
Observamos un interés en los patrones. Vemos estas bandas y podría ser que haya algo en nuestra tabla de datos que nos ayude a explicar por qué vemos este patrón. |
| |
De hecho, si utilizamos el tamaño del lote para la clasificación por colores, tiene sentido. Así, en lotes de 5000 piezas, hay más probabilidades de que haya piezas defectuosas que en lotes de solo 200. |
| |
También podemos observar algunas anomalías en la parte inferior. De hecho, se trata de las observaciones con valores negativos para la cantidad de chatarra, las cuales destacan notablemente en este gráfico. |
| |
Y al agregar un selector de columnas o un filtro de datos, se puede añadir dimensionalidad adicional a estos gráficos. Así puedo observar la presión, |
| |
por ejemplo, en lugar de... |
| |
Bueno, puedo analizar la presión o cambiar al modo de permanencia. Lo que busco aquí es comprender la relación general entre estas variables y la respuesta. |
| |
Y puedo ver que la presión parece tener una relación positiva con la tasa de desechos. Y si cambio a la variable de tiempo de permanencia, puedo ver que probablemente no haya mucha relación entre ellas. |
| |
La tasa de permanencia, la tasa de desecho y la temperatura pueden no ser tan informativas para resolver el problema. |
| |
Pero fíjate en la velocidad: tiene una relación inversa. Además, tengo algunas observaciones inusuales al principio que quizá quiera investigar. |
| |
Así, puedes aprender mucho sobre tus datos simplemente observándolos. |
| |
Y por supuesto, existen herramientas más avanzadas para explorar valores atípicos y valores faltantes que realmente están fuera del alcance de esta discusión. |
| |
Y a medida que avances a la fase de análisis, cuando empieces a analizar tus datos o a construir modelos, aprenderás mucho más sobre los posibles problemas que tendrás que afrontar. |
| |
Y la clave está en que, a medida que examines tus datos e identifiques estos problemas, tomes nota de ellos. |
| |
Algunos de estos problemas se pueden resolver sobre la marcha. Por lo tanto, es posible que puedas remodelar y limpiar tus datos a medida que avanzas en el proceso. |
| |
Pero es fundamental que anotes los pasos que sigues para poder repetirlos más adelante si tienes que repetir el análisis o si quieres repetirlo con datos nuevos u otros datos. |
| |
Y llegado este punto, le cedo la palabra a Jordan para que nos hable sobre la curación de datos reproducibles y de qué se trata todo esto. |
| Jordan Hiller |
De acuerdo, gracias, Mia. Estuvo genial. Aprendimos cómo se realiza la curación de datos en JMP mediante la interfaz gráfica. Ahora hablemos de cómo reproducir este proceso. |
| |
La razón por la que nos preocupa la reproducibilidad es que sus conjuntos de datos se actualizan periódicamente con nuevos datos. Si se tratara de una actividad puntual, no nos preocuparíamos demasiado por la funcionalidad de apuntar y hacer clic. Pero cuando los datos se actualizan una y otra vez, |
| |
Resulta demasiado laborioso repetir la selección de datos haciendo clic cada vez. |
| |
Por lo tanto, es más eficiente generar un script que realice todos los pasos de curación de datos, y puede ejecutar ese script con un solo clic. |
| |
y hacerlo todo a la vez. Así que, además de la eficiencia, |
| |
Documenta tu proceso. Sirve como registro de lo que hiciste. Así podrás consultarlo más adelante para ti mismo y recordar lo que hiciste, o para las personas que vengan después y sean responsables de este proceso; también será un registro para ellas. |
| |
Durante el resto de esta presentación, mi objetivo es mostrarles cómo generar un script de curación de datos únicamente con la función de apuntar y hacer clic. |
| |
Esperamos que no necesites programar para lograrlo. El código del programa se extraerá y guardará automáticamente, y te explicaremos brevemente cómo se hace. |
| |
Así pues, hay dos secciones diferentes. Está lo que puede hacer ahora en JMP 15 para obtener un script de curación de datos, y lo que hará una vez que lancemos JMP 16 el próximo año. |
| |
En JMP 15 existen algunas tareas de curación de datos que generan su propio código de scripting JSL reutilizable. |
| |
Simplemente haces clic y luego hay una técnica para obtener el código. Voy a demostrarlo. Herramientas como Recode, |
| |
Generar una nueva columna de fórmula con el cálculo, remodelar tablas de datos: estas herramientas se encuentran en el menú Tablas. Están disponibles las opciones Apilar, Dividir, Unir, Concatenar y Actualizar. Todas estas herramientas |
| |
En JMP 15, generan su propio script después de ejecutarlos mediante apuntar y hacer clic. |
| |
Existen otras tareas comunes que no generan su propio script JSL y, para facilitar la realización de estas tareas y hacerlas reproducibles, |
| |
Y ayuda con las siguientes tareas, principalmente relacionadas con columnas: cambiar los tipos de datos de las columnas, los tipos de modelado, cambiar el formato de visualización, |
| |
Cambiar el nombre, reordenar y eliminar columnas de la tabla de datos, así como configurar propiedades de columna como límites de especificación o etiquetas de valor. |
| |
Así pues, el Asistente de scripts de limpieza de datos es la herramienta que utilizará para ayudarle con esas tareas en JMP 15. |
| |
Vamos a ofrecerles un adelanto de JMP 16 y estamos muy entusiasmados con las nuevas funciones del registro en JMP 16; creo que se llamará modo de registro mejorado. |
| |
La idea básica es que en JMP 16 puedes simplemente apuntar y hacer clic para completar los pasos de curación de datos como de costumbre. |
| |
El código JSL que necesitas se genera y registra automáticamente. Solo tienes que copiarlo y guardarlo. ¡Es súper sencillo y muy útil! Me entusiasma mostrártelo. |
| |
Aquí tienes una guía rápida para tu referencia. En JMP 15, estas son las tareas de la izquierda, tareas comunes de curación de datos; no es una lista exhaustiva. |
| |
La columna central muestra cómo realizar estas acciones mediante la función de apuntar y hacer clic en JMP. El método para extraer el script reutilizable se encuentra a la derecha. Por lo tanto, no voy a abarcar todo aquí. |
| |
Sí, esto es para que lo consultes más adelante. Vamos a ver una demostración. Te mostraré cómo solucionar algunos de los problemas que Mia identificó con la tabla de datos de los componentes. Empezaré en JMP 15. |
| |
Y lo primero de lo que vamos a hablar son algunos de esos problemas de columnas, cambiando |
| |
cambio |
| |
Los tipos de datos, los tipos de modelado, ese tipo de cosas. Ahora bien, si solo te interesara la interfaz gráfica (apuntar y hacer clic), |
| |
En JMP, lo que normalmente harías es, por ejemplo, para la humedad. Esta es la columna que recordarás que tiene |
| |
Hay texto ahí y se está importando erróneamente como una columna de caracteres. Para corregirlo haciendo clic, normalmente harías clic derecho, accederías a la información de la columna y realizarías los cambios ahí. |
| |
Esta es una de esas tareas de JMP que no genera un script utilizable en JMP 15. Por lo tanto, para esto, vamos a usar el asistente de scripts de limpieza de datos. ¡Empecemos! |
| |
Está en el menú de complementos, porque yo lo instalé; tú también puedes instalarlo. El asistente de scripts de limpieza de datos, la herramienta que necesitamos para esto, es Victor the Cleaner. Este es un |
| |
Interfaz gráfica de usuario para modificar columnas, lo que nos permite trabajar con tipos de datos y modelos. Podemos renombrar, ordenar y eliminar columnas, y luego guardar el script. Hagamos algunos cambios. |
| |
En el caso de la humedad, se trata de la variable con valores N/A que provocó que se mostrara como texto. Vamos a convertirla de variable de caracteres a numérica y de nominal a continua. |
| |
También identificamos que el número de lote debe cambiarse a nominal; el número de pieza también debe cambiarse a nominal y el proceso, que actualmente es un número, también debería serlo. |
| |
nominal. |
| |
Tecnología de fabricación. Eso no me sirve. Eliminemos la columna de la instalación. La seleccionaré aquí haciendo clic en su nombre y luego en Eliminar. |
| |
Aquí tenéis un par de esos cambios estéticos que mencionó Mia. La tasa de desguace está al final de mi tabla. Quiero adelantarla. La voy a mover a la cuarta posición, después de... |
| |
número de cliente. Lo seleccionamos y usamos las flechas para moverlo hacia arriba en el orden hasta que quede justo después del número de cliente. |
| |
El último cambio que voy a hacer es tomar la variable de presión y cambiarle el nombre. |
| |
Los ingenieros de mi organización llamaban a esta columna psi. Así que ese es el nombre que quiero darle. Bien, esos son todos los cambios que quiero hacer aquí. |
| |
Tengo que tomar algunas decisiones. Puedo decidir si el script se guarda en la tabla de datos. Eso crearía una pequeña sección de scripts aquí, en el panel superior izquierdo. |
| |
¿Dónde guardarlo en una ventana aparte? Guardémoslo en una ventana de script. También puedes elegir si las acciones de limpieza especificadas se ejecutan o no al hacer clic en Aceptar. Mantengamos la ejecución y hagamos clic en Aceptar. |
| |
Ahora verás que se han realizado todos esos cambios. Se han reorganizado los elementos, se han modificado las propiedades de las columnas, etc. |
| |
Tenemos un script. Tenemos un script para lograr eso. Está en su propia ventana y este pequeño programa será la base. Vamos a construir nuestro script de curación de datos a partir de él. Guardemos esto. Lo voy a guardar en mi escritorio. Y voy a llamarlo... |
| |
Script de curación v15. |
| |
cambiar los tipos de modelos, cambiar los tipos de datos, renombrar elementos, reordenar elementos. |
| |
Todo esto proviene de Victor. Voy a documentarlo en mi código. Es recomendable incluir pequeños comentarios en el código para poder consultarlo posteriormente. Voy a añadir una nota que indique que proviene de la herramienta Victor. |
| |
Y digamos que de DCSA, para el asistente de scripts de limpieza de datos, Victor. Eso es un comentario. Las dos barras diagonales forman una |
| |
Esa línea en tu programa es un comentario. Esto significa que el intérprete del programa no intentará ejecutarla como código. Se reconoce como una simple nota y la puedes ver en verde arriba. |
| |
Es buena idea dejarte pequeños comentarios en el guion. Bien, continuemos. |
| |
La siguiente tarea de curación que voy a abordar es la columna de proveedores. Mia nos comentó que había algunos problemas que debían solucionarse. |
| |
Usaremos la herramienta de recodificación para esto. La recodificación es una de las herramientas de JMP 15 que genera su propio script; solo hay que saber dónde encontrarlo. Así que recodificaremos y obtendremos el script (clic derecho). |
| |
recodificar. |
| |
Vamos a corregir estos valores de datos. Empezaré por el triángulo rojo. Comencemos convirtiendo todo el texto a mayúsculas iniciales; así se eliminó el valor de Hersch en minúsculas que aparece aquí abajo. |
| |
Eliminemos también los espacios en blanco adicionales. Con esto se eliminó el espacio inicial en este Anderson. De acuerdo. |
| |
Así, todos los cambios que realice en la herramienta de recodificación quedan registrados en esta lista, y puede recorrerla, deshacerlos, rehacerlos y consultar el historial si lo desea. |
| |
De acuerdo, solo me faltan unos pocos cambios. Los haré manualmente. Agrupemos a los Hersh, a los Cox y a todos los Anderson. |
| |
Trutna y Worley ya tienen razón. Lo último que haré será abordar estos valores faltantes. Los asignaremos a su propia categoría de valores faltantes. |
| |
Ese es mi proceso de recodificación. Ya terminé lo que tenía que hacer. Si solo tuviera que seleccionar y hacer clic, simplemente haría clic en "Recodificar" y listo. Pero recuerden, necesito obtener este script. Así que, para eso, voy a ir al triángulo rojo. |
| |
Bajemos a la sección de script y guardemos este script en una ventana de script. |
| |
Aquí está guardado en su propia ventana de script y simplemente voy a pegar esa sección al final de mi script de curación en proceso. |
| |
A ver. Voy a copiar todo de aquí. Ni siquiera tengo que mirarlo. Vale. No necesito ser programador, pulso Ctrl+C y lo pego abajo. Y añadamos una nota que indique que esto proviene del triángulo rojo de recodificación. |
| |
Bien, puedo cerrar esta ventana. Ya no la necesito. Y guardo estas actualizaciones en mis scripts de curación. Así que eso fue recodificado y la forma en que tú |
| |
obtener el |
| |
código para ello. |
| |
Muy bien, entonces la siguiente tarea que vamos a abordar es el cálculo. |
| |
Un rendimiento. Oh, lo siento. Lo que voy a hacer es ejecutar la recodificación. Ahora que he guardado el script, ejecutemos la recodificación. Y ahí está, la columna del proveedor recodificada. Perfecto. |
| |
De acuerdo, calculemos una columna de rendimiento. Esto es un poco redundante, me doy cuenta de que ya tenemos la tasa de desperdicio. |
| |
Pero para fines ilustrativos, veamos cómo calcular una nueva columna y extraer su script. Este es otro lugar en JMP 15 donde se puede obtener fácilmente el script si se sabe dónde buscar. Así que, creando nuestra columna de rendimiento. |
| |
Nueva columna, haga doble clic aquí arriba, cámbiele el nombre de columna 16 a rendimiento. |
| |
Y asignémosle una fórmula. |
| |
Para calcular el rendimiento, necesito averiguar cuántas unidades buenas tengo en cada lote, así que eso será el tamaño del lote menos el número de unidades desechadas. |
| |
Esa es la cantidad de unidades buenas que tengo en cada lote. Voy a dividirla entre el tamaño total del lote y aquí está mi columna de rendimiento. Sí, como pueden ver, el rendimiento es de 0,926. |
| |
La tasa de desecho es 0,074, 1 menos el rendimiento. ¡Perfecto! El cálculo es correcto. Ahora que he creado la columna de rendimiento, vamos a obtener su script. Y aquí está el truco: clic derecho, copiar columnas. |
| |
Desde el botón derecho del ratón, copiar columnas. |
| |
Pegar. Y listo. Agrega una nueva columna a la tabla de datos. Se llama rendimiento y esta es su fórmula. |
| |
Ahora bien, dije que no es necesario saber programar, pero supongo que aquí hay una pequeña excepción. Probablemente ya lo hayas notado. |
| |
En JSL, cada paso termina con un punto y coma. Esto separa las distintas expresiones JSL, y si agregas algo nuevo al final de tu script, asegúrate de que haya un punto y coma entre medias. Así que estoy escribiendo un punto y coma. Las columnas de copia |
| |
La función no agregó el punto y coma, así que tengo que agregarlo manualmente. |
| |
Muy bien, perfecto. Esa es nuestra columna de rendimiento. Lo siguiente que me gustaría abordar es esto. |
| |
Mis procesos están etiquetados como 1 y 2. Eso no es muy intuitivo. Quiero darles etiquetas más descriptivas. Llamaremos al Proceso Número 1 "producción" y al Proceso Número 2 "experimental". Lo haremos con etiquetas de valor. |
| |
Las etiquetas de valor son un ejemplo de propiedades de columna. Existe una lista completa de diferentes propiedades de columna que se pueden agregar a una columna. |
| |
Esto incluye aspectos como las unidades de medida. Por ejemplo, si se desea cambiar el orden de visualización en un gráfico, se puede usar el ordenamiento por valores. |
| |
Si desea agregar límites de control, límites de especificación o un sigma histórico para su análisis de calidad, también puede hacerlo aquí. |
| |
De acuerdo. Todas estas son propiedades de columna que agregamos, metadatos que agregamos a las columnas. |
| |
Y vamos a necesitar usar el Asistente de scripts de limpieza de datos para acceder al script JSL y agregar estas propiedades de columna. Así es como lo hacemos. Primero, agregamos las propiedades de columna, como siempre, haciendo clic. Voy a agregar mis etiquetas de valor. |
| |
Proceso número 1, lo llamaremos producción. Agregar. |
| |
Al proceso número 2 lo llamaremos experimental. |
| |
Y al agregar esa propiedad de columna de etiqueta de valor, |
| |
Ahora veo etiquetas claras en mi tabla de datos. En lugar de ver Proceso 1 y Proceso 2, veo producción y experimental. |
| |
Asistente para scripts de limpieza de datos. Seleccionaremos la copiadora de propiedades. |
| |
Ha aparecido un pequeño mensaje indicando que el script de la propiedad de la columna se ha copiado al portapapeles y que a continuación volveremos a nuestro script en curso. |
| |
de la copiadora de propiedad de la DCSA. |
| |
Luego, pega (Ctrl+V). Ahí está el script que necesitamos para asignar esas dos etiquetas de valor. Listo. |
| |
Muy bien. De acuerdo, me queda un paso más de curación de datos, algo para lo que necesitaremos el Asistente de scripts de limpieza de datos. |
| |
Queremos considerar únicamente, por ejemplo, las filas de esta tabla de datos donde la aspiradora está desactivada. Correcto. Entonces, hay 313 de esas filas. |
| |
Y solo quiero eliminar de esta tabla de datos las filas donde está activado el proceso de limpieza de tablas. Para hacerlo manualmente, selecciono esas filas, como hice ahora, y luego ejecuto el comando para crear subconjuntos de tablas. |
| |
Para obtener un código utilizable, tendremos que usar nuevamente el Asistente de scripts de limpieza de datos. A continuación, se muestra cómo filtrar esta tabla de datos para que solo contenga las filas donde la limpieza está desactivada. Primero, en el menú de filas, dentro del submenú de selección de filas, usaremos la opción "Seleccionar donde". |
| |
Se utilizará un comando para obtener un script reutilizable para la selección. Seleccionaremos las filas donde la función de vacío esté desactivada. |
| |
Y antes de hacer clic en Aceptar para ejecutar esa selección, de nuevo, iré al triángulo rojo y guardaré el script en la ventana de scripts. |
| |
Ctrl+A. Ctrl+C para copiarlo y volvamos a pegarlo. |
| |
De las filas. |
| |
Seleccionar dónde |
| |
Control V. Ahí está el código JSL que selecciona las filas donde la aspiradora está desactivada. Ahora necesito, una vez más, |
| |
Necesitamos usar el Asistente de scripts de limpieza de datos para obtener las filas seleccionadas. Ah, primero ejecutemos la selección. |
| |
Ahí está. Ahora, con la fila seleccionada, volveremos a los complementos, Asistente de scripts de limpieza de datos, subconjunto de filas seleccionadas. |
| |
Se me pide que asigne un nombre a mi nueva tabla de datos que contiene el subconjunto de datos. Llamémosla «vacuum», y listo. Ese es el nombre de mi nueva tabla de datos. Hago clic en Aceptar; aparece otro mensaje que indica que el script del subconjunto se ha copiado al portapapeles. |
| |
Y así lo pegamos al final. |
| |
Ahí está. |
| |
Y este es nuestro script completo de curación de datos para usar en JMP 15. Veamos cómo funciona en la práctica. Voy a cerrar la tabla de datos en la que hemos estado trabajando y corrigiendo los errores. Cerrémosla y volvamos al estado anterior. |
| |
el estado desordenado. |
| |
Asegúrate de que estoy usando la versión correcta de JMP. |
| |
De acuerdo. Sí, aquí están los datos desordenados. Digamos que han llegado nuevas filas porque es un entorno de producción y se reciben datos nuevos constantemente. Necesito repetir mi flujo de trabajo de curación de datos. |
| |
Ejecutar script. |
| |
Realizó todas esas operaciones. Observe las etiquetas de valor. Observe que la humedad es continua. Observe que hemos seleccionado únicamente las filas donde el vacío está desactivado. El flujo de trabajo completo. |
| |
Ahora es posible reproducirlo con un script JSL. Así que tenlo en cuenta para JMP 15. Algunas herramientas permiten extraer el script JSL directamente; para otras, usarás mi complemento, el Asistente de Scripts de Limpieza de Datos. |
| |
Y ahora les vamos a mostrar lo divertido y fácil que es esto en JMP 16. No voy a explicar todo el proceso. |
| |
Repetiremos esto varias veces, ya que sería redundante, pero repasemos brevemente lo que vimos. Estamos en JMP 16 y voy a abrir el registro. |
| |
El registro tiene un aspecto diferente en JMP 16 y verás algunas de esas diferencias ahora mismo. Vamos a abrir los datos de los componentes desordenados. |
| |
Aquí está. Y verás en el registro que hay una sección que dice que he abierto la tabla de datos desordenada. Y aquí abajo, aquí está el script JSL que realiza lo siguiente: |
| |
Lo que acabamos de hacer. Esto es como un registro continuo que captura automáticamente todo el script necesario. Aún no está completo. |
| |
Todavía se le están añadiendo nuevas funciones. Y supongo que eso continuará. |
| |
Pero esta función de registro mejorada ya es muy, muy útil y cubre la mayoría de sus actividades de curación de datos. |
| |
También debo mencionar que, en este momento, lo que les estoy mostrando es la versión para usuarios pioneros de JMP. Es la versión 5 para usuarios pioneros. Así que cuando lancemos la versión completa... |
| |
La versión de producción de JMP 16, que saldrá a principios del año que viene, probablemente tendrá un aspecto algo diferente al que estáis viendo ahora mismo. |
| |
Bien, continuemos y repasemos algunos de los pasos de curación de datos. No voy a explicar todo el flujo de trabajo, porque sería redundante. Repasemos solo algunos. |
| |
Repasaré algunas de las funciones para las que antes necesitábamos a Victor. En JMP 16 ya no necesitaremos el Asistente de scripts de limpieza de datos. Simplemente seguiremos el procedimiento habitual de apuntar y hacer clic. |
| |
Entonces, para la humedad, vamos a cambiar de formato de caracteres a numérico y de nominal a continuo, y haremos clic en Aceptar. Así es como se ve en el registro estructurado. Tiene |
| |
Capturamos ese JSL. Bien, volvamos a la tabla de datos. Vamos a cambiar el tipo de modelado del número de lote y del número de pieza, y el proceso de continuo a nominal. |
| |
Listo. Eso también quedó registrado. Vamos a eliminar la columna de la instalación, que solo tiene un valor; hacemos clic derecho y seleccionamos "Eliminar columnas". Listo. |
| |
PSI. |
| |
Bien, esas eran todas las herramientas... todo lo que hacíamos en Victor en JMP 15. Aquí, en JMP 16, todo eso genera código JMP que podemos copiar y reutilizar. ¡Genial! |
| |
De acuerdo. Solo un paso más que les mostraré. Vamos a mostrar que el subconjunto a vaciar está desactivado. Mucho, mucho más sencillo aquí en JMP 16. Todo lo que necesitamos hacer es |
| |
Selecciono todas las celdas donde la aspiradora está desactivada; ni siquiera necesito usar el menú de filas, puedo simplemente hacer clic derecho en una de esas celdas y seleccionar las celdas coincidentes, lo que selecciona las 313 filas donde la aspiradora está desactivada. Y luego, como siempre, para realizar la subselección, para seleccionar solo las filas seleccionadas, se utiliza la opción "Subconjunto de tabla". |
| |
Vamos a crear una nueva tabla llamada "vacuum off" que contendrá únicamente las filas seleccionadas y mantendrá todas las columnas. ¡Empecemos! |
| |
Eso es todo. Acabamos de realizar todos esos pasos de curación de datos. Así es como se ve en el registro estructurado. |
| |
Y ahora, para convertir esto en un script de curación de datos reutilizable y reproducible, solo tenemos que acercarnos al triángulo rojo y guardar el script en una ventana de scripts. Voy a guardarlo en mis datos... en mi escritorio como un script de curación v16. |
| |
Y aquí está. Aquí está el script completo. Así que vamos a cerrar todos los datos en JMP 16 y mostrarles cómo es volver a ejecutar ese script. |
| |
Aquí estoy de nuevo en la ventana principal de JMP 16. Este es mi script de curación. Como verán, la primera línea es el comando de apertura, así que ni siquiera necesito abrir la tabla de datos. Se abrirá en esta misma línea. |
| |
Lo único que necesito hacer es, cuando lleguen nuevos datos y este archivo se haya actualizado, ejecutar el script para realizar los pasos de curación de datos. |
| |
Y ahí está. Todos los pasos de curación y el subconjunto a las 313 filas. Esto se logra utilizando el registro mejorado de JMP 16 para capturar todo el trabajo de curación de datos y convertirlo en un script reproducible. |
| |
Bien, aquí tenéis la guía rápida de JMP 15 para recordaros una vez más lo que necesitáis saber para extraer el código reutilizable en JMP 15. No tendréis que preocuparos tanto por esto cuando lancemos JMP 16. |
| |
a principios de 2021. |
| |
En conclusión, Mia les mostró cómo realizar la curación de datos en JMP. Es un proceso exploratorio e iterativo donde se identifican los problemas y se solucionan haciendo clic. |
| |
Cuando tus datos se actualizan regularmente con nueva información, necesitas automatizar ese flujo de trabajo para ahorrar tiempo. |
| |
Y también para documentar tu proceso y dejarte un rastro de migas de pan cuando vuelvas más tarde y revises lo que hiciste. |
| |
El proceso de automatización consiste en traducir tus actividades de apuntar y hacer clic en un script JSL reutilizable. |
| |
Analizamos cómo en JMP 15 se utilizará una combinación de herramientas integradas y herramientas del Asistente de scripts de limpieza de datos para lograr estos objetivos. |
| |
También les mostramos un adelanto de JMP 16 y cómo pueden usar el registro mejorado para capturar automáticamente sus actividades de curación de datos mediante clics y generar un registro reutilizable y visualmente atractivo. |
| |
Script reproducible para la curación de datos. |
| |
Muy bien. Esta ha sido nuestra presentación, muchas gracias por su tiempo. |
