Vocero | Transcripción |
| paso en falso | Bienvenido a la cumbre JMP Discovery. |
| Soy Mia Stephens, gerente de productos de JMP y estoy aquí con Jordan Hiller, que es ingeniero de sistemas de JMP. Y hoy vamos a hablar sobre la automatización del flujo de trabajo de curación de datos. |
| Y vamos a dividir nuestra charla en dos partes. Voy a comenzar y preparar el escenario hablando sobre el flujo de trabajo analítico y dónde encaja la curación de datos en este flujo de trabajo. |
| Y luego le dejaré la palabra a Jordan para que le dé el meollo, el corazón de esta charla. Vamos a hablar sobre la necesidad de una curación de datos reproducible. |
| Veremos cómo hacer esto en JMP 15. Y luego, obtendrá un adelanto de algunas funciones nuevas en JMP 16 para registrar los pasos de curación de datos y las acciones que realiza para preparar sus datos para el análisis. |
| Entonces, pensemos en el flujo de trabajo analítico. Y aquí hay un flujo de trabajo popular. Y, por supuesto, todo comienza con definir cuál es el problema de su negocio, comprender el problema que está tratando de resolver. |
| Entonces necesitas recopilar datos. Y, por supuesto, puede compilar datos de varias fuentes diferentes y extraerlos en JMP. Y, al final, debemos poder compartir resultados y comunicar nuestros hallazgos a otros. |
| Probablemente la parte de este proceso que consume más tiempo es preparar nuestros datos para su análisis o curarlos. |
| Entonces, ¿qué es exactamente la curación de datos? Bueno, la curación de datos consiste en garantizar que nuestros datos sean útiles para impulsar los descubrimientos analíticos. Fundamentalmente queremos poder solucionar un problema con el día que tenemos. |
| Se trata en gran medida de organización de datos, estructura de datos y limpieza de problemas de calidad de datos. |
| Si piensa en problemas o problemas comunes con los datos, generalmente se incluyen en cuatro grupos. Es posible que tengamos un formato incorrecto, datos incompletos, datos faltantes o datos sucios o desordenados. |
| Y para hablar sobre este tipo de problemas e ilustrar cómo identificamos estos problemas dentro de nuestros datos, tomaremos prestado de nuestro curso, STIPS. |
| Y si no está familiarizado con STIPS, STIPS es nuestro curso gratuito en línea, Pensamiento estadístico para la resolución de problemas industriales, y está organizado en siete |
| módulos discretos. El módulo 2 trata sobre el análisis de datos exploratorios. |
| Y debido a la naturaleza interactiva e iterativa del análisis exploratorio de datos y la curación de datos, la última lección de este módulo es la preparación de datos para el análisis. Y se trata de identificar problemas de calidad dentro de sus datos y los pasos que puede seguir para seleccionarlos. |
| Así que hablemos un poco más sobre los problemas comunes. Formato incorrecto. Entonces, ¿qué queremos decir con formato incorrecto? |
| Bueno, esto es cuando sus datos están en la forma incorrecta o en el formato incorrecto para el análisis. Esto puede aplicar su tabla de datos en su conjunto. Entonces, por ejemplo, es posible que tenga sus datos en columnas separadas, pero para el análisis, necesita que sus datos estén apilados en una columna. |
| Esto puede aplicarse a variables individuales. Es posible que tenga el tipo de modelado o el tipo de datos incorrecto o que tenga datos de fecha, datos sobre fechas u horas que no estén formateados de esa manera en JMP. |
| También puede ser cosmeti. Puede optar por eliminar las variables de respuesta al principio de la tabla de datos, cambiar el nombre de las variables y agrupar los factores para que sea más fácil encontrarlos en la tabla de datos. |
| Los datos incompletos se refieren a la falta de datos. Y esto puede ser sobre variables importantes, por lo que es posible que no estés capturando datos sobre variables que en última instancia pueden ayudarte a resolver tu problema. |
| o sobre combinaciones de variables. O podría significar que simplemente no tiene suficientes observaciones, no tiene suficientes datos en su tabla de datos. |
| Los datos faltantes se producen cuando los valores de las variables no están disponibles. Y esto puede adoptar diversas formas. |
| Y finalmente, los datos sucios o desordenados son cuando tienes problemas con las observaciones o las variables. |
| Entonces tus datos podrían ser incorrectos. Los valores son simplemente incorrectos. Es posible que haya inconsistencias en términos de cómo las personas registraban datos o ingresaban datos en el sistema. |
| Es posible que sus datos sean inexactos, que no tengan un sistema de medición capaz, que haya errores o erratas. |
| Los datos pueden estar obsoletos. Por lo tanto, es posible que haya recopilado la información sobre una instalación o máquina que ya no está en servicio. |
| Puede que esté desactualizado. Por lo tanto, es posible que el proceso haya cambiado tanto desde que recopiló los datos que los datos ya no son útiles. |
| Los datos pueden estar censurados o truncados. Es posible que tenga columnas redundantes entre sí. Tienen el mismo contenido de información básica o filas duplicadas. Por lo tanto, los datos sucios y confusos pueden adoptar muchas formas diferentes. |
| Entonces, ¿cómo se identifican problemas potenciales? Bueno, cuando echas un vistazo a tus datos, empiezas a identificar problemas. Y, de hecho, este proceso es iterativo y cuando comienzas a explorar tus datos gráfica y numéricamente, comienzas a ver cosas que podrían ser problemas que tal vez quieras solucionar. |
| o resolver. Entonces, un buen punto de partida es comenzar simplemente escaneando la tabla de datos. Cuando escanea su tabla de datos, a menudo puede ver algunos problemas obvios. |
| Y para este ejemplo, usaremos algunos datos del curso STIPS llamado Componentes, y el escenario es que una empresa fabrica componentes pequeños y está tratando de mejorar el rendimiento. |
| Y han recopilado datos sobre 369 lotes de piezas con 15 columnas. Entonces, cuando echamos un vistazo a los datos, podemos ver algunos problemas bastante obvios desde el principio. |
| Si miramos la parte superior de la tabla de datos, observamos estos pequeños y bonitos gráficos, podemos ver las formas de las distribuciones. Podemos ver los valores. |
| Entonces, por ejemplo, número de lote, ves un histograma. Y el número de lote es algo que se podría considerar un identificador, en lugar de algo continuo. Entonces esto puede indicarnos que los datos están codificados incorrectamente. |
| Cuando miramos el número desechado, podemos ver la forma de la distribución. También podemos ver que hay un valor negativo allí, lo que podría no ser posible. |
| Vemos un histograma para el proceso con dos valores, y esto puede indicarnos que necesitamos cambiar el tipo de modelado para el proceso de continuo a nominal. |
| Puedes ver más cuando echas un vistazo al panel de columnas. Así, por ejemplo, el número de lote y el número de pieza se codifican como continuos. Probablemente sean nominales. |
| Y si nos fijamos en los datos mismos, podemos ver otros problemas. Entonces, por ejemplo, la humedad es algo que consideraríamos continuo, pero ves un par de observaciones que tienen valor N/A. |
| Y debido a que JMP ve texto, la columna está codificada como nominal, por lo que es algo que quizás quieras arreglar. |
| Podemos ver algunos problemas con el proveedor. Faltan un par de valores y algunos errores tipográficos. Y observen, temperatura, todos los puntos indican que nos faltan valores de temperatura en estas filas. Así que éste es un tema que tal vez queramos investigar más a fondo. |
| Por lo tanto, se identifican muchos problemas simplemente escaneando la tabla de datos y se pueden identificar aún más problemas potenciales cuando se visualizan los datos una variable a la vez. |
| Un buen punto de partida, y realmente me gusta esta herramienta, es el visor de columnas. El visor de columnas le brinda resúmenes numéricos de todas las variables que ha seleccionado. |
| Entonces, por ejemplo, aquí me faltan algunos valores. Y puedes ver para la temperatura que nos faltan 265 de los 369 valores. Entonces esto es potencialmente un problema si pensamos que la temperatura es un factor importante. |
| También podemos ver posibles problemas con los valores registrados en la tabla de datos. Así, por ejemplo, la tasa de rechazo y el número de rechazo tienen valores negativos. |
| Y si esto no es físicamente posible, es algo que quizás queramos investigar en el sistema en el que recopilamos los datos. |
| Al observar algunas de las estadísticas calculadas, también podemos ver otros problemas. Así, por ejemplo, el número de lote y el número de pieza deberían ser categóricos. |
| No tiene sentido tener el número de lote promedio o el número de pieza promedio. Entonces esto le indica que probablemente debería volver a la tabla de datos y cambiar su tipo de modelado. |
| Las distribuciones nos dicen mucho sobre nuestros datos y posibles problemas. Podemos ver las formas de las distribuciones, el centrado, la extensión. También podemos ver errores tipográficos. |
| Número de cliente aquí, el problema particular aquí es que hay cuatro o cinco clientes principales y algunos clientes más pequeños. Si va a utilizar el número de cliente y el análisis, es posible que desee utilizar la recodificación para agrupar algunos de esos clientes más pequeños en quizás otra categoría. |
| Tenemos un gráfico de barras para la humedad, y esto se debe a que tenemos ese valor N/A en la columna. Y es posible que no hayamos visto eso cuando escaneamos la tabla de datos, pero podemos verlo con bastante claridad aquí cuando miramos la distribución. |
| Podemos ver claramente los errores tipográficos del proveedor. |
| Y cuando miramos las variables continuas, nuevamente, podemos observar la forma, el centrado y la dispersión, pero también podemos ver algunas observaciones inusuales dentro de estas variables. |
| Entonces, después de observar los datos una variable a la vez, una progresión natural es explorar los datos dos o más variables a la vez. |
| Entonces, por ejemplo, si observamos la tasa de desperdicio versus el número de desperdicio en Graph Builder. |
| Vemos un interés en el patrón. Entonces vemos estas bandas y podría ser que haya algo en nuestra tabla de datos que nos ayude a explicar por qué estamos viendo este patrón. |
| De hecho, si coloreamos por tamaño de lote, tiene sentido para nosotros. Entonces, cuando tenemos lotes con 5000 piezas, hay más oportunidades para piezas de desecho que para lotes de solo 200. |
| También podemos ver que hay algunas observaciones extrañas en la parte inferior. De hecho, estas son las observaciones que tuvieron valores negativos para la cantidad de desechos y realmente se destacan aquí en este gráfico. |
| Y cuando agrega un conmutador de columnas o un filtro de datos, puede agregar alguna dimensionalidad adicional a estos gráficos. Para que pueda mirar la presión, |
| por ejemplo, en lugar de... |
| Bueno, puedo mirar la presión o cambiar a permanencia. Lo que busco aquí es tener una idea de la relación general entre estas variables y la respuesta. |
| Y puedo ver que la presión parece tener una relación positiva con la tasa de desperdicio. Y si paso a detenerme, puedo ver que probablemente no haya mucha relación entre |
| tasa o temperatura de permanencia y desecho. Por lo tanto, es posible que estas variables no sean tan informativas para resolver el problema. |
| Pero mira la velocidad, la velocidad tiene una relación negativa. Y también tengo algunas observaciones inusuales en la parte superior que tal vez quiera investigar. |
| Por lo tanto, puede aprender mucho sobre sus datos con solo mirarlos. |
| Y, por supuesto, existen herramientas más avanzadas para explorar valores atípicos y perdidos que realmente están más allá del alcance de esta discusión. |
| Y a medida que ingresa a la fase de análisis, cuando comienza a analizar sus datos o crear modelos, aprenderá mucho más sobre los problemas potenciales con los que tendrá que lidiar. |
| Y la clave es que mientras observa sus datos e identifica estos problemas, desea tomar notas de estos problemas. |
| Algunos de ellos se pueden resolver a medida que avanzas. Por lo tanto, es posible que pueda remodelar y limpiar sus datos a medida que avanza en el proceso. |
| Pero realmente desea asegurarse de capturar los pasos que sigue para poder repetirlos más adelante si tiene que repetir el análisis o si desea repetir el análisis con datos nuevos u otros datos. |
| Y en este punto es donde le pasaré la palabra a Jordan para que hable sobre la curación de datos reproducibles y de qué se trata. |
| Jordan Hiller | Muy bien, gracias Mía. Eso fue genial. Y aprendimos lo que se hace en JMP para lograr la curación de datos apuntando y haciendo clic. Hablemos ahora de hacer eso reproducible. |
| La razón por la que nos preocupamos por la reproducibilidad es que sus conjuntos de datos se actualizan periódicamente con nuevos datos. Si se tratara de una actividad única, no nos preocuparíamos demasiado por apuntar y hacer clic. Pero cuando los datos se actualizan una y otra vez, |
| Requiere demasiada mano de obra repetir la curación de datos apuntando y haciendo clic cada vez. |
| Por lo tanto, es más eficiente generar un script que realice todos los pasos de curación de datos y puede ejecutar ese script con solo hacer clic en un botón. |
| y hacer todo de una vez. Entonces, además de la eficiencia, |
| documenta su proceso. Sirve como registro de lo que hiciste. Así que puedes consultar eso más tarde para ti y recordar lo que hiciste, o para las personas que vienen después de ti y son responsables de este proceso, es un registro para ellos también. |
| Para el resto de esta presentación, mi objetivo es mostrarle cómo generar un script de curación de datos solo con apuntar y hacer clic. |
| Esperamos que no necesite realizar ninguna programación para poder realizar esto. Ese código de programa será extraído y guardado para usted, y hablaremos un poco sobre cómo sucede eso. |
| Entonces hay dos secciones diferentes. Esto es lo que puede hacer ahora en JMP 15 para obtener un script de curación de datos y lo que hará una vez que lancemos JMP 16 el próximo año. |
| En JMP 15 hay algunas tareas de curación de datos que generan su propio código de secuencias de comandos JSL reutilizable. |
| Simplemente ejecuta apuntar y hacer clic, y luego hay una técnica para capturar el código. Voy a demostrar eso. Entonces herramientas como recodificar, |
| generando una nueva columna de fórmula con el cálculo, remodelando tablas de datos, estas herramientas están en el menú de tablas. Hay apilar, dividir, unir, concatenar y actualizar. Todas estas herramientas |
| en JMP 15 genera su propio script después de ejecutarlos apuntando y haciendo clic. |
| Hay otras tareas comunes que no generan su propio script JSL y para facilitar la realización de estas tareas y hacerlas reproducibles, |
| Y ayuda con las siguientes tareas, principalmente cuestiones de columnas, cambiar los tipos de datos de las columnas, los tipos de modelado, cambiar el formato de visualización, |
| cambiar el nombre, reordenar y eliminar columnas de su tabla de datos, y también configurar propiedades de las columnas, como límites de especificaciones o etiquetas de valores. |
| Entonces, el Asistente de script de limpieza de datos es lo que usará para ayudarlo con esas tareas en JMP 15. |
| Les daremos un adelanto de JMP 16 y estamos muy entusiasmados con las nuevas funciones en el registro de JMP 16. Creo que se llamará modo de registro mejorado. |
| La idea básica es que en JMP 16 puedes simplemente apuntar y hacer clic a través de los pasos de curación de datos como de costumbre. |
| El código JSL que necesita se genera y registra automáticamente. Todo lo que necesitas hacer es agarrarlo y guardarlo. Muy simple y realmente útil, estoy emocionado de mostrártelo. |
| Aquí tienes una hoja de trucos para tu referencia. En JMP 15, estas son las tareas de la izquierda, tareas comunes de curación de datos; No es una lista exhaustiva. |
| Y la columna del medio muestra cómo lograrlos apuntando y haciendo clic en JMP. El método para extraer el script reutilizable aparece a la derecha. Así que no voy a cubrir todo aquí. |
| Pero sí, esto es para que puedas consultarlo más adelante. Entremos en una demostración. Y mostraré cómo abordar algunos de esos problemas que Mia identificó con la tabla de datos de componentes. Voy a empezar en JMP 15. |
| Y lo primero de lo que vamos a hablar son algunos de esos problemas de columnas, cambiar |
| cambiando |
| los tipos de datos, los tipos de modelado, ese tipo de cosas. Ahora, si solo le preocupara apuntar y hacer clic |
| en JMP, lo que normalmente haría es, digamos, humedad. Esta es la columna que recordarás que tiene |
| Hay algo de texto en eso y aparece por error como una columna de caracteres. Entonces, para solucionar eso apuntando y haciendo clic, normalmente haría clic derecho, ingresaría a la información de la columna y abordaría esos cambios aquí. |
| Esta es una de esas tareas de JMP que no deja secuencias de comandos utilizables en JMP 15. Entonces, para esto, usaremos el asistente de script de limpieza de datos. Así que, aquí vamos. |
| Está en el menú de complementos, porque yo lo instalé, tú también puedes instalarlo. Asistente de script de limpieza de datos, la herramienta que necesitamos para esto es Víctor el limpiador. Esto es un |
| Interfaz gráfica de usuario para realizar cambios en las columnas, de modo que podamos abordar los tipos de datos y los tipos de modelado aquí. Podemos cambiar el nombre de las columnas, podemos cambiar el orden de las columnas, eliminarlas y luego guardar el script. Así que hagamos algunos cambios aquí. |
| Para la humedad, ese es el que tiene los valores N/A que causaron que apareciera como texto. Vamos a cambiarla de una variable de caracteres a una variable numérica. Y vamos a cambiarlo de nominal a continuo. |
| También identificamos que el número de lote debe llegar... debe cambiarse a nominal; El número de pieza también debe cambiarse a nominal y el proceso, que es un número en este momento, también debe cambiarse. |
| nominal. |
| tecnología fabulosa. Entonces eso no es útil para mí. Eliminemos la columna de instalaciones. Lo seleccionaré aquí haciendo clic en su nombre y haciendo clic en Eliminar. |
| Aquí hay un par de esos cambios cosméticos que mencionó Mia. La tasa de desperdicio está al final de mi tabla. Quiero moverlo antes. Voy a moverlo a la cuarta posición después |
| número de cliente. Entonces lo seleccionamos y usamos las flechas para moverlo hacia arriba en el orden directamente después del número de cliente. |
| El último cambio que haré es tomar la variable de presión y cambiarle el nombre. |
| Mis ingenieros en mi organización llamaron a esta columna psi. Ese es el nombre que quiero darle a esa columna. Muy bien, esos son todos los cambios que quiero hacer aquí. |
| Tengo algunas decisiones que tomar. Puedo decidir si el script se guarda en la propia tabla de datos. Eso crearía una pequeña sección de guión aquí en el panel superior izquierdo. |
| Dónde guardarlo en su propia ventana, guardémoslo en una ventana de secuencia de comandos. También puede elegir si las acciones de limpieza que especificó se ejecutan o no cuando hace clic en Aceptar. Mantengamos la ejecución y hagamos clic en Aceptar. |
| Ahora verás que se realizan todos esos cambios. Las cosas se han reorganizado, las propiedades de las columnas han cambiado, etc. |
| tenemos un guión. Tenemos un guión para lograrlo. Está en su propia ventana y este pequeño programa será la base. Vamos a construir nuestro script de curación de datos en torno a esto. Salvemos esto. Voy a guardarlo en mi escritorio. Y voy a llamar a esto |
| Guión de curación v15. |
| cambiar tipos de modelado, cambiar tipos de datos, cambiar el nombre de las cosas, reordenar las cosas. |
| Todo esto vino de Víctor. Voy a documentar esto en mi código. Es una buena idea dejar pequeños comentarios en el código para poder leerlo más tarde. Voy a dejar una nota que dice que esto es de la herramienta Victor. |
| Y digamos de DCSA, para el asistente de script de limpieza de datos Victor. Entonces eso es un comentario. Las dos barras forman una |
| línea en su programa; eso es un comentario. Eso significa que el intérprete del programa no intentará ejecutarlo como código de programa. Se reconoce solo como una pequeña nota y puedes verla en verde allí arriba. |
| Buena idea dejarte pequeños comentarios en tu guión. Muy bien, sigamos adelante. |
| La siguiente tarea de selección que abordaré es la columna de este proveedor. Mia nos contó que había algunos problemas aquí que debían solucionarse. |
| Usaremos la herramienta de recodificación para esto. Recode es una de las herramientas de JMP 15 que deja su propio script, sólo hay que saber dónde conseguirlo. Así que hagamos nuestra recodificación y tomemos el script, hagamos clic derecho |
| recodificar. |
| Y vamos a arreglar estos valores de datos. Voy a empezar desde el triángulo rojo. Comencemos convirtiendo todo ese texto a mayúsculas y minúsculas, lo que limpió este valor de Hersch en minúsculas aquí abajo. |
| También recortemos espacios en blanco adicionales, caracteres de espacio adicionales. Eso limpió ese espacio de liderazgo en este Anderson. Bueno. |
| Entonces, todos los cambios que realiza en la herramienta de recodificación se registran en esta lista y puede recorrerlos, deshacerlos, rehacerlos y recorrer ese historial, si lo desea. |
| Muy bien, solo tengo algunos cambios más que hacer. Lo haré manualmente. Agrupemos a los Hershe, agrupemos a los Cox, agrupemos a todos los Anderson. |
| Trutna y Worley ya tienen razón. Lo último que voy a hacer es abordar estos valores faltantes. Los asignaremos a su propia categoría de desaparecidos. |
| Ese es mi proceso de recodificación. Ya terminé con lo que tenía que hacer. Si solo estuviera apuntando y haciendo clic, seguiría adelante, haría clic en recodificar y estaría listo. Pero recuerda, necesito conseguir este guión. Para hacer eso, iré al triángulo rojo. |
| Vaya a la sección de script y guardemos este script en una ventana de script. |
| Aquí se guarda en su propia ventana de secuencia de comandos y simplemente voy a pegar esa sección en la parte inferior de mi secuencia de comandos de curación en proceso. |
| Así que veamos. Voy a tomar todo desde aquí. Realmente ni siquiera tengo que mirarlo. Bien. No tengo que ser programador, Control C, y simplemente pegarlo en la parte inferior. Y dejémonos una nota de que esto es del triángulo rojo recodificado. |
| Muy bien, puedo cerrar esta ventana. Ya no lo necesito. Y guarde estas actualizaciones en mis scripts de curación. Entonces eso fue recodificar y la forma en que |
| consigue el |
| código para ello. |
| Muy bien, entonces la siguiente tarea que abordaremos es calcular |
| un rendimiento. Oh lo siento. Lo que voy a hacer es ejecutar esa recodificación. Ahora que guardé el script, ejecutemos la recodificación. Y ahí está, la columna de proveedores recodificada. Perfecto. |
| Muy bien, calculemos una columna de rendimiento. Esto es un poco redundante, me doy cuenta de que ya tenemos la tasa de desechos, |
| pero para fines de discusión, le mostraremos cómo calcularía una nueva columna y extraería su secuencia de comandos. Este es otro lugar en JMP 15 donde puedes obtener fácilmente el script si sabes dónde buscar. Entonces hacemos nuestra columna de rendimiento. |
| Nueva columna, haga doble clic aquí arriba, cámbiele el nombre de la columna 16 para obtener resultado. |
| Y asignémosle una fórmula. |
| Para calcular el rendimiento, necesito encontrar cuántas unidades buenas tengo en cada lote, por lo que ese será el tamaño del lote menos el número desechado. |
| Esa es la cantidad de unidades buenas que tengo en cada lote. Voy a dividir eso por el tamaño total del lote y aquí está mi columna de rendimiento. Sí, puedes ver que el rendimiento aquí es .926. |
| La tasa de desperdicio es 0,074, 1 menos el rendimiento. Tan bueno. El cálculo es correcto. Ahora que he creado esa columna de rendimiento, tomemos su script. Y aquí está el truco: haz clic derecho y copia columnas. |
| Al hacer clic derecho, copiar columnas. |
| Pegar. Y ahí está. Agregue una nueva columna a la tabla de datos. Se llama rendimiento y aquí está su fórmula. |
| Ahora, dije, no necesitas saber nada de programación, supongo que aquí hay una excepción muy pequeña. Probablemente hayas notado que |
| hay punto y coma al final de cada paso en JSL. Eso separa diferentes expresiones JSL y si agrega algo nuevo al final de su secuencia de comandos, querrá asegurarse de que haya un punto y coma en el medio. Entonces solo estoy escribiendo un punto y coma. Las columnas de copia |
| La función no agregó el punto y coma, así que tengo que agregarlo manualmente. |
| Muy bien, bien. Esa es nuestra columna de rendimiento. Lo siguiente que me gustaría abordar es esto. |
| Mis procesos están etiquetados 1 y 2. Eso no es muy amigable. Quiero darles etiquetas más descriptivas. Vamos a llamar al Proceso Número 1, producción; y Proceso Número 2, experimental. Lo haremos con etiquetas de valor. |
| Las etiquetas de valor son un ejemplo de propiedades de columna. Hay una lista completa de diferentes propiedades de columna que puede agregar a una columna. |
| Se trata de cosas como las unidades de medida. Esto es como si quisiera cambiar el orden de visualización en un gráfico, puede usar el orden de valores. |
| Si desea agregar límites de control o límites de especificaciones o un sigma histórico para su análisis de calidad, también puede hacerlo aquí. |
| Está bien. Todas estas son propiedades de columna que agregamos, metadatos que agregamos a las columnas. |
| Y necesitaremos usar el Asistente de secuencia de comandos de limpieza de datos para acceder al script JSL para agregar estas propiedades de columna. Así es como lo hacemos. Al principio, agregamos las propiedades de la columna, como de costumbre, apuntando y haciendo clic. Voy a agregar mis etiquetas de valor. |
| Proceso número 1, lo llamaremos producción. Agregar. |
| Proceso número 2, lo llamaremos experimental. |
| Y al agregar esa propiedad de columna de etiqueta de valor, |
| Ahora obtengo bonitas etiquetas en mi tabla de datos. En lugar de ver el Proceso 1 y el Proceso 2, veo producción y experimental. |
| Asistente de script de limpieza de datos. Elegiremos la fotocopiadora de la propiedad. |
| Ha aparecido un pequeño mensaje que dice que el script de propiedad de la columna se ha copiado al portapapeles y luego volveremos a nuestro script en proceso. |
| de la fotocopiadora de propiedad de la DCSA. |
| Y luego pegar, Control V para pegar. Existe el script que necesitamos para asignar esas dos etiquetas de valor. Está hecho. |
| Muy bien. Bien, tengo que seguir un paso más de curación de datos, algo más para lo que necesitaremos el Asistente de secuencia de comandos de limpieza de datos. |
| Queremos considerar sólo, digamos, las filas de esta tabla de datos donde el vacío está desactivado. Bien. Entonces hay 313 de esas filas. |
| Y sólo quiero deshacerme de las filas de esta tabla de datos donde está activado el vacío. Entonces, la forma de hacerlo apuntando y haciendo clic es seleccionándolos, como lo hice yo ahora, y luego ejecutando el comando de subconjunto de tabla. |
| Para obtener código utilizable, tendremos que usar el Asistente de secuencias de comandos de limpieza de datos una vez más. A continuación se explica cómo crear subconjuntos de esta tabla de datos solo en las filas en las que el vacío está desactivado. Primero, voy a usar, en el menú de fila, en el submenú de selección de fila, usaremos este Seleccionar dónde |
| comando para obtener algún script reutilizable para la selección. Vamos a seleccionar las filas donde el vacío está desactivado. |
| Y antes de hacer clic en Aceptar para ejecutar esa selección, nuevamente iré al triángulo rojo y guardaré el script en la ventana del script. |
| Control A. Control C para copiarlo y pegarlo nuevamente. |
| De filas. |
| Seleccione dónde |
| Control V. Entonces está el código JSL que selecciona las filas donde el vacío está desactivado. Ahora necesito, una vez más, |
| Es necesario utilizar el Asistente de secuencia de comandos de limpieza de datos para obtener las filas seleccionadas. Oh, primero ejecutemos la selección. |
| Ahí está. Ahora, con la fila seleccionada, volveremos a agregar complementos, Asistente de secuencia de comandos de limpieza de datos, subconjunto de filas seleccionadas. |
| Se me solicita que nombre mi nueva tabla de datos que tiene el subconjunto de datos. Llamémoslo vacío, vacío. Ese es el nombre de mi nueva tabla de datos. Haga clic en Aceptar, otro mensaje de que el script del subconjunto se ha copiado al portapapeles. |
| Y así lo pegamos hasta el fondo. |
| Ahí está. |
| Y este es ahora nuestro script de curación de datos completo para usar en JMP 15 y repasemos cómo es usarlo en la práctica. Voy a cerrar la tabla de datos en la que hemos estado trabajando y haré correcciones para realizar nuestra curación. Cerrémoslo y volvamos a |
| el estado desordenado. |
| Asegúrate de estar en la versión correcta de JMP. |
| Está bien. Sí, aquí están los datos confusos. Y digamos que han aparecido algunas filas nuevas porque es un entorno de producción y llegan nuevos datos todo el tiempo. Necesito reproducir mi flujo de trabajo de curación de datos. |
| ejecutar guión. |
| Realizó todas esas operaciones. Tenga en cuenta las etiquetas de valor. Tenga en cuenta que la humedad es continua. Tenga en cuenta que hemos subconjunto solo las filas donde el vacío está desactivado. Todo el flujo de trabajo |
| ahora es reproducible con un script JSL. Eso es lo que debes tener en cuenta para JMP 15. Algunas herramientas desde las que puede extraer el script JSL directamente; para otros, usará mi complemento, el Asistente de script de limpieza de datos. |
| Y ahora vamos a mostrarte lo divertido y fácil que es esto en JMP 16. No voy a trabajar en todo el flujo de trabajo. |
| una vez más, porque sería algo redundante, pero repasemos algo de lo que pasamos. Aquí estamos en JMP 16 y voy a abrir el registro. |
| El registro se ve diferente en JMP 16 y verás algunas de esas diferencias actualmente. Abramos los datos de los componentes desordenados. |
| Aquí lo tienes. Y notarás en el registro que tiene una sección que dice Abrí la tabla de datos desordenada. Y aquí abajo. Aquí está el script JSL que logra |
| lo que acabamos de hacer. Esto es como un registro en ejecución que captura automáticamente todos los scripts que necesita. Aún no está completo. |
| Todavía se le están agregando nuevas funciones. Y yo, y asumo que eso continuará. |
| Pero esta función de registro mejorada ya es muy, muy útil y cubre la mayoría de sus actividades de curación de datos. |
| También debo mencionar que, ahora mismo, lo que les estoy mostrando es la versión pionera de JMP. Es la versión 5 de los primeros usuarios. Entonces, cuando liberemos completamente |
| la versión de producción de JMP 16 a principios del próximo año, probablemente se verá un poco diferente de lo que estás viendo ahora. |
| Muy bien, continuemos y repasemos algunos de esos pasos de curación de datos nuevamente. No repasaré todo el flujo de trabajo porque sería redundante. Hagamos solo algunos de ellos. |
| Repasaré algunas de las cosas para las que solíamos necesitar a Víctor. En JMP 16 no necesitaremos el Asistente de script de limpieza de datos. Simplemente hacemos nuestro apuntar y hacer clic como de costumbre. |
| Entonces, humedad, cambiaremos de carácter a numérico y de nominal a continuo y haremos clic en Aceptar. Así es como se ve en el registro estructurado. Tiene |
| capturó ese JSL. Muy bien, volvamos a la tabla de datos. Vamos a cambiar el tipo de modelado de número de lote y número de pieza y proceso de continuo a nominal. |
| Eso esta terminado. Eso también quedó plasmado en el registro. Vamos a eliminar la columna de instalación, que tiene un solo valor, haga clic derecho en Eliminar columnas. Eso ya no existe. |
| PSI. |
| Bien, esas fueron todas las herramientas... todas las cosas que hicimos en Victor en JMP 15. Aquí en JMP 16, todos ellos dejan atrás el script JMP que podemos copiar y reutilizar aquí. Hermoso. |
| Está bien. Sólo un paso más que te mostraré. Demostremos que el subconjunto al vacío está desactivado. Mucho, mucho más sencillo aquí en JMP 16. Todo lo que tenemos que hacer es |
| seleccione todas las aspiradoras apagadas; Ni siquiera necesito usar el menú de filas, puedo simplemente hacer clic derecho en una de esas opciones y seleccionar celdas coincidentes, eso selecciona las 313 filas donde el vacío está desactivado. Y luego, como de costumbre, para realizar el subconjunto, seleccione subconjunto solo de las filas seleccionadas, subconjunto de tabla |
| y vamos a crear una nueva tabla llamada vacío que solo tiene nuestras filas seleccionadas y mantendrá todas las columnas. Aquí vamos. |
| Eso es todo. Acabamos de realizar todos esos pasos de curación de datos. Así es como se ve en el registro estructurado. |
| Y ahora, para hacer de este un script de curación de datos reutilizable y reproducible, todo lo que tenemos que hacer es acercarnos al triángulo rojo y guardar el script en una ventana de script. Voy a guardar esto en mis datos... en mi escritorio como un script de curación v16. |
| Y aquí está. Aquí está el guión completo. Así que cerremos todos los datos en JMP 16 y mostremos cómo es volver a ejecutar ese script. |
| Aquí estoy de nuevo en la ventana de inicio de JMP 16. Aquí está mi guión de curación. Notarás que la primera línea es el comando de apertura, por lo que ni siquiera necesito abrir la tabla de datos. Va a suceder en línea aquí mismo. |
| Todo lo que necesito hacer es que, cuando lleguen nuevos datos y este archivo se haya actualizado, todo lo que necesito hacer para seguir los pasos de curación de datos es ejecutar el script. |
| Y ahí está. Todos los pasos de curación y el subconjunto hasta las 313 filas. Se trata de utilizar el registro mejorado en JMP 16 para capturar todo su trabajo de curación de datos y convertirlo en un script reproducible. |
| Muy bien, aquí está la hoja de trucos de JMP 15 para recordarte una vez más, esto es lo que necesitas saber para extraer el código reutilizable cuando estés en JMP 15 en este momento, y no tendrás que preocuparte por esto. mucho una vez que lancemos JMP 16 |
| a principios de 2021. |
| Para concluir, Mia le mostró cómo lograr la curación de datos en JMP. Es un proceso exploratorio e iterativo en el que se identifican problemas y se solucionan apuntando y haciendo clic. |
| Cuando sus datos se actualizan periódicamente con nuevos datos, necesita automatizar ese flujo de trabajo para ahorrar tiempo. |
| Y también para documentar tu proceso y dejarte un rastro de migas de pan cuando vuelvas más tarde y mires lo que hiciste. |
| El proceso de automatización consiste en traducir sus actividades de apuntar y hacer clic en un script JSL reutilizable. |
| Discutimos cómo en JMP 15 usará una combinación de herramientas integradas y herramientas del Asistente de secuencia de comandos de limpieza de datos para lograr estos fines. |
| Y también le brindamos un adelanto de JMP 16 y cómo puede usar el registro mejorado para capturar pasivamente y automáticamente sus actividades de curación de datos de apuntar y hacer clic y dejar un hermoso archivo reutilizable. |
| guión de curación de datos reproducible. |
| Está bien. Esa es nuestra presentación, muchas gracias por tu tiempo. |
![:\](https://jmp.vanillacommunities.com/resources/emoji/confused.png ":\"){kind=small}