¿Por qué querría unir conjuntos de datos por fecha y hora?
Uno de los desafíos comunes en la preparación de datos que enfrentan los científicos e ingenieros es hacer coincidir diferentes conjuntos de datos por fechas, horas o fechas (también conocidas como marcas de tiempo) (Figura 1).
Figura 1. Ejemplo de datos de fecha, hora y fecha y hora.
Los científicos e ingenieros a menudo obtienen sus métricas de una variedad de diferentes sistemas / equipos de medición. Para analizar sus datos, necesitan combinar todas las métricas en una sola tabla para poder ver las relaciones en todas las métricas.
Cuando tiene una columna de identificador único o un conjunto de columnas (por ejemplo, Batch_ID, Lot_ID, UPC, número de serie, etc.), la unión es relativamente simple y se puede lograr usando la función Tablas> Unir en JMP o la función de unión virtual en JMP.
Es más desafiante cuando necesita alinear fechas, horas o fechas entre conjuntos de datos. A menudo, la tarea involucra sensores que rastrean métricas continuamente a lo largo del tiempo (por ejemplo, temperatura, presión, pH, glucosa). Para comprender cómo estas métricas pueden afectar los puntos finales de los productos (a veces denominados "atributos de calidad críticos"), será necesario crear resúmenes * de esas métricas durante los períodos de tiempo adecuados. Luego, los resúmenes se unen con los puntos finales del producto correspondientes.
Trabajemos en un estudio de caso que muestre cómo lograr este tipo de unión.
Caso de estudio
Mire el video o lea sobre el estudio de caso debajo del video.
El proceso que estamos tratando de comprender y mejorar genera un producto terminado llamado "Forever Young Elixir". El atributo de calidad crítico es la potencia.
Un producto se fabrica en dos pasos. Primero, las materias primas entran en una máquina que aplica presión a las materias primas. Luego, las materias primas ensambladas pasan a un segundo paso del proceso donde se aplica temperatura para crear el producto final.
Ambos pasos del proceso se pueden controlar, pero hoy en día existe una gran cantidad de variación que creemos que está afectando la potencia del atributo de calidad crítica del producto terminado. Estamos interesados en comprender cómo la presión y la temperatura afectan la potencia de este producto para que, en última instancia, podamos identificar un rango operativo aceptable para cada uno de los pasos del proceso. Hay sensores de temperatura y presión que monitorean el proceso de forma continua.
Nos centraremos en la temperatura en este ejemplo porque el proceso para trabajar con los datos de presión es análogo.
Tenemos una tabla de datos que tiene cada lote, la marca de tiempo (fecha y hora) para cuando se terminó el lote y su potencia (Figura 2).
Figura 2. Los datos de potencia recopilados para cada lote terminado junto con la marca de tiempo para la finalización del lote. También tenemos datos de un sensor de temperatura. Las temperaturas se registran a intervalos de un minuto (Figura 3).
Figura 3. Los datos de potencia recopilados para cada lote terminado junto con la marca de tiempo para la finalización del lote.
En última instancia, para correlacionar la potencia con la temperatura, necesitamos una tabla con la potencia de cada lote y la temperatura promedio * durante el período en que se fabricó el producto.
Figura 4. Tabla de análisis final con datos de temperatura combinados con datos de potencia. * Se podrían considerar otras estadísticas resumidas, o también se podría explorar el uso de la plataforma Functional Data Explorer, que usa todos los datos para comprender un proceso en lugar de resumir en un solo valor.
Antes de que podamos ingresar al software, debemos decidir qué puntos de tiempo en el paso de temperatura están asociados apropiadamente con un lote en particular. En otras palabras, ¿cuándo se procesó el lote en el paso de temperatura?
Al discutir con otros ingenieros, determinamos que 5 minutos es el tiempo que se procesa un lote en el paso de temperatura. Por lo tanto, los datos de temperatura para el período de 5 minutos antes de la marca de tiempo de finalización del lote deben usarse para correlacionar con la potencia de un lote.
Ahora tenemos la información necesaria para iniciar el proceso de preparación de datos.
Nota: Este ejemplo comienza con las fechas y horas ya codificadas correctamente con el tipo de datos y el tipo de modelado correctos. Este es un paso muy importante si desea que las uniones funcionen correctamente. Vaya al apéndice de esta publicación de blog si necesita un repaso sobre el uso de fechas, horas y fechas.
Demostración en video
¡Únase a la unión! Descargue los dos conjuntos de datos adjuntos a continuación y sígalos. Si aún no tiene JMP, puede descargar una prueba de 30 días .
Revisión de pasos
- Decida qué rango de lecturas de datos del sensor es relevante para el producto.
- ¿Cómo afecta mi proceso a las métricas del punto final?
- Para cada proceso, ¿cuál es el intervalo de tiempo de las lecturas del sensor que es relevante para el producto final?
- Para cada proceso, ¿cuál es el rango de tiempo de las lecturas del sensor que quiero correlacionar con el producto final?
- Cree una columna en el conjunto de datos con las métricas de punto final que definen el primero marca de tiempo para cada registro que sea relevante.
- Para ello, utilice una columna de fórmula con la marca de tiempo del producto terminado (u otras marcas de tiempo de referencia si no está disponible).
- Es posible que también deba definir la última marca de tiempo relevante.
- Una la tabla con la (s) métrica (s) del punto final a los datos del sensor usando Tablas> JMP Query Builder.
- Los criterios de unión deben editarse para incluir dos condiciones: una que compara la marca de tiempo del sensor con la marca de tiempo de la tabla del producto terminado y otra que compara la marca de tiempo del sensor con la primera marca de tiempo calculada en el segundo paso.
- Resuma (es decir, promedio) la métrica del sensor en la tabla combinada usando Tablas> Resumen.
- Seleccione la (s) métrica (s) del sensor y luego la Estadística deseada.
- Agrupar por todas las demás columnas.
- Utilice Graph Builder o Fit Y by X para observar la relación entre Potencia y Temperatura promedio.
- ¿Dónde está la potencia más alta?
- ¿Qué puede decirle esto acerca de dónde establecer el rango de funcionamiento para la temperatura?
- Considere el uso de técnicas de modelado para que pueda incorporar también todas las demás entradas del proceso.
Por favor comente en esta publicación de blog y avíseme si la siguió. Quiero saber si las instrucciones le parecieron claras y, de no ser así, qué puedo aclarar.Además, ¿qué situaciones tiene que no se abordan aquí?
Apéndice
Revisión de fechas, horas y horarios
Hagamos una revisión rápida de este tipo de datos porque es importante obtener el tipo de datos y el tipo de modelado correctos en todas las tablas de datos si desea que los datos se unan correctamente. El software analítico almacena fechas, horas y fechas en segundos a partir de una fecha de referencia. JMP almacena fechas, horas y fecha y hora como el número de segundos desde el 1/1/1904. Hay otra gran publicación de blog en Uso de fechas, horas, fechas y duraciones si quieres profundizar en este tema.
Si desea utilizar este tipo de datos (para graficar, restar fechas, unirse a través de fechas), debe asegurarse de que las fechas / horas / fecha y hora tengan el formato Tipo de datos = Numérico y Tipo de modelado = Continuo. Cuando importe los datos, asegúrese de hacerlo. Para tipos especiales de formatos de fecha y hora, es posible que deba aplicar un formato de importación personalizado para que JMP sepa que es una fecha y hora.
Una vez que formatee los datos como numérico y continuo, verá que los datos se representan en segundos. Puede parecerle extraño, pero es correcto.
La aplicación de un formato es lo que hace que los datos parezcan comprensibles para usted y los demás. Puede elegir entre los formatos de fecha, hora y duración en la información de la columna (haga clic con el botón derecho en el encabezado de la columna> información de la columna> formato). Las fechas y horas (marcas de tiempo) se encuentran en el menú Hora (Figura 5).
Figura 5. Opciones de formato para fechas, horas y duraciones de una columna.
Aparte
Si desea unir dos tablas de datos mediante fechas y horas, asegúrese de tener el nivel de detalle necesario para hacerlo en las columnas de fecha y hora de ambas tablas. El nivel de detalle está determinado por los datos de origen. El formato no cambia la granularidad de los datos como lo reconoce JMP; simplemente cambia la granularidad visible para nosotros en la celda.
Consideremos dos escenarios:
- Si sus datos solo tienen granularidad en el nivel de fecha (sin hora), la aplicación de un formato de marca de tiempo (por ejemplo, m / d / yh: m: s) mostrará el m / d / y luego 12:00:00 AM para la hora para todos los registros. No hay detalles de tiempo en sus valores de origen, por lo que no puede comparar los tiempos dentro del mismo día.
- Si sus datos tienen detalles en el nivel de fecha y hora, la aplicación de un formato de fecha (por ejemplo, solo m / d / y) mostrará m / d / y en cada celda; sin embargo, se mantendrá la granularidad subyacente (Figura 4).
Figura 6. Columnas de marca de tiempo con diferentes formatos pero la misma granularidad.
Compare las dos columnas (Marca de tiempo y Fecha) en la Figura 7. Se aplica el mismo formato a ambos. Sin embargo, Timestamp tiene una granularidad que Date no tiene, y puede ver eso en los gráficos de encabezado en la tabla de datos.
Figura 7. La marca de tiempo y la fecha tienen el mismo formato pero diferentes niveles de granularidad.
