¿Por qué querría unir conjuntos de datos por fecha y hora?
Uno de los desafíos comunes de preparación de datos que enfrentan los científicos e ingenieros es hacer coincidir diferentes conjuntos de datos por fechas, horas o fechas y horas (también conocidas como marcas de tiempo) (Figura 1).
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figura 1. Ejemplo de datos de fecha, hora y fechahora.
Los científicos e ingenieros a menudo obtienen sus métricas de una variedad de diferentes sistemas de medición/equipos. Para analizar sus datos, necesitan combinar todas las métricas en una sola tabla para que puedan ver las relaciones entre todas las métricas.
Cuando tiene una columna de identificador único o un conjunto de columnas (p. ej., Batch_ID, Lot_ID, UPC, número de serie, etc.), la combinación es relativamente simple y se puede lograr usando la función Tablas > Unir en JMP o la función de unión virtual en JMP.
Es más desafiante cuando necesita alinear fechas, horas o fechas y horas entre conjuntos de datos. A menudo, la tarea involucra sensores que rastrean métricas continuamente a lo largo del tiempo (por ejemplo, temperatura, presión, pH, glucosa). Para comprender cómo estas métricas pueden afectar los puntos finales del producto (a veces denominados "atributos de calidad críticos"), será necesario crear resúmenes* de esas métricas durante los períodos de tiempo apropiados. A continuación, los resúmenes se unen con los criterios de valoración del producto correspondientes.
Analicemos un caso de estudio que muestre cómo lograr este tipo de unión.
Caso de estudio
Mire el video o lea sobre el estudio de caso debajo del video.
El proceso que estamos tratando de entender y mejorar hace un producto terminado llamado "Forever Young Elixir". El atributo de calidad crítico es la potencia.
Un producto se está haciendo en dos pasos. Primero, las materias primas van a una máquina que aplica presión a las materias primas. Luego, las materias primas ensambladas pasan a un segundo paso del proceso donde se aplica temperatura para crear el producto final.
Ambos pasos del proceso se pueden controlar, pero hoy en día hay una gran cantidad de variación que creemos que está afectando la potencia del atributo de calidad crítico del producto terminado. Estamos interesados en comprender cómo la presión y la temperatura afectan la potencia de este producto para que, en última instancia, podamos identificar un rango operativo aceptable para cada uno de los pasos del proceso. Hay sensores de temperatura y presión que monitorean el proceso continuamente.
Nos centraremos en la temperatura en este ejemplo porque el proceso para trabajar con los datos de presión es análogo.
Tenemos una tabla de datos que tiene cada lote, la marca de tiempo (fecha y hora) de cuándo se terminó el lote y su potencia (Figura 2).
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figura 2. Datos de potencia recopilados para cada lote terminado junto con la marca de tiempo para la finalización del lote. También tenemos datos de un sensor de temperatura. Las temperaturas se registran a intervalos de un minuto (Figura 3).
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figura 3. Datos de potencia recopilados para cada lote terminado junto con la marca de tiempo para la finalización del lote.
En última instancia, para correlacionar la potencia con la temperatura, necesitamos una tabla con la potencia de cada lote y la temperatura promedio* durante el período en que se fabricó el producto.
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figura 4. Tabla de análisis final con datos de temperatura combinados con datos de potencia. *Se podrían considerar otras estadísticas de resumen, o también se podría explorar el uso de la plataforma Functional Data Explorer, que utiliza todos los datos para comprender un proceso en lugar de resumir en un solo valor.
Antes de que podamos ingresar al software, debemos decidir qué puntos de tiempo en el paso de temperatura se asocian adecuadamente con un lote en particular. En otras palabras, ¿cuándo se procesó el lote en el paso de temperatura?
Al discutir con otros ingenieros, determinamos que 5 minutos es el tiempo que se procesa un lote en el paso de temperatura. Por lo tanto, los datos de temperatura para el período de 5 minutos antes de la marca de tiempo de finalización del lote deben usarse para correlacionar con la potencia de un lote.
Ahora tenemos la información necesaria para iniciar el proceso de preparación de datos.
Nota: Este ejemplo comienza con las fechas y horas ya codificadas correctamente con el tipo de datos y el tipo de modelado correctos. Este es un paso muy importante si desea que las uniones funcionen correctamente. Vaya al apéndice de esta publicación de blog si necesita un repaso sobre el uso de fechas, horas y fechas y horas.
Demostración en vídeo
¡Únete a la unión! Descargue los dos conjuntos de datos adjuntos a continuación y sígalos. Si aún no tiene JMP, puede descargar una versión de prueba de 30 días .
Revisión de pasos
- Decida qué rango de lecturas de datos del sensor es relevante para el producto.
- ¿Cómo afecta mi proceso a las métricas de punto final?
- Para cada proceso, ¿cuál es el rango de tiempo de las lecturas del sensor que es relevante para el producto final?
- Para cada proceso, ¿cuál es el rango de tiempo de las lecturas del sensor que deseo correlacionar con el producto final?
- Cree una columna en el conjunto de datos con la(s) métrica(s) de punto final que define el primero marca de tiempo para cada registro que sea relevante.
- Haga esto usando una columna de fórmula usando la marca de tiempo del producto terminado (u otras marcas de tiempo de referencia si no están disponibles).
- Es posible que también deba definir la última marca de tiempo relevante.
- Una la tabla con las métricas de punto final a los datos del sensor mediante Tablas > Generador de consultas JMP.
- Los criterios de combinación deben editarse para incluir dos condiciones: una que compara la marca de tiempo del sensor con la marca de tiempo de la tabla de productos terminados y otra que compara la marca de tiempo del sensor con la primera marca de tiempo calculada en el segundo paso.
- Resuma (es decir, promedie) la métrica del sensor en la tabla unida usando Tablas > Resumen.
- Seleccione la(s) métrica(s) del sensor y luego la Estadística deseada.
- Agrupar por todas las demás columnas.
- Use Graph Builder o Fit Y by X para observar la relación entre la potencia y la temperatura promedio.
- ¿Dónde está la potencia más alta?
- ¿Qué puede decirle esto acerca de dónde establecer el rango de operación para la temperatura?
- Considere el uso de técnicas de modelado para que pueda incorporar también todas las demás entradas del proceso.
Por favor, comente en esta publicación de blog y avíseme si la siguió. Quiero saber si las instrucciones le parecieron claras y, si no, qué puedo aclarar.Además, ¿qué situaciones tiene que no se están abordando aquí?
Apéndice
Revisión de Fechas, Horas y Fechahoras
Hagamos una revisión rápida de este tipo de datos porque es importante obtener el tipo de datos y el tipo de modelado correctos en todas las tablas de datos si desea que los datos se unan correctamente. El software analítico almacena fechas, horas y fechas y horas en segundos a partir de una fecha de referencia. JMP almacena fechas, horas y fechas y horas como el número de segundos desde el 1/1/1904. Hay otra gran entrada de blog en Uso de fechas, horas, fechas y horas y duraciones si quieres profundizar en este tema.
Si desea utilizar este tipo de datos (para graficar, restar fechas, unir mediante fechas), debe asegurarse de que las fechas/horas/fechahoras tengan el formato Tipo de datos = Numérico y Tipo de modelado = Continuo. Cuando importe los datos, asegúrese de hacerlo. Para tipos especiales de formatos de fecha y hora, es posible que deba aplicar un formato de importación personalizado para que JMP sepa que es una fecha y hora.
Una vez que formatee los datos como numéricos y continuos, verá que los datos se representan en segundos. Puede parecerte extraño, pero es correcto.
Aplicar un formato es lo que hace que los datos parezcan comprensibles para usted y para los demás. Puede elegir entre los formatos de fecha, hora y duración en Información de la columna (haga clic con el botón derecho en el encabezado de la columna > Información de la columna > Formato). Las fechas y horas (marcas de tiempo) se encuentran en el menú Hora (Figura 5).
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figura 5. Opciones de formato para fechas, horas y duraciones para una columna.
Aparte
Si desea unir dos tablas de datos a través de fechas y horas, asegúrese de tener el nivel de detalle necesario para hacerlo en las columnas de fecha y hora en ambas tablas. El nivel de detalle está determinado por los datos de origen. El formato no cambia la granularidad de los datos tal como lo reconoce JMP; simplemente cambia la granularidad visible para nosotros en la celda.
Consideremos dos escenarios:
- Si sus datos solo tienen granularidad en el nivel de fecha (sin hora), al aplicar un formato de marca de tiempo (por ejemplo, m/d/yh:m:s) se mostrará m/d/y y luego 12:00:00 AM para la hora. para todos los registros. No hay detalles de tiempo en sus valores de origen, por lo que no puede comparar tiempos dentro del mismo día.
- Si sus datos tienen detalles a nivel de fecha y hora, al aplicar un formato de fecha (por ejemplo, solo m/d/y) se mostrará m/d/y en cada celda; sin embargo, la granularidad subyacente permanecerá (Figura 4).
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figura 6. Columnas de marcas de tiempo con diferentes formatos pero con la misma granularidad.
Compare las dos columnas (marca de tiempo y fecha) en la figura 7. Se aplica el mismo formato a ambos. Sin embargo, Timestamp tiene una granularidad que Date no tiene, y puede verlo en los gráficos de encabezado en la tabla de datos.
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figura 7. La marca de tiempo y la fecha tienen el mismo formato pero diferentes niveles de granularidad.
