Perché vorresti unire i set di dati in base alla data e all'ora?
Una delle sfide comuni per la preparazione dei dati che scienziati e ingegneri devono affrontare è l'abbinamento di diversi set di dati per data, ora o data/ora (indicati anche come timestamp) (Figura 1).
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figura 1. Esempio di data, ora e dati datetime.
Scienziati e ingegneri ottengono spesso le loro metriche da una varietà di diversi sistemi di misurazione/apparecchiature. Per analizzare i propri dati, devono combinare tutte le metriche in un'unica tabella in modo da poter esaminare le relazioni tra tutte le metriche.
Quando si dispone di una colonna o di un insieme di colonne identificatore univoco (ad es. Batch_ID, Lot_ID, UPC, numero di serie e così via), l'unione è relativamente semplice e può essere eseguita utilizzando la funzione Tabelle > Unisci in JMP o il funzione di unione virtuale in JMP.
È più impegnativo quando è necessario allineare date, orari o data/ora tra set di dati. Spesso l'attività coinvolge sensori che tracciano continuamente le metriche nel tempo (ad esempio, temperatura, pressione, pH, glucosio). Per comprendere in che modo queste metriche possono influire sugli endpoint del prodotto (a volte indicati come "attributi critici di qualità"), sarà necessario creare riepiloghi* di tali metriche in periodi di tempo appropriati. I riepiloghi vengono quindi uniti agli endpoint di prodotto corrispondenti.
Esaminiamo un caso di studio che mostra come realizzare questo tipo di unione.
Argomento di studio
Guarda il video o leggi il case study sotto il video.
Il processo che stiamo cercando di capire e migliorare rende un prodotto finito chiamato "Forever Young Elixir". L'attributo critico di qualità è la potenza.
Un prodotto viene realizzato in due fasi. Innanzitutto, le materie prime entrano in una macchina che applica pressione alle materie prime. Quindi, le materie prime assemblate passano a una seconda fase del processo in cui viene applicata la temperatura per creare il prodotto finale.
Entrambe le fasi del processo possono essere controllate, ma oggi c'è una discreta quantità di variazione che riteniamo stia influenzando la potenza dell'attributo di qualità critica del prodotto finito. Siamo interessati a capire in che modo la pressione e la temperatura influiscono sulla potenza di questo prodotto in modo che, in ultima analisi, possiamo identificare un intervallo operativo accettabile per ciascuna delle fasi del processo. Sono presenti sensori di temperatura e pressione che monitorano continuamente il processo.
Ci concentreremo sulla temperatura in questo esempio perché il processo per lavorare con i dati di pressione è analogo.
Abbiamo una tabella di dati che contiene ogni lotto, il timestamp (datetime) di quando il batch è stato terminato e la sua potenza (Figura 2).
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figura 2. Dati sulla potenza raccolti per ogni lotto finito insieme al timestamp per il completamento del lotto. Abbiamo anche i dati di un sensore di temperatura. Le temperature sono registrate a intervalli di un minuto (Figura 3).
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figura 3. Dati sulla potenza raccolti per ogni lotto finito insieme al timestamp per il completamento del lotto.
In definitiva, per correlare la potenza con la temperatura, abbiamo bisogno di una tabella con la potenza di ciascun lotto e la temperatura media* durante il periodo in cui il prodotto è stato realizzato.
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figura 4. Tabella di analisi finale con dati di temperatura combinati con dati di potenza. *Potrebbero essere prese in considerazione altre statistiche di riepilogo o si potrebbe anche esplorare utilizzando la piattaforma Functional Data Explorer che utilizza tutti i dati per comprendere un processo invece di riassumere in un singolo valore.
Prima di poter accedere al software, dobbiamo decidere quali punti temporali nella fase di temperatura sono associati in modo appropriato a un particolare lotto. In altre parole, quando è stato elaborato il lotto nella fase di temperatura?
Discutendo con altri ingegneri, determiniamo che 5 minuti è il periodo di tempo in cui un lotto viene elaborato nella fase di temperatura. Pertanto, i dati di temperatura per il periodo 5 minuti prima del timestamp finale del batch devono essere utilizzati per correlarli con la potenza di un batch.
Ora abbiamo le informazioni necessarie per avviare il processo di preparazione dei dati.
Nota: Questo esempio inizia con i datetimes già correttamente codificati con il tipo di dati e il tipo di modellazione corretti. Questo è un passo molto importante se vuoi che i join funzionino correttamente. Passa all'appendice per questo post del blog se hai bisogno di un ripasso sull'utilizzo di date, orari e data/ora.
Dimostrazione video
Partecipa all'adesione! Scarica i due set di dati allegati di seguito e segui. Se non hai già JMP, puoi farlo scarica una versione di prova di 30 giorni .
Revisione dei passaggi
- Decidi quale intervallo di letture dei dati del sensore è rilevante per il prodotto.
- In che modo il mio processo influisce sulle metriche del punto finale?
- Per ogni processo, qual è l'intervallo di tempo delle letture del sensore rilevante per il prodotto finale?
- Per ogni processo, qual è l'intervallo di tempo delle letture del sensore che voglio correlare al prodotto finale?
- Crea una colonna nel set di dati con le metriche del punto finale che definiscono il Primo timestamp per ogni record rilevante.
- A tale scopo, utilizza una colonna formula utilizzando il timestamp del prodotto finito (o altri timestamp di riferimento se non è disponibile).
- Potrebbe essere necessario definire anche l'ultimo timestamp rilevante.
- Unire la tabella con le metriche del punto finale ai dati del sensore utilizzando Tabelle > JMP Query Builder.
- I criteri di unione devono essere modificati per includere due condizioni: una confrontando il timestamp del sensore con il timestamp della tabella del prodotto finito e una confrontando il timestamp del sensore con il primo timestamp calcolato nella seconda fase.
- Riepiloga (vale a dire, media) la metrica del sensore nella tabella unita utilizzando Tabelle > Riepilogo.
- Selezionare le metriche del sensore e quindi la statistica desiderata.
- Raggruppa per tutte le altre colonne.
- Usa Graph Builder o Fit Y by X per esaminare la relazione tra potenza e temperatura media.
- Dov'è la potenza più alta?
- Cosa può dirti questo su dove impostare l'intervallo operativo per la temperatura?
- Prendi in considerazione l'utilizzo di tecniche di modellazione in modo da poter incorporare anche tutti gli altri input di processo.
Per favore commenta questo post sul blog e fammi sapere se hai seguito. Voglio sapere se hai trovato le istruzioni chiare e, in caso contrario, cosa posso chiarire.Inoltre, quali situazioni hai che non vengono affrontate qui?
Appendice
Revisione di date, orari e datetime
Esaminiamo rapidamente questo tipo di dati perché è importante che il tipo di dati e il tipo di modellazione siano corretti in tutte le tabelle di dati se si desidera che i dati vengano uniti correttamente. Il software analitico memorizza date, orari e data/ora in secondi a partire da una data di riferimento. JMP memorizza date, ore e data/ora come numero di secondi dal 1/1/1904. C'è un altro fantastico post sul blog Utilizzo di date, orari, datetime e durate se vuoi approfondire l'argomento.
Se si desidera utilizzare questo tipo di dati (per rappresentare graficamente, sottrarre date, unire tramite date), è necessario assicurarsi che date/ore/datetime siano formattate come Tipo di dati = Numerico e Tipo di modellazione = Continuo. Quando importi i dati, assicurati di farlo. Per tipi speciali di formati di data e ora, potrebbe essere necessario applicare a formato di importazione personalizzato per far sapere a JMP che si tratta di una data/ora.
Dopo aver formattato i dati come Numerico e Continuo, vedrai che i dati sono rappresentati in secondi. Ti sembrerà strano, ma è corretto.
L'applicazione di un formato è ciò che rende i dati comprensibili a te stesso e agli altri. È possibile scegliere tra i formati Data, Ora e Durata in Informazioni colonna (fare clic con il pulsante destro del mouse sull'intestazione della colonna > Informazioni colonna > Formato). Datetimes (timestamp) sono nel menu Time (Figura 5).
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figura 5. Opzioni di formato per date, orari e durate per una colonna.
A parte
Se vuoi unire due tabelle di dati tramite datetimes, assicurati di avere il livello di dettaglio necessario per farlo nelle colonne datetime in entrambe le tabelle. Il livello di dettaglio è determinato dai dati di origine. Il formato non modifica la granularità dei dati poiché è riconosciuto da JMP; cambia semplicemente la granularità visibile a noi nella cella.
Consideriamo due scenari:
- Se i tuoi dati hanno solo granularità a livello di data (nessun orario), l'applicazione di un formato timestamp (ad es. m/g/aa:m:s) mostrerà m/g/a e quindi 12:00:00 AM per l'ora per tutti i record. Non ci sono dettagli sull'ora nei tuoi valori di origine, quindi non puoi confrontare gli orari all'interno dello stesso giorno.
- Se i tuoi dati hanno dettagli a livello di data e ora, l'applicazione di un formato di data (ad es. solo m/g/a) mostrerà m/g/a in ogni cella; tuttavia, la granularità sottostante rimarrà (Figura 4).
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figura 6. Colonne timestamp con formati diversi ma con la stessa granularità.
Confronta le due colonne (timestamp e data) nella figura 7. Lo stesso formato viene applicato a entrambi. Tuttavia, Timestamp ha una granularità che Date non ha e puoi vederlo nei grafici di intestazione nella tabella dei dati.
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figura 7. Timestamp e Date hanno lo stesso formato ma diversi livelli di granularità.
