Perché vuoi unire i set di dati per data e ora?
Una delle sfide più comuni per la preparazione dei dati che scienziati e ingegneri devono affrontare è la corrispondenza di diversi set di dati in base a date, orari o datetime (noti anche come timestamp) (Figura 1).
Figura 1. Esempio di data, ora e dati datetime.
Scienziati e ingegneri spesso ottengono le loro metriche da una varietà di diversi sistemi di misurazione / apparecchiature. Per analizzare i propri dati, devono combinare tutte le metriche in un'unica tabella in modo da poter esaminare le relazioni tra tutte le metriche.
Quando si dispone di una colonna identificativa univoca o di un insieme di colonne (ad es. Batch_ID, Lot_ID, UPC, numero di serie, ecc.), l'unione è relativamente semplice e può essere eseguita utilizzando la funzione Tabelle > Unisci in JMP o il funzione di unione virtuale in JMP.
È più difficile quando è necessario allineare date, ore o datetime tra i set di dati. Spesso l'attività coinvolge sensori che tengono traccia delle metriche in modo continuo nel tempo (ad esempio, temperatura, pressione, pH, glucosio). Per capire in che modo queste metriche possono influire sugli endpoint del prodotto (a volte indicati come "attributi di qualità critici"), sarà necessario creare riepiloghi* di tali metriche in periodi di tempo appropriati. I riepiloghi vengono quindi uniti agli endpoint del prodotto corrispondenti.
Analizziamo un caso di studio che mostra come realizzare questo tipo di unione.
Argomento di studio
Guarda il video o leggi il case study sotto il video.
Il processo che stiamo cercando di comprendere e migliorare rende un prodotto finito chiamato "Forever Young Elixir". L'attributo di qualità critico è Potenza.
Un prodotto viene realizzato in due fasi. In primo luogo, le materie prime entrano in una macchina che esercita una pressione sulle materie prime. Quindi, le materie prime assemblate passano a una seconda fase del processo in cui viene applicata la temperatura per creare il prodotto finale.
Entrambe le fasi del processo possono essere controllate, ma oggi c'è una discreta quantità di variazione che riteniamo stia influenzando la potenza dell'attributo critico di qualità del prodotto finito. Siamo interessati a capire come la pressione e la temperatura influenzino la potenza di questo prodotto in modo che, in definitiva, possiamo identificare un intervallo operativo accettabile per ciascuna delle fasi del processo. Esistono sensori di temperatura e pressione che monitorano continuamente il processo.
Ci concentreremo sulla temperatura in questo esempio perché il processo per lavorare con i dati di pressione è analogo.
Abbiamo una tabella di dati che ha ogni lotto, il timestamp (datetime) per quando il batch è stato finito e la sua potenza (Figura 2).
Figura 2. Dati sulla potenza raccolti per ogni batch finito insieme al timestamp per il completamento del batch. Abbiamo anche dati da un sensore di temperatura. Le temperature vengono registrate a intervalli di un minuto (Figura 3).
Figura 3. Dati sulla potenza raccolti per ogni batch finito insieme al timestamp per il completamento del batch.
In definitiva, per correlare la potenza con la temperatura, abbiamo bisogno di una tabella con la potenza di ciascun lotto e la temperatura media* durante il periodo in cui è stato realizzato il prodotto.
Figura 4. Tabella di analisi finale con dati di temperatura combinati con dati di potenza. *Potrebbero essere considerate altre statistiche di riepilogo, oppure si potrebbe anche esplorare utilizzando la piattaforma Functional Data Explorer che utilizza tutti i dati per comprendere un processo invece di riassumerli in un singolo valore.
Prima di entrare nel software, dobbiamo decidere quali punti temporali nella fase di temperatura sono associati in modo appropriato a un particolare batch. In altre parole, quando è stato elaborato il lotto nella fase di temperatura?
Discutendo con altri ingegneri, determiniamo che 5 minuti è il tempo di elaborazione di un batch nella fase di temperatura. Pertanto, i dati sulla temperatura per il periodo 5 minuti prima della data e ora di fine del lotto devono essere utilizzati per correlare con la potenza di un lotto.
Ora abbiamo le informazioni necessarie per avviare il processo di preparazione dei dati.
Nota: Questo esempio inizia con le datetime già correttamente codificate con il tipo di dati e il tipo di modellazione corretti. Questo è un passaggio molto importante se vuoi che i join funzionino correttamente. Si prega di passare all'appendice per questo post del blog se è necessario un aggiornamento sull'utilizzo di date, orari e datetime.
Dimostrazione video
Partecipa all'adesione! Scarica i due set di dati allegati di seguito e segui. Se non hai già JMP, puoi scarica una versione di prova di 30 giorni .
Revisione dei passaggi
- Decidere quale intervallo di letture dei dati del sensore è rilevante per il prodotto.
- In che modo il mio processo influisce sulle metriche dell'end point?
- Per ogni processo, qual è l'intervallo di tempo delle letture del sensore rilevante per il prodotto finale?
- Per ogni processo, qual è l'intervallo di tempo delle letture del sensore che voglio correlare al prodotto finale?
- Crea una colonna nel set di dati con le metriche del punto finale che definisce il primo timestamp per ogni record rilevante.
- A tale scopo, utilizzare una colonna formula che utilizza il timestamp del prodotto finito (o altri timestamp di riferimento se non disponibili).
- Potrebbe essere necessario definire anche l'ultimo timestamp rilevante.
- Unisci la tabella con le metriche del punto finale ai dati del sensore utilizzando Tabelle > Generatore di query JMP.
- I criteri di unione devono essere modificati per includere due condizioni: una che confronta il timestamp del sensore con il timestamp della tabella del prodotto finito e uno che confronta il timestamp del sensore con il primo timestamp calcolato nel secondo passaggio.
- Riepiloga (ovvero, media) la metrica del sensore nella tabella unita utilizzando Tabelle > Riepilogo.
- Selezionare le metriche del sensore e poi la statistica desiderata.
- Raggruppa per tutte le altre colonne.
- Usa Graph Builder o Fit Y by X per esaminare la relazione tra potenza e temperatura media.
- Dov'è la potenza più alta?
- Cosa può dirti questo su dove impostare l'intervallo operativo per la temperatura?
- Prendere in considerazione l'utilizzo di tecniche di modellazione in modo da poter incorporare anche tutti gli altri input di processo.
Per favore commenta questo post sul blog e fammi sapere se hai seguito. Voglio sapere se hai trovato chiare le istruzioni e, in caso contrario, cosa posso chiarire.Inoltre, quali situazioni hai che non vengono affrontate qui?
Appendice
Revisione di date, orari e datetime
Esaminiamo rapidamente questo tipo di dati perché è importante ottenere il tipo di dati e il tipo di modellazione corretti in tutte le tabelle di dati se si desidera che i dati vengano uniti correttamente. Il software analitico memorizza date, ore e datetime in secondi da una data di riferimento. JMP memorizza date, ore e datetime come numero di secondi dal 1/1/1904. C'è un altro fantastico post sul blog su Utilizzo di date, orari, date e durate se vuoi approfondire questo argomento.
Se si desidera utilizzare questo tipo di dati (per rappresentare graficamente, sottrarre date, unire tramite date), è necessario assicurarsi che le date/ora/dataora siano formattate come Tipo di dati = Numerico e Tipo di modellazione = Continuo. Quando importi i dati, assicurati di farlo. Per tipi speciali di formati di data e ora, potrebbe essere necessario applicare a formato di importazione personalizzato per far sapere a JMP che si tratta di una data/ora.
Una volta formattati i dati come Numerico e Continuo, vedrai che i dati sono rappresentati in secondi. Può sembrare strano per te, ma è corretto.
L'applicazione di un formato è ciò che rende i dati comprensibili a te stesso e agli altri. Puoi scegliere tra i formati Data, Ora e Durata in Informazioni sulla colonna (fai clic con il pulsante destro del mouse sull'intestazione della colonna > Informazioni sulla colonna > Formato). Datetimes (timestamp) si trovano nel menu Time (Figura 5).
Figura 5. Opzioni di formato per date, orari e durate per una colonna.
A parte
Se vuoi unire due tabelle di dati tramite datetime, assicurati di avere il livello di dettaglio necessario per farlo nelle colonne datetime in entrambe le tabelle. Il livello di dettaglio è determinato dai dati di origine. Il formato non modifica la granularità dei dati in quanto riconosciuto da JMP; cambia semplicemente la granularità visibile a noi nella cella.
Consideriamo due scenari:
- Se i tuoi dati hanno solo granularità a livello di data (nessuna ora), applicando un formato di timestamp (es. m/g/aa:m:s) mostrerà il m/g/a e poi 00:00:00 per l'ora per tutti i record. Non ci sono dettagli sull'ora nei valori di origine, quindi non puoi confrontare gli orari nello stesso giorno.
- Se i tuoi dati hanno dettagli a livello di data e ora, l'applicazione di un formato di data (ad es. solo m/g/a) mostrerà m/g/a in ogni cella; tuttavia, la granularità sottostante rimarrà (Figura 4).
Figura 6. Colonne timestamp con formati diversi ma con la stessa granularità.
Contrastare le due colonne (Timestamp e Data) nella Figura 7. Lo stesso formato viene applicato a entrambi. Tuttavia, Timestamp ha una granularità che Date non ha e puoi vederlo nei grafici delle intestazioni nella tabella dei dati.
Figura 7. Timestamp e Data hanno lo stesso formato ma diversi livelli di granularità.
