Warum möchten Sie Datensätze nach Datum und Uhrzeit zusammenführen?
Eine der häufigsten Herausforderungen bei der Datenaufbereitung, mit der Wissenschaftler und Ingenieure konfrontiert sind, besteht darin, verschiedene Datensätze nach Datum, Uhrzeit oder Datumszeit (auch als Zeitstempel bezeichnet) abzugleichen (Abbildung 1).
Abbildung 1. Beispiel für Datum, Uhrzeit und Datum/Uhrzeit-Daten.
Wissenschaftler und Ingenieure beziehen ihre Metriken oft von einer Vielzahl unterschiedlicher Messsysteme / Geräte. Um ihre Daten zu analysieren, müssen sie alle Metriken in einer einzigen Tabelle kombinieren, damit sie die Beziehungen zwischen allen Metriken betrachten können.
Wenn Sie eine eindeutige Kennungsspalte oder einen Spaltensatz haben (z. B. Batch_ID, Lot_ID, UPC, Seriennummer usw.), ist das Verbinden relativ einfach und kann mit der Funktion Tabellen > Verbinden in JMP oder der virtuelle Join-Funktion im JMP.
Es ist schwieriger, wenn Sie Datums-, Zeit- oder Datumsangaben zwischen Datensätzen abgleichen müssen. Häufig handelt es sich bei der Aufgabe um Sensoren, die Metriken im Laufe der Zeit kontinuierlich verfolgen (z. B. Temperatur, Druck, pH, Glukose). Um zu verstehen, wie sich diese Metriken auf Produktendpunkte auswirken können (manchmal als „kritische Qualitätsattribute“ bezeichnet), müssen Zusammenfassungen* dieser Metriken über geeignete Zeiträume erstellt werden. Die Zusammenfassungen werden dann mit den entsprechenden Produktendpunkten verknüpft.
Lassen Sie uns eine Fallstudie durcharbeiten, die zeigt, wie diese Art der Verbindung erreicht wird.
Fallstudie
Sehen Sie sich das Video an oder lesen Sie die Fallstudie unter dem Video.
Der Prozess, den wir zu verstehen und zu verbessern versuchen, ergibt ein fertiges Produkt namens „Forever Young Elixir“. Das kritische Qualitätsmerkmal ist die Potenz.
Ein Produkt wird in zwei Schritten hergestellt. Zuerst kommen die Rohstoffe in eine Maschine, die Druck auf die Rohstoffe ausübt. Dann gelangen die zusammengebauten Rohstoffe zu einem zweiten Prozessschritt, in dem Temperatur angewendet wird, um das Endprodukt zu erzeugen.
Beide Prozessschritte können kontrolliert werden, aber heute gibt es eine beträchtliche Menge an Variationen, von denen wir glauben, dass sie die kritische Potenz des Qualitätsmerkmals des Endprodukts beeinflussen. Wir sind daran interessiert zu verstehen, wie sich Druck und Temperatur auf die Wirksamkeit dieses Produkts auswirken, damit wir letztendlich einen akzeptablen Betriebsbereich für jeden der Prozessschritte identifizieren können. Es gibt Temperatur- und Drucksensoren, die den Prozess kontinuierlich überwachen.
Wir konzentrieren uns in diesem Beispiel auf die Temperatur, da der Prozess zum Arbeiten mit den Druckdaten analog ist.
Wir haben eine Datentabelle mit jeder Charge, dem Zeitstempel (datetime) für das Ende der Charge und ihrer Wirksamkeit (Abbildung 2).
Figur 2. Für jede fertige Charge gesammelte Potenzdaten zusammen mit dem Zeitstempel für die Fertigstellung der Charge. Wir haben auch Daten von einem Temperatursensor. Die Temperaturen werden in Intervallen von einer Minute aufgezeichnet (Abbildung 3).
Figur 3. Für jede fertige Charge gesammelte Potenzdaten zusammen mit dem Zeitstempel für die Fertigstellung der Charge.
Um die Potenz mit der Temperatur zu korrelieren, benötigen wir letztendlich eine Tabelle mit der Potenz jeder Charge und der durchschnittlichen* Temperatur während des Herstellungszeitraums des Produkts.
Figur 4. Endgültige Analysetabelle mit Temperaturdaten kombiniert mit Potenzdaten. *Andere zusammenfassende Statistiken könnten in Betracht gezogen werden, oder man könnte auch die Functional Data Explorer-Plattform verwenden, die alle Daten verwendet, um einen Prozess zu verstehen, anstatt sie zu einem einzigen Wert zusammenzufassen.
Bevor wir in die Software einsteigen können, müssen wir entscheiden, welche Zeitpunkte im Temperaturschritt einer bestimmten Charge angemessen zugeordnet sind. Mit anderen Worten, wann wurde die Charge im Temperaturschritt verarbeitet?
In Diskussionen mit anderen Ingenieuren stellen wir fest, dass 5 Minuten die Zeit sind, in der eine Charge im Temperaturschritt verarbeitet wird. Daher sollten die Temperaturdaten für den Zeitraum 5 Minuten vor dem Endzeitstempel der Charge verwendet werden, um mit der Potenz einer Charge zu korrelieren.
Jetzt haben wir die notwendigen Informationen, um den Datenaufbereitungsprozess zu starten.
Notiz: Dieses Beispiel beginnt mit den Datumszeiten, die bereits ordnungsgemäß mit dem richtigen Datentyp und Modellierungstyp codiert sind. Dies ist ein sehr wichtiger Schritt, wenn Sie möchten, dass die Verknüpfungen korrekt funktionieren. Bitte springen Sie zum Anhang dieses Blog-Beitrags, wenn Sie eine Auffrischung der Verwendung von Datumsangaben, Uhrzeiten und Datumszeiten benötigen.
Videodemonstration
Machen Sie mit beim Beitritt! Laden Sie die beiden unten angehängten Datensätze herunter und folgen Sie den Anweisungen. Wenn Sie JMP noch nicht haben, können Sie Laden Sie eine 30-Tage-Testversion herunter .
Überprüfung der Schritte
- Entscheiden Sie, welcher Bereich von Sensordatenmesswerten für das Produkt relevant ist.
- Wie wirkt sich mein Prozess auf die Endpunktmetriken aus?
- Welcher Zeitbereich der Sensormesswerte ist für jeden Prozess relevant für das Endprodukt?
- In welchem Zeitbereich möchte ich für jeden Prozess die Sensormesswerte mit dem Endprodukt korrelieren?
- Erstellen Sie eine Spalte im Datensatz mit der/den Endpunktmetrik(en), die den Erste Zeitstempel für jeden relevanten Datensatz.
- Verwenden Sie dazu eine Formelspalte mit dem Zeitstempel des Endprodukts (oder anderen Referenzzeitstempeln, falls diese nicht verfügbar sind).
- Möglicherweise müssen Sie auch den letzten relevanten Zeitstempel definieren.
- Verbinden Sie die Tabelle mit den Endpunktmetriken mit den Sensordaten mithilfe von Tabellen > JMP Query Builder.
- Die Join-Kriterien müssen so bearbeitet werden, dass sie zwei Bedingungen enthalten: eine vergleicht den Sensorzeitstempel mit dem Zeitstempel der Endprodukttabelle und eine vergleicht den Sensorzeitstempel mit dem ersten im zweiten Schritt berechneten Zeitstempel.
- Fassen Sie die Sensormetrik in der verknüpften Tabelle mit Tabellen > Zusammenfassung zusammen (d. h. den Durchschnitt).
- Wählen Sie die Sensormetrik(en) und dann die gewünschte Statistik aus.
- Gruppieren Sie nach allen anderen Spalten.
- Verwenden Sie Graph Builder oder Fit Y by X, um die Beziehung zwischen Potenz und Durchschnittstemperatur zu untersuchen.
- Wo ist die Potenz am höchsten?
- Was können Sie darüber sagen, wo Sie den Betriebsbereich für die Temperatur einstellen müssen?
- Ziehen Sie die Verwendung von Modellierungstechniken in Betracht, damit Sie auch alle anderen Prozesseingaben einbeziehen können.
Bitte kommentieren Sie diesen Blogbeitrag und lassen Sie es mich wissen, wenn Sie mitgezogen haben. Ich möchte wissen, ob Sie die Anweisungen klar fanden und wenn nicht – was ich klären kann.Und welche Situationen haben Sie, die hier nicht angesprochen werden?
Anhang
Überprüfung von Datum, Uhrzeit und Datumszeiten
Lassen Sie uns einen kurzen Überblick über diesen Datentyp geben, da es wichtig ist, den Datentyp und den Modellierungstyp in allen Datentabellen richtig einzustellen, wenn Sie möchten, dass die Daten korrekt verknüpft werden. Analysesoftware speichert Daten, Uhrzeiten und Datumsangaben in Sekunden ab einem Referenzdatum. JMP speichert Datum, Uhrzeit und Datumszeit als Anzahl von Sekunden ab dem 01.01.1904. Es gibt noch einen tollen Blogbeitrag auf Verwenden von Datumsangaben, Uhrzeiten, Datumszeiten und Dauern wenn Sie dieses Thema vertiefen möchten.
Wenn Sie diese Art von Daten verwenden möchten (Grafiken, Daten subtrahieren, über Daten verbinden), müssen Sie sicherstellen, dass die Daten/Zeiten/Datumszeiten als Datentyp = Numerisch und Modellierungstyp = Kontinuierlich formatiert sind. Achten Sie beim Importieren der Daten darauf, dass Sie dies tun. Für spezielle Arten von Datums-/Uhrzeitformaten müssen Sie möglicherweise a benutzerdefiniertes Importformat um JMP mitzuteilen, dass es sich um eine Datumszeit handelt.
Nachdem Sie die Daten als Numerisch und Fortlaufend formatiert haben, sehen Sie, dass die Daten in Sekunden dargestellt werden. Es mag für Sie seltsam aussehen, aber es ist richtig.
Durch die Anwendung eines Formats erscheinen die Daten für Sie und andere verständlich. Sie können in den Spalteninformationen zwischen den Formaten Datum, Uhrzeit und Dauer wählen (Rechtsklick auf Spaltenüberschrift > Spalteninfo > Format). Datumszeiten (Zeitstempel) befinden sich im Menü Zeit (Abbildung 5).
Abbildung 5. Formatoptionen für Datum, Uhrzeit und Dauer für eine Spalte.
Beiseite
Wenn Sie zwei Datentabellen über datetimes miteinander verbinden möchten, stellen Sie sicher, dass Sie in den datetime-Spalten in beiden Tabellen über den erforderlichen Detaillierungsgrad verfügen. Der Detaillierungsgrad wird durch die Quelldaten bestimmt. Das Format ändert nicht die Granularität der Daten, wie sie von JMP erkannt wird; es ändert einfach die für uns in der Zelle sichtbare Granularität.
Betrachten wir zwei Szenarien:
- Wenn Ihre Daten nur eine Granularität auf Datumsebene (keine Uhrzeit) aufweisen, wird bei Anwendung eines Zeitstempelformats (z. B. m/d/yh:m:s) m/d/y und dann 12:00:00 AM für die Uhrzeit angezeigt für alle Aufzeichnungen. Ihre Quellwerte enthalten keine Zeitdetails, daher können Sie keine Zeiten innerhalb desselben Tages vergleichen.
- Wenn Ihre Daten Details auf Datum/Uhrzeit-Ebene aufweisen, wird bei Anwendung eines Datumsformats (zB nur m/d/y) m/d/y in jeder Zelle angezeigt; die zugrunde liegende Granularität bleibt jedoch bestehen (Abbildung 4).
Abbildung 6. Zeitstempelspalten mit unterschiedlichen Formaten, aber derselben Granularität.
Vergleichen Sie die beiden Spalten (Zeitstempel und Datum) in Abbildung 7. Auf beide wird das gleiche Format angewendet. Timestamp hat jedoch eine Granularität, die Date nicht hat, und Sie können dies in den Kopfzeilendiagrammen in der Datentabelle sehen.
Abbildung 7. Zeitstempel und Datum haben das gleiche Format, aber unterschiedliche Granularität.
