Warum sollten Sie Datensätze nach Datum und Uhrzeit verknüpfen wollen?
Eine der häufigsten Herausforderungen bei der Datenaufbereitung für Wissenschaftler und Ingenieure besteht darin, verschiedene Datensätze anhand von Datum, Uhrzeit oder Datums-/Zeitangabe (auch als Zeitstempel bezeichnet) abzugleichen (Abbildung 1).
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Abbildung 1. Beispiel für Datums-, Uhrzeit- und Datetime-Daten.
Wissenschaftler und Ingenieure beziehen ihre Messwerte häufig aus einer Vielzahl unterschiedlicher Messsysteme/Geräte. Um ihre Daten zu analysieren, müssen sie alle Metriken in einer einzigen Tabelle kombinieren, damit sie die Beziehungen zwischen allen Metriken betrachten können.
Wenn Sie über eine eindeutige Identifikatorspalte oder einen Satz von Spalten verfügen (z. B. Chargen-ID, Chargen-ID, UPC, Seriennummer usw.), ist die Verknüpfung relativ einfach und kann mit der Funktion „Tabellen > Verknüpfen“ in JMP oder dem durchgeführt werden virtuelle Join-Funktion im JMP.
Eine größere Herausforderung stellt es dar, wenn Sie Daten, Uhrzeiten oder Datumsangaben zwischen Datensätzen abgleichen müssen. Bei der Aufgabe handelt es sich häufig um Sensoren, die Messwerte kontinuierlich über die Zeit verfolgen (z. B. Temperatur, Druck, pH-Wert, Glukose). Um zu verstehen, wie sich diese Metriken auf Produktendpunkte auswirken können (manchmal auch als „kritische Qualitätsattribute“ bezeichnet), müssen Zusammenfassungen* dieser Metriken über geeignete Zeiträume erstellt werden. Die Zusammenfassungen werden dann mit den entsprechenden Produktendpunkten verknüpft.
Lassen Sie uns eine Fallstudie durcharbeiten, die zeigt, wie diese Art der Verbindung erreicht werden kann.
Fallstudie
Sehen Sie sich das Video an oder lesen Sie die Fallstudie unterhalb des Videos.
Der Prozess, den wir zu verstehen und zu verbessern versuchen, führt zu einem fertigen Produkt namens „Forever Young Elixir“. Das entscheidende Qualitätsmerkmal ist die Wirksamkeit.
Die Herstellung eines Produkts erfolgt in zwei Schritten. Zunächst gelangen die Rohstoffe in eine Maschine, die Druck auf die Rohstoffe ausübt. Anschließend werden die zusammengesetzten Rohstoffe einem zweiten Prozessschritt zugeführt, in dem Temperatur angewendet wird, um das Endprodukt zu erzeugen.
Beide Prozessschritte können kontrolliert werden, aber heute gibt es eine ganze Reihe von Abweichungen, von denen wir glauben, dass sie sich auf die Wirksamkeit der kritischen Qualitätsmerkmale des Endprodukts auswirken. Wir sind daran interessiert zu verstehen, wie sich Druck und Temperatur auf die Wirksamkeit dieses Produkts auswirken, damit wir letztendlich einen akzeptablen Betriebsbereich für jeden Prozessschritt ermitteln können. Es gibt Temperatur- und Drucksensoren, die den Prozess kontinuierlich überwachen.
In diesem Beispiel konzentrieren wir uns auf die Temperatur, da der Prozess für die Arbeit mit den Druckdaten analog ist.
Wir haben eine Datentabelle, die jede Charge, den Zeitstempel (Datum/Uhrzeit) für das Ende der Charge und ihre Wirksamkeit enthält (Abbildung 2).
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figur 2. Für jede fertige Charge werden Wirksamkeitsdaten zusammen mit dem Zeitstempel für den Chargenabschluss erfasst. Wir haben auch Daten von einem Temperatursensor. Die Temperaturen werden in Abständen von einer Minute aufgezeichnet (Abbildung 3).
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figur 3. Für jede fertige Charge werden Wirksamkeitsdaten zusammen mit dem Zeitstempel für den Chargenabschluss erfasst.
Um die Wirksamkeit mit der Temperatur in Beziehung zu setzen, benötigen wir letztendlich eine Tabelle mit der Wirksamkeit jeder Charge und der durchschnittlichen* Temperatur während des Zeitraums, in dem das Produkt hergestellt wurde.
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figur 4. Abschließende Analysetabelle mit Temperaturdaten kombiniert mit Potenzdaten. *Andere zusammenfassende Statistiken könnten in Betracht gezogen werden, oder man könnte auch die Verwendung der Functional Data Explorer-Plattform ausprobieren, die alle Daten verwendet, um einen Prozess zu verstehen, anstatt sie zu einem einzigen Wert zusammenzufassen.
Bevor wir mit der Software beginnen können, müssen wir entscheiden, welche Zeitpunkte im Temperaturschritt einer bestimmten Charge angemessen zugeordnet sind. Mit anderen Worten: Wann wurde die Charge im Temperaturschritt verarbeitet?
In Gesprächen mit anderen Ingenieuren haben wir festgestellt, dass 5 Minuten die Zeitspanne sind, die eine Charge im Temperaturschritt verarbeitet. Daher sollten die Temperaturdaten für den Zeitraum 5 Minuten vor dem Endzeitstempel der Charge verwendet werden, um die Wirksamkeit einer Charge zu korrelieren.
Jetzt verfügen wir über die notwendigen Informationen, um mit der Datenaufbereitung zu beginnen.
Notiz: Dieses Beispiel beginnt mit den Datums- und Uhrzeitangaben, die bereits ordnungsgemäß mit dem richtigen Datentyp und Modellierungstyp codiert sind. Dies ist ein sehr wichtiger Schritt, wenn Sie möchten, dass die Verknüpfungen ordnungsgemäß funktionieren. Bitte springen Sie zum Anhang dieses Blogbeitrags, wenn Sie eine Auffrischung über die Verwendung von Datums-, Uhrzeit- und Datumsangaben benötigen.
Videodemonstration
Machen Sie mit beim Beitritt! Laden Sie die beiden unten angehängten Datensätze herunter und folgen Sie den Anweisungen. Wenn Sie JMP noch nicht haben, können Sie dies tun Laden Sie eine 30-Tage-Testversion herunter .
Überprüfung der Schritte
- Entscheiden Sie, welcher Bereich der Sensordatenwerte für das Produkt relevant ist.
- Wie wirkt sich mein Prozess auf die Endpunktmetriken aus?
- Welcher Zeitbereich der Sensormesswerte ist für jeden Prozess für das Endprodukt relevant?
- Wie groß ist der Zeitbereich der Sensormesswerte für jeden Prozess, den ich mit dem Endprodukt korrelieren möchte?
- Erstellen Sie im Datensatz eine Spalte mit den Endpunktmetriken, die definieren Erste Zeitstempel für jeden relevanten Datensatz.
- Verwenden Sie dazu eine Formelspalte mit dem Zeitstempel des fertigen Produkts (oder anderen Referenzzeitstempeln, falls dieser nicht verfügbar ist).
- Möglicherweise müssen Sie auch den letzten relevanten Zeitstempel definieren.
- Verknüpfen Sie die Tabelle mit den Endpunktmetriken mit den Sensordaten über Tabellen > JMP Query Builder.
- Die Verknüpfungskriterien müssen so bearbeitet werden, dass sie zwei Bedingungen enthalten: eine, die den Zeitstempel des Sensors mit dem Zeitstempel der Tabelle des fertigen Produkts vergleicht, und eine, die den Zeitstempel des Sensors mit dem ersten Zeitstempel vergleicht, der im zweiten Schritt berechnet wurde.
- Fassen Sie die Sensormetrik in der verbundenen Tabelle mithilfe von Tabellen > Zusammenfassung zusammen (d. h. mitteln Sie sie).
- Wählen Sie die Sensormetrik(en) und dann die gewünschte Statistik aus.
- Gruppieren Sie nach allen anderen Spalten.
- Verwenden Sie Graph Builder oder Fit Y by X, um die Beziehung zwischen Potenz und Durchschnittstemperatur zu betrachten.
- Wo ist die Potenz am höchsten?
- Was sagt Ihnen das darüber, wo der Betriebsbereich für die Temperatur eingestellt werden muss?
- Erwägen Sie den Einsatz von Modellierungstechniken, damit Sie auch alle anderen Prozesseingaben einbeziehen können.
Bitte kommentieren Sie diesen Blogbeitrag und lassen Sie mich wissen, ob Sie ihm gefolgt sind. Ich möchte wissen, ob Sie die Anweisungen klar fanden und wenn nicht, was ich klarstellen kann.Und welche Situationen gibt es bei Ihnen, die hier nicht behandelt werden?
Anhang
Überprüfung von Daten, Zeiten und Datumszeiten
Lassen Sie uns einen kurzen Überblick über diese Art von Daten geben, da es wichtig ist, dass der Datentyp und der Modellierungstyp in allen Datentabellen korrekt sind, wenn die Daten korrekt verknüpft werden sollen. Analysesoftware speichert Daten, Uhrzeiten und Datumsangaben in Sekunden ab einem Referenzdatum. JMP speichert Daten, Uhrzeiten und Datumsangaben als Anzahl der Sekunden ab dem 1.1.1904. Es gibt einen weiteren tollen Blog-Beitrag Verwenden von Datumsangaben, Uhrzeiten, Datumsangaben und Dauern wenn Sie tiefer in dieses Thema einsteigen möchten.
Wenn Sie diese Art von Daten verwenden möchten (zur grafischen Darstellung, zum Subtrahieren von Daten, zum Verbinden über Daten), müssen Sie sicherstellen, dass die Daten/Uhrzeiten/Datumsangaben als Datentyp = Numerisch und Modellierungstyp = Kontinuierlich formatiert sind. Stellen Sie beim Importieren der Daten sicher, dass Sie dies tun. Für spezielle Arten von Datums-/Uhrzeitformaten müssen Sie möglicherweise ein anwenden benutzerdefiniertes Importformat um JMP wissen zu lassen, dass es sich um ein Datum/Uhrzeit handelt.
Sobald Sie die Daten als „Numerisch“ und „Kontinuierlich“ formatiert haben, werden Sie sehen, dass die Daten in Sekunden dargestellt werden. Für Sie sieht es vielleicht seltsam aus, aber es ist richtig.
Durch die Anwendung eines Formats werden die Daten für Sie und andere verständlich. Sie können in den Spalteninformationen zwischen Datums-, Uhrzeit- und Dauerformaten wählen (klicken Sie mit der rechten Maustaste auf die Spaltenüberschrift > Spalteninformationen > Format). Datumsangaben (Zeitstempel) finden Sie im Menü „Zeit“ (Abbildung 5).
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Abbildung 5. Formatoptionen für Datum, Uhrzeit und Dauer einer Spalte.
Beiseite
Wenn Sie zwei Datentabellen über Datums- und Uhrzeitangaben miteinander verbinden möchten, stellen Sie sicher, dass die Datums- und Uhrzeitspalten beider Tabellen über den dafür erforderlichen Detaillierungsgrad verfügen. Der Detaillierungsgrad wird durch die Quelldaten bestimmt. Das Format ändert nichts an der Granularität der Daten, wie sie von JMP erkannt wird; es verändert lediglich die für uns sichtbare Granularität in der Zelle.
Betrachten wir zwei Szenarien:
- Wenn Ihre Daten nur eine Granularität auf Datumsebene (keine Uhrzeit) aufweisen, zeigt die Anwendung eines Zeitstempelformats (z. B. m/d/yh:m:s) das m/d/y und dann 00:00:00 Uhr als Uhrzeit an für alle Datensätze. Da Ihre Quellwerte keine Zeitdetails enthalten, können Sie keine Zeiten innerhalb desselben Tages vergleichen.
- Wenn Ihre Daten Details auf Datum/Uhrzeit-Ebene enthalten, wird bei Anwendung eines Datumsformats (z. B. nur m/d/y) m/d/y in jeder Zelle angezeigt; Die zugrunde liegende Granularität bleibt jedoch bestehen (Abbildung 4).
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Abbildung 6. Zeitstempelspalten mit unterschiedlichen Formaten, aber derselben Granularität.
Vergleichen Sie die beiden Spalten (Zeitstempel und Datum) in Abbildung 7. Auf beide wird das gleiche Format angewendet. Allerdings verfügt Timestamp über eine Granularität, die Date nicht hat, und Sie können dies in den Kopfdiagrammen in der Datentabelle sehen.
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Abbildung 7. Zeitstempel und Datum haben das gleiche Format, jedoch unterschiedliche Granularitätsebenen.
