Pourquoi voudriez-vous joindre des ensembles de données par datetime ?
L'un des défis courants de la préparation des données auxquels les scientifiques et les ingénieurs sont confrontés consiste à faire correspondre différents ensembles de données par dates, heures ou dates/heures (également appelés horodatages) (Figure 1).
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Exemple de données de dates, d'heures et de dates-heures.
Les scientifiques et les ingénieurs obtiennent souvent leurs métriques à partir d'une variété de systèmes de mesure / pièces d'équipement différents. Pour analyser leurs données, ils doivent combiner toutes les métriques dans un seul tableau afin de pouvoir examiner les relations entre toutes les métriques.
Lorsque vous disposez d'une colonne ou d'un ensemble de colonnes d'identifiant unique (par exemple, Batch_ID, Lot_ID, UPC, numéro de série, etc.), la jointure est relativement simple et peut être effectuée à l'aide de la fonction Tables > Join de JMP ou de la fonction de jointure virtuelle dans JMP.
C'est plus difficile lorsque vous devez aligner des dates, des heures ou des dates-heures entre des ensembles de données. Souvent, la tâche implique des capteurs qui suivent les métriques en continu dans le temps (par exemple, température, pression, pH, glucose). Pour comprendre comment ces métriques peuvent avoir un impact sur les points finaux du produit (parfois appelés « attributs de qualité critiques »), il sera nécessaire de créer des résumés* de ces métriques sur des périodes appropriées. Les résumés sont ensuite joints aux paramètres de produit correspondants.
Passons en revue une étude de cas montrant comment réaliser ce type d'assemblage.
Étude de cas
Regardez la vidéo ou lisez l'étude de cas sous la vidéo.
Le processus que nous essayons de comprendre et d'améliorer donne un produit fini appelé "Forever Young Elixir". L'attribut de qualité critique est la puissance.
Un produit est fabriqué en deux étapes. Tout d'abord, les matières premières entrent dans une machine qui applique une pression sur les matières premières. Ensuite, les matières premières assemblées passent à une deuxième étape du processus où la température est appliquée pour créer le produit final.
Les deux étapes du processus peuvent être contrôlées, mais aujourd'hui, il existe une bonne quantité de variation qui, selon nous, a un impact sur la puissance de l'attribut de qualité critique du produit fini. Nous souhaitons comprendre l'impact de la pression et de la température sur la puissance de ce produit afin de pouvoir, en fin de compte, identifier une plage de fonctionnement acceptable pour chacune des étapes du processus. Des capteurs de température et de pression surveillent le processus en continu.
Nous nous concentrerons sur la température dans cet exemple car le processus de travail avec les données de pression est analogue.
Nous avons une table de données qui contient chaque lot, l'horodatage (date et heure) de la fin du lot et sa puissance (Figure 2).
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Données de puissance collectées pour chaque lot fini ainsi que l'horodatage pour l'achèvement du lot. Nous avons également des données d'un capteur de température. Les températures sont enregistrées à des intervalles d'une minute (figure 3).
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Données de puissance collectées pour chaque lot fini ainsi que l'horodatage pour l'achèvement du lot.
En fin de compte, pour corréler la puissance avec la température, nous avons besoin d'un tableau avec la puissance de chaque lot et la température moyenne* pendant la période de fabrication du produit.
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Tableau d'analyse final avec des données de température combinées avec des données de puissance. * D'autres statistiques récapitulatives pourraient être envisagées, ou on pourrait également explorer l'utilisation de la plate-forme Functional Data Explorer qui utilise toutes les données pour comprendre un processus au lieu de se résumer à une seule valeur.
Avant de pouvoir entrer dans le logiciel, nous devons décider quels moments de l'étape de température sont associés de manière appropriée à un lot particulier. En d'autres termes, quand le lot a-t-il été traité à l'étape de température ?
En discutant avec d'autres ingénieurs, nous déterminons que 5 minutes est la durée pendant laquelle un lot est traité dans l'étape de température. Par conséquent, les données de température pour la période de 5 minutes avant l'horodatage de fin du lot doivent être utilisées pour établir une corrélation avec la puissance d'un lot.
Nous avons maintenant les informations nécessaires pour démarrer le processus de préparation des données.
Note: Cet exemple commence avec les dates-heures déjà correctement codées avec le type de données et le type de modélisation corrects. C'est une étape très importante si vous voulez que les jointures fonctionnent correctement. Veuillez passer à l'annexe de cet article de blog si vous avez besoin d'un rappel sur l'utilisation des dates, des heures et des datetimes.
Démonstration vidéo
Participez à l'adhésion ! Téléchargez les deux ensembles de données ci-joints et suivez-les. Si vous n'avez pas encore JMP, vous pouvez télécharger un essai de 30 jours .
Examen des étapes
- Décidez quelle plage de lectures de données de capteur est pertinente pour le produit.
- Quel est l'impact de mon processus sur les métriques du point final ?
- Pour chaque processus, quelle est la plage de temps des lectures de capteur qui est pertinente pour le produit final ?
- Pour chaque processus, quelle est la plage de temps des relevés de capteur que je souhaite mettre en corrélation avec le produit final ?
- Créez une colonne dans l'ensemble de données avec la ou les métriques de point final qui définissent d'abord horodatage pour chaque enregistrement pertinent.
- Pour ce faire, utilisez une colonne de formules utilisant l'horodatage du produit fini (ou d'autres horodatages de référence s'ils ne sont pas disponibles).
- Vous devrez peut-être également définir le dernier horodatage pertinent.
- Joignez le tableau avec la ou les métriques de point final aux données du capteur à l'aide de Tableaux > Générateur de requêtes JMP.
- Les critères de jointure doivent être modifiés pour inclure deux conditions : une comparant l'horodatage du capteur à l'horodatage de la table de produits finis, et une comparant l'horodatage du capteur au premier horodatage calculé à la deuxième étape.
- Résumez (c'est-à-dire faites la moyenne) de la métrique du capteur dans le tableau joint à l'aide de Tableaux > Résumé.
- Sélectionnez la ou les mesures du capteur, puis la statistique souhaitée.
- Grouper par toutes les autres colonnes.
- Utilisez Graph Builder ou Fit Y by X pour examiner la relation entre la puissance et la température moyenne.
- Où est la puissance la plus élevée ?
- Qu'est-ce que cela peut vous dire sur l'endroit où définir la plage de fonctionnement pour la température ?
- Envisagez d'utiliser des techniques de modélisation afin de pouvoir également intégrer toutes les autres entrées de processus.
Veuillez commenter cet article de blog et faites-moi savoir si vous avez suivi. Je veux savoir si vous avez trouvé les instructions claires et si non - ce que je peux clarifier.De plus, quelles situations avez-vous qui ne sont pas abordées ici ?
annexe
Examen des dates, des heures et des dates et heures
Passons rapidement en revue ce type de données, car il est important que le type de données et le type de modélisation soient corrects dans toutes les tables de données si vous souhaitez que les données soient jointes correctement. Le logiciel d'analyse stocke les dates, les heures et les dates et heures en secondes à partir d'une date de référence. JMP stocke les dates, les heures et les datetimes en nombre de secondes à partir du 01/01/1904. Il y a un autre excellent article de blog sur Utilisation des dates, des heures, des dates et des durées si vous voulez approfondir ce sujet.
Si vous souhaitez utiliser ce type de données (pour représenter graphiquement, soustraire des dates, joindre via des dates), vous devez vous assurer que les dates/heures/dateheures sont formatées en tant que Type de données = Numérique et Type de modélisation = Continu. Lorsque vous importez les données, assurez-vous de le faire. Pour les types spéciaux de formats de date et d'heure, vous devrez peut-être appliquer un format d'importation personnalisé pour faire savoir à JMP qu'il s'agit d'une date/heure.
Une fois que vous avez formaté les données en numérique et en continu, vous verrez que les données sont représentées en secondes. Cela peut vous sembler étrange, mais c'est correct.
L'application d'un format est ce qui rend les données compréhensibles pour vous et les autres. Vous pouvez choisir parmi les formats de date, d'heure et de durée dans les informations de colonne (clic droit sur l'en-tête de colonne > informations de colonne > format). Les dates/heures (horodatages) se trouvent dans le menu Heure (Figure 5).
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Options de format pour les dates, les heures et les durées d'une colonne.
De côté
Si vous souhaitez joindre deux tables de données ensemble via datetimes, assurez-vous d'avoir le niveau de détail nécessaire pour le faire dans les colonnes datetime des deux tables. Le niveau de détail est déterminé par les données sources. Le format ne modifie pas la granularité des données telles qu'elles sont reconnues par JMP ; cela change simplement la granularité qui nous est visible dans la cellule.
Considérons deux scénarios :
- Si vos données n'ont une granularité qu'au niveau de la date (pas d'heure), l'application d'un format d'horodatage (par exemple m/d/yh:m:s) affichera m/d/y puis 12:00:00 AM pour l'heure pour tous les enregistrements. Il n'y a pas de détails horaires dans vos valeurs source, vous ne pouvez donc pas comparer les heures au cours d'une même journée.
- Si vos données contiennent des détails au niveau de la date et de l'heure, l'application d'un format de date (par exemple, juste m/j/a) affichera m/j/a dans chaque cellule ; cependant, la granularité sous-jacente restera (Figure 4).
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Colonnes d'horodatage avec différents formats mais la même granularité.
Comparez les deux colonnes (horodatage et date) dans la figure 7. Le même format est appliqué aux deux. Cependant, Horodatage a une granularité que Date n'a pas, et vous pouvez le voir dans les graphiques d'en-tête de la table de données.
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. L'horodatage et la date ont le même format mais des niveaux de granularité différents.
