Pourquoi voudriez-vous joindre des ensembles de données par datetime ?
L'un des défis courants de la préparation des données auxquels sont confrontés les scientifiques et les ingénieurs consiste à faire correspondre différents ensembles de données par dates, heures ou dates-heures (également appelées horodatages) (Figure 1).
Figure 1. Exemple de données de dates, d'heure et de date/heure.
Les scientifiques et les ingénieurs obtiennent souvent leurs métriques à partir d'une variété de systèmes de mesure / pièces d'équipement différents. Pour analyser leurs données, ils doivent combiner toutes les métriques dans un seul tableau afin de pouvoir examiner les relations entre toutes les métriques.
Lorsque vous disposez d'une colonne d'identifiant unique ou d'un ensemble de colonnes (par exemple, Batch_ID, Lot_ID, UPC, numéro de série, etc.), la jointure est relativement simple et peut être effectuée à l'aide de la fonction Tables > Join dans JMP ou fonction de jointure virtuelle dans JMP.
C'est plus difficile lorsque vous devez aligner des dates, des heures ou des dates-heures entre des ensembles de données. Souvent, la tâche implique des capteurs qui suivent les métriques en continu au fil du temps (par exemple, la température, la pression, le pH, le glucose). Pour comprendre comment ces métriques peuvent avoir un impact sur les points finaux des produits (parfois appelés « attributs de qualité critiques »), il sera nécessaire de créer des résumés* de ces métriques sur des périodes appropriées. Les résumés sont ensuite joints aux points finaux de produit correspondants.
Examinons une étude de cas montrant comment réaliser ce type d'assemblage.
Étude de cas
Regardez la vidéo ou lisez l'étude de cas sous la vidéo.
Le processus que nous essayons de comprendre et d'améliorer donne un produit fini appelé « Forever Young Elixir ». L'attribut de qualité critique est la puissance.
Un produit est fabriqué en deux étapes. Premièrement, les matières premières entrent dans une machine qui applique une pression sur les matières premières. Ensuite, les matières premières assemblées passent à une deuxième étape du processus où la température est appliquée pour créer le produit final.
Les deux étapes du processus peuvent être contrôlées, mais aujourd'hui, il existe une bonne quantité de variation qui, selon nous, a un impact sur la puissance de l'attribut de qualité critique du produit fini. Nous souhaitons comprendre l'impact de la pression et de la température sur la puissance de ce produit afin de pouvoir finalement identifier une plage de fonctionnement acceptable pour chacune des étapes du processus. Il existe des capteurs de température et de pression qui surveillent le processus en continu.
Nous nous concentrerons sur la température dans cet exemple car le processus de travail avec les données de pression est analogue.
Nous avons un tableau de données qui contient chaque lot, l'horodatage (datetime) du moment où le lot a été terminé et sa puissance (Figure 2).
Figure 2. Données de puissance collectées pour chaque lot fini ainsi que l'horodatage de l'achèvement du lot. Nous avons également des données d'un capteur de température. Les températures sont enregistrées à des intervalles d'une minute (Figure 3).
Figure 3. Données de puissance collectées pour chaque lot fini ainsi que l'horodatage de l'achèvement du lot.
En fin de compte, pour corréler la puissance avec la température, nous avons besoin d'un tableau avec la puissance de chaque lot et la température moyenne* pendant la période où le produit a été fabriqué.
Figure 4. Tableau d'analyse finale avec des données de température combinées avec des données de puissance. * D'autres statistiques récapitulatives pourraient être envisagées, ou l'on pourrait également explorer l'utilisation de la plate-forme Functional Data Explorer qui utilise toutes les données pour comprendre un processus au lieu de résumer en une seule valeur.
Avant de pouvoir entrer dans le logiciel, nous devons décider quels moments de l'étape de température sont associés de manière appropriée à un lot particulier. En d'autres termes, quand le lot a-t-il été traité dans l'étape de température ?
En discutant avec d'autres ingénieurs, nous déterminons que 5 minutes est la durée pendant laquelle un lot est traité dans l'étape de température. Par conséquent, les données de température pour la période de 5 minutes avant l'horodatage de fin du lot doivent être utilisées pour établir une corrélation avec la puissance d'un lot.
Nous avons maintenant les informations nécessaires pour démarrer le processus de préparation des données.
Noter: Cet exemple commence avec les datetimes déjà correctement codées avec le type de données et le type de modélisation corrects. C'est une étape très importante si vous voulez que les jointures fonctionnent correctement. Veuillez passer à l'annexe de cet article de blog si vous avez besoin d'un rappel sur l'utilisation des dates, des heures et des dates-heures.
Démonstration vidéo
Participez à l'adhésion ! Téléchargez les deux ensembles de données ci-joints et suivez-les. Si vous n'avez pas encore JMP, vous pouvez télécharger un essai de 30 jours .
Examen des étapes
- Décidez quelle plage de lectures de données de capteur est pertinente pour le produit.
- Quel est l'impact de mon processus sur les métriques du point final ?
- Pour chaque processus, quelle est la plage de temps des lectures du capteur qui est pertinente pour le produit final ?
- Pour chaque processus, quelle est la plage de temps des lectures du capteur que je souhaite mettre en corrélation avec le produit final ?
- Créez une colonne dans l'ensemble de données avec la ou les métriques de point final qui définissent le premier l'horodatage de chaque enregistrement pertinent.
- Pour ce faire, utilisez une colonne de formules utilisant l'horodatage du produit fini (ou d'autres horodatages de référence s'il n'est pas disponible).
- Vous devrez peut-être également définir le dernier horodatage pertinent.
- Joignez la table avec la ou les métriques de point final aux données du capteur à l'aide de Tables > JMP Query Builder.
- Les critères de jointure doivent être modifiés pour inclure deux conditions : l'une comparant l'horodatage du capteur à l'horodatage de la table du produit fini et l'autre comparant l'horodatage du capteur au premier horodatage calculé lors de la deuxième étape.
- Résumez (c'est-à-dire faites la moyenne) de la métrique du capteur dans la table jointe à l'aide de Tables > Résumé.
- Sélectionnez la ou les métriques du capteur, puis la statistique souhaitée.
- Regrouper par toutes les autres colonnes.
- Utilisez Graph Builder ou Fit Y by X pour examiner la relation entre la puissance et la température moyenne.
- Où est la puissance la plus élevée ?
- Qu'est-ce que cela peut vous dire sur l'endroit où régler la plage de fonctionnement pour la température ?
- Envisagez d'utiliser des techniques de modélisation afin de pouvoir également incorporer toutes les autres entrées de processus.
Veuillez commenter cet article de blog et me faire savoir si vous avez suivi. Je veux savoir si vous avez trouvé les instructions claires et sinon – ce que je peux clarifier.De plus, quelles situations avez-vous qui ne sont pas abordées ici ?
annexe
Examen des dates, des heures et des dates-heures
Passons en revue rapidement ce type de données car il est important que le type de données et le type de modélisation soient corrects dans toutes les tables de données si vous souhaitez que les données soient correctement jointes. Le logiciel analytique stocke les dates, les heures et les dates-heures en secondes à partir d'une date de référence. JMP stocke les dates, les heures et les dates-heures en nombre de secondes à partir du 1/1/1904. Il y a un autre excellent article de blog sur Utilisation des dates, des heures, des dates-heures et des durées si vous voulez approfondir ce sujet.
Si vous souhaitez utiliser ce type de données (pour tracer un graphique, soustraire des dates, joindre via des dates), vous devez vous assurer que les dates/heures/dateheures sont au format Type de données = Numérique et Type de modélisation = Continu. Lorsque vous importez les données, assurez-vous de le faire. Pour les types spéciaux de formats de date et d'heure, vous devrez peut-être appliquer un format d'importation personnalisé pour informer JMP qu'il s'agit d'une date/heure.
Une fois que vous avez formaté les données en numérique et en continu, vous verrez que les données sont représentées en secondes. Cela peut vous sembler étrange, mais c'est correct.
L'application d'un format est ce qui rend les données compréhensibles pour vous-même et pour les autres. Vous pouvez choisir parmi les formats de date, d'heure et de durée dans Informations sur la colonne (clic droit sur l'en-tête de la colonne > Informations sur la colonne > Format). Les dates/heures (horodatages) se trouvent dans le menu Heure (Figure 5).
Figure 5. Options de format pour les dates, les heures et les durées d'une colonne.
De côté
Si vous souhaitez joindre deux tables de données via des dates/heures, assurez-vous d'avoir le niveau de détail nécessaire pour le faire dans les colonnes date/heure des deux tables. Le niveau de détail est déterminé par les données sources. Le format ne modifie pas la granularité des données telles qu'elles sont reconnues par JMP ; cela change simplement la granularité visible pour nous dans la cellule.
Considérons deux scénarios :
- Si vos données n'ont de granularité qu'au niveau de la date (pas d'heure), l'application d'un format d'horodatage (par exemple, m/d/yh:m:s) affichera le m/d/y puis 12:00:00 AM pour l'heure pour tous les enregistrements. Il n'y a pas de détails sur l'heure dans vos valeurs source, vous ne pouvez donc pas comparer les heures dans la même journée.
- Si vos données ont des détails au niveau date/heure, l'application d'un format de date (par exemple, juste m/d/y) affichera m/d/y dans chaque cellule ; cependant, la granularité sous-jacente restera (Figure 4).
Figure 6. Colonnes d'horodatage avec des formats différents mais la même granularité.
Comparez les deux colonnes (horodatage et date) de la figure 7. Le même format est appliqué aux deux. Cependant, Timestamp a une granularité que Date n'a pas, et vous pouvez le voir dans les graphiques d'en-tête du tableau de données.
Figure 7. L'horodatage et la date ont le même format mais des niveaux de granularité différents.
