| Conférencier |
Transcription |
| mon pas |
Bienvenue au sommet JMP Discovery. |
| |
Je suis Mia Stephens, chef de produit JMP, et je suis en compagnie de Jordan Hiller, ingénieur système JMP. Aujourd'hui, nous allons parler de l'automatisation du processus de curation des données. |
| |
Nous allons diviser notre exposé en deux parties. Je vais commencer par présenter le flux de travail analytique et la place qu'y occupe la curation des données. |
| |
Je vais maintenant laisser la parole à Jordan pour aborder le cœur du sujet : la nécessité d'une curation des données reproductible. |
| |
Nous allons voir comment procéder dans JMP 15. Ensuite, vous aurez un aperçu des nouvelles fonctionnalités de JMP 16 permettant d'enregistrer les étapes de curation des données et les actions que vous entreprenez pour préparer vos données à l'analyse. |
| |
Penchons-nous donc sur le processus analytique. Voici un exemple courant. Bien sûr, tout commence par la définition du problème métier, c'est-à-dire la compréhension du problème à résoudre. |
| |
Il faut ensuite compiler les données. Bien sûr, on peut compiler des données provenant de différentes sources et les importer dans JMP. Enfin, il est indispensable de pouvoir partager les résultats et communiquer nos conclusions. |
| |
La partie la plus chronophage de ce processus consiste probablement à préparer nos données pour l'analyse, ou à organiser nos données. |
| |
Qu'est-ce que la curation de données exactement ? La curation de données consiste à s'assurer que nos données sont utiles pour alimenter les analyses et les découvertes. En clair, nous voulons pouvoir résoudre un problème avec les données dont nous disposons. |
| |
Il s'agit principalement d'organisation des données, de leur structure et de résolution des problèmes de qualité des données. |
| |
Les problèmes liés aux données se répartissent généralement en quatre catégories : formatage incorrect, données incomplètes, données manquantes, ou encore données mal structurées ou désordonnées. |
| |
Pour aborder ces problématiques et illustrer comment nous les identifions dans nos données, nous allons nous appuyer sur notre cours STIPS. |
| |
Et si vous ne connaissez pas STIPS, il s'agit de notre cours en ligne gratuit, « Pensée statistique pour la résolution de problèmes industriels », structuré en sept modules. |
| |
modules distincts. Le module 2 est entièrement consacré à l'analyse exploratoire des données. |
| |
Du fait de la nature interactive et itérative de l'analyse exploratoire et de la curation des données, la dernière leçon de ce module porte sur la préparation des données en vue de leur analyse. Il s'agit d'identifier les problèmes de qualité de vos données et les mesures à prendre pour les améliorer. |
| |
Parlons donc un peu plus des problèmes courants. Formatage incorrect. Qu'entendons-nous par formatage incorrect ? |
| |
Cela se produit lorsque vos données sont présentées sous une forme ou un format inadapté à l'analyse. Cela peut concerner l'ensemble de votre tableau de données. Par exemple, vos données peuvent être réparties dans des colonnes séparées, alors que pour l'analyse, elles doivent être regroupées dans une seule colonne. |
| |
Cela peut s'appliquer à des variables individuelles. Il se peut que votre type de modélisation ou de données soit incorrect, ou que vos données de date, ou encore vos données d'heure, ne soient pas formatées comme prévu dans JMP. |
| |
Cela peut aussi être cosmétique. Vous pouvez choisir de déplacer les variables de réponse au début du tableau de données, de renommer vos variables, de regrouper les facteurs pour faciliter leur recherche dans le tableau. |
| |
Des données incomplètes signifient un manque de données. Et ce manque peut concerner des variables importantes ; vous risquez donc de ne pas recueillir de données sur des variables qui pourraient vous aider à résoudre votre problème. |
| |
ou sur des combinaisons de variables. Ou encore, cela peut simplement signifier que vous n'avez pas assez d'observations, que votre tableau de données ne contient pas suffisamment de données. |
| |
Les données manquantes correspondent à l'absence de valeurs pour certaines variables. Cela peut prendre diverses formes. |
| |
Enfin, on parle de données « sales » ou « désordonnées » lorsque l'on rencontre des problèmes avec les observations ou les variables. |
| |
Vos données sont donc peut-être incorrectes. Les valeurs sont tout simplement erronées. Il se peut qu'il y ait des incohérences dans la façon dont les gens ont enregistré ou saisi les données dans le système. |
| |
Vos données peuvent être inexactes, votre système de mesure peut être défaillant, il peut y avoir des erreurs ou des fautes de frappe. |
| |
Ces données sont peut-être obsolètes. Il se peut donc que vous ayez recueilli des informations sur une installation ou une machine qui n'est plus en service. |
| |
Ces données sont peut-être obsolètes. Le processus a peut-être tellement changé depuis leur collecte que les données ne sont plus utiles. |
| |
Les données peuvent être censurées ou tronquées. Certaines colonnes peuvent être redondantes, contenant les mêmes informations de base, ou certaines lignes peuvent être dupliquées. Ainsi, des données erronées et désordonnées peuvent prendre de nombreuses formes. |
| |
Comment identifier les problèmes potentiels ? En analysant vos données, vous commencez à repérer les problèmes. Ce processus est itératif : en explorant vos données graphiquement et numériquement, vous commencez à identifier des éléments susceptibles de poser problème. |
| |
ou résoudre. Un bon point de départ consiste donc à parcourir rapidement le tableau de données. Ce faisant, vous pourrez souvent identifier des problèmes évidents. |
| |
Et pour cet exemple, nous allons utiliser des données du cours STIPS intitulé « Composants », et le scénario est celui d'une entreprise qui fabrique de petits composants et qui essaie d'améliorer son rendement. |
| |
Ils ont recueilli des données sur 369 lots de pièces, répartis en 15 colonnes. L'analyse de ces données révèle d'emblée des problèmes assez flagrants. |
| |
Si l'on regarde le haut du tableau de données, ces jolis petits graphiques, on peut voir la forme des distributions. On peut voir les valeurs. |
| |
Par exemple, pour le numéro de lot, on observe un histogramme. Le numéro de lot est plutôt un identifiant, et non une variable continue. Cela peut donc indiquer un codage incorrect des données. |
| |
En observant les données supprimées, on peut constater la forme de la distribution. On remarque également une valeur négative, ce qui semble impossible. |
| |
Nous observons un histogramme pour le processus avec deux valeurs, ce qui peut nous indiquer que nous devons modifier le type de modélisation du processus, en passant de continu à nominal. |
| |
Vous pouvez en voir davantage en consultant le panneau de colonnes. Par exemple, le numéro de lot et le numéro de pièce sont tous deux codés comme continus. Il s'agit probablement de valeurs nominales. |
| |
Et si vous examinez les données elles-mêmes, vous constaterez d'autres problèmes. Par exemple, l'humidité est une variable que l'on considère généralement continue, mais on observe quelques valeurs « N/A ». |
| |
Et comme JMP interprète le texte, la colonne est codée comme nominale ; il s’agit donc d’un problème que vous pourriez vouloir corriger. |
| |
Nous constatons quelques problèmes avec le fournisseur. Il manque des valeurs et il y a des erreurs de frappe. De plus, concernant la température, les points indiquent des valeurs manquantes dans ces lignes. Il serait donc judicieux d'approfondir ce point. |
| |
Ainsi, un simple coup d'œil au tableau de données permet d'identifier de nombreux problèmes, et il est possible d'en identifier encore plus en visualisant les données variable par variable. |
| |
Un excellent point de départ, et j'apprécie beaucoup cet outil, est le visualiseur de colonnes. Ce dernier fournit des résumés numériques pour toutes les variables sélectionnées. |
| |
Par exemple, il me manque ici certaines valeurs. On constate, pour la température, qu'il manque 265 valeurs sur 369. Cela pourrait poser problème si l'on considère la température comme un facteur important. |
| |
On constate également des problèmes potentiels avec les valeurs enregistrées dans le tableau de données. Par exemple, le taux de rebut et le nombre de rebuts présentent tous deux des valeurs négatives. |
| |
Et si cela s'avère physiquement impossible, c'est un point que nous pourrions vouloir examiner dans le système où nous avons collecté les données. |
| |
L'analyse de certaines statistiques calculées révèle d'autres problèmes. Par exemple, les numéros de lot et de pièce devraient être catégoriques. |
| |
Il n'est pas pertinent d'utiliser le numéro de lot moyen ou le numéro de pièce moyen. Cela indique donc qu'il serait préférable de revoir votre type de modélisation et de modifier le tableau de données. |
| |
Les distributions nous renseignent beaucoup sur nos données et les problèmes potentiels. Elles nous permettent d'observer la forme des distributions, leur centrage et leur dispersion. Elles nous permettent également de repérer les erreurs de frappe. |
| |
Le problème ici, c'est qu'il y a quatre ou cinq clients importants et quelques clients plus petits. Si vous comptez utiliser le numéro de client pour l'analyse, il serait judicieux d'utiliser la fonction de recodage pour regrouper certains de ces clients plus petits dans une autre catégorie, par exemple. |
| |
Nous avons un graphique à barres pour l'humidité, car la colonne contient une valeur N/A. Cette valeur n'était peut-être pas visible lors de la consultation du tableau de données, mais elle apparaît clairement ici en observant la distribution. |
| |
Nous pouvons clairement constater les erreurs typographiques concernant le fournisseur. |
| |
Et lorsqu'on examine des variables continues, on peut à nouveau observer leur forme, leur centrage et leur dispersion, mais aussi constater des observations inhabituelles au sein de ces variables. |
| |
Ainsi, après avoir analysé les données variable par variable, la suite logique consiste à explorer les données en assemblant deux variables ou plus. |
| |
Par exemple, si nous examinons le taux de rebut par rapport au nombre de rebuts dans le générateur de graphiques. |
| |
On observe un intérêt pour les motifs. On voit donc ces bandes et il se pourrait que notre tableau de données contienne des informations qui nous aident à expliquer l'origine de ce motif. |
| |
En fait, le classement par taille de lot nous paraît logique. Ainsi, pour les lots de 5 000 pièces, le risque de rebuts est plus élevé que pour les lots de seulement 200 pièces. |
| |
On remarque également quelques observations étranges en bas du graphique. Il s'agit en fait des observations présentant des valeurs négatives pour le nombre de rebuts, et celles-ci ressortent nettement sur ce graphique. |
| |
Et lorsque vous ajoutez un sélecteur de colonnes ou un filtre de données, vous pouvez ajouter une dimension supplémentaire à ces graphiques. Je peux donc examiner la pression, |
| |
par exemple, au lieu de... |
| |
Je peux analyser la pression ou passer en mode de maintien. Ce que je cherche à comprendre, c'est la relation générale entre ces variables et la réponse. |
| |
Et je constate que la pression semble avoir une relation positive avec le taux de rebut. Et si je passe au temps de maintien, je constate qu'il n'y a probablement pas beaucoup de relation entre |
| |
Le temps de maintien et le taux de rebut ou la température ne sont donc peut-être pas des variables aussi pertinentes pour résoudre le problème. |
| |
Mais regardez la vitesse : elle est inversement proportionnelle. J’ai également fait quelques observations inhabituelles au sommet, que je souhaiterais peut-être approfondir. |
| |
Vous pouvez donc apprendre beaucoup de choses sur vos données simplement en les regardant. |
| |
Et bien sûr, il existe des outils plus avancés pour explorer les valeurs aberrantes et les valeurs manquantes, mais ils dépassent largement le cadre de cette discussion. |
| |
Et lorsque vous passerez à la phase d'analyse, lorsque vous commencerez à analyser vos données ou à construire des modèles, vous en apprendrez beaucoup plus sur les problèmes potentiels auxquels vous devrez faire face. |
| |
L'essentiel est que, lorsque vous analysez vos données et identifiez ces problèmes, vous preniez des notes à leur sujet. |
| |
Certains de ces problèmes peuvent être résolus au fur et à mesure. Vous pourrez donc restructurer et nettoyer vos données tout au long du processus. |
| |
Mais il est vraiment important de bien consigner les étapes suivies afin de pouvoir les répéter ultérieurement si vous devez refaire l'analyse ou si vous souhaitez la répéter sur de nouvelles données ou d'autres données. |
| |
Et c'est à ce stade que je vais laisser la parole à Jordan pour qu'il nous parle de la curation de données reproductibles et de ce dont il s'agit. |
| Jordan Hiller |
Merci beaucoup, Mia. C'était super. Nous avons appris comment utiliser JMP pour la curation de données par simple clic. Parlons maintenant de la reproductibilité de ce processus. |
| |
La reproductibilité nous préoccupe car vos ensembles de données sont régulièrement mis à jour. S'il s'agissait d'une opération ponctuelle, la simple manipulation de données ne nous inquiéterait pas outre mesure. Mais lorsque les données sont mises à jour de manière répétée, |
| |
Répéter la curation des données par simple clic à chaque fois est une tâche trop laborieuse. |
| |
Il est donc plus efficace de générer un script qui effectue toutes les étapes de curation de vos données, et vous pouvez exécuter ce script en un seul clic sur un bouton. |
| |
et tout faire d'un coup. Donc, en plus de l'efficacité, |
| |
Ce document retrace votre démarche. Il constitue un compte rendu de vos actions. Vous pouvez donc vous y référer ultérieurement pour vous rafraîchir la mémoire, ou il servira également de référence aux personnes qui prendront le relais et seront responsables de ce processus. |
| |
Pour le reste de cette présentation, mon objectif est de vous montrer comment générer un script de curation de données uniquement par pointer-cliquer. |
| |
Nous espérons que vous n'aurez pas besoin de programmer pour cela. Le code source sera extrait et enregistré automatiquement ; nous vous expliquerons brièvement comment cela fonctionne. |
| |
Il y a donc deux sections distinctes. La première concerne les possibilités offertes dès maintenant par JMP 15 pour obtenir un script de curation de données, et la seconde, les fonctionnalités qui seront disponibles une fois JMP 16 lancé l'année prochaine. |
| |
Dans JMP 15, certaines tâches de curation de données génèrent leur propre code de script JSL réutilisable. |
| |
Il suffit de pointer et de cliquer, puis il existe une technique pour récupérer le code. Je vais vous le démontrer. Des outils comme recode, |
| |
Générer une nouvelle colonne de formule avec le calcul, restructurer les tableaux de données : ces outils se trouvent dans le menu Tableaux. On y trouve les fonctions Empiler, Fractionner, Joindre, Concaténer et Mettre à jour. |
| |
Dans JMP 15, ils génèrent leur propre script après que vous les ayez exécutés par pointer-cliquer. |
| |
Il existe d'autres tâches courantes qui ne génèrent pas leur propre script JSL et, afin de faciliter leur réalisation et de les rendre reproductibles, |
| |
Et cela facilite les tâches suivantes, principalement liées aux colonnes : modification des types de données des colonnes, des types de modélisation, modification du format d’affichage… |
| |
renommer, réorganiser et supprimer des colonnes de votre tableau de données, ainsi que définir des propriétés de colonne telles que les limites de spécification ou les étiquettes de valeur. |
| |
L'assistant de script de nettoyage de données est donc ce que vous utiliserez pour vous aider dans ces tâches dans JMP 15. |
| |
Nous allons vous donner un aperçu exclusif de JMP 16 et nous sommes très enthousiastes à propos des nouvelles fonctionnalités du journal dans JMP 16, je pense qu'il s'appellera le mode de journalisation amélioré. |
| |
L'idée de base est que dans JMP 16, vous pouvez simplement pointer et cliquer pour parcourir les étapes de curation de vos données comme d'habitude. |
| |
Le code JSL dont vous avez besoin est généré et enregistré automatiquement. Il vous suffit de le récupérer et de le sauvegarder. C'est vraiment très simple et très pratique ! J'ai hâte de vous le montrer. |
| |
Voici un aide-mémoire. Dans JMP 15, les tâches de curation de données courantes sont listées à gauche ; cette liste n'est pas exhaustive. |
| |
La colonne du milieu explique comment réaliser ces opérations par simple clic dans JMP. La méthode pour extraire le script réutilisable est indiquée à droite. Je ne vais donc pas tout aborder ici. |
| |
Voilà, c'est pour vous servir de référence plus tard. Passons à une démonstration. Je vais vous montrer comment résoudre certains problèmes que Mia a identifiés concernant le tableau de données des composants. Je vais commencer avec JMP 15. |
| |
Et la première chose dont nous allons parler, ce sont certains de ces problèmes de colonnes, les modifications |
| |
changement |
| |
Les types de données, les types de modélisation, ce genre de choses. Maintenant, si vous vous intéressiez uniquement au pointer-cliquer |
| |
Dans JMP, ce que vous feriez normalement, par exemple pour l'humidité, c'est… Vous vous souviendrez de cette colonne qui contient… |
| |
Du texte est inséré par erreur dans une colonne de caractères. Pour corriger cela, faites un clic droit, accédez aux informations de la colonne et effectuez les modifications nécessaires. |
| |
Il s'agit d'une de ces tâches JMP qui ne génèrent pas de script exploitable dans JMP 15. Nous allons donc utiliser l'assistant de nettoyage de scripts. C'est parti ! |
| |
Il se trouve dans le menu des modules complémentaires, car je l'ai installé ; vous pouvez l'installer aussi. L'assistant de script de nettoyage de données, l'outil dont nous avons besoin est Victor le nettoyeur. Il s'agit d'un |
| |
L'interface graphique permet de modifier les colonnes, notamment les types de données et de modélisation. On peut renommer, réorganiser et supprimer des colonnes, puis enregistrer le script. Procédons donc à quelques modifications. |
| |
Concernant l'humidité, il s'agit de la variable contenant des valeurs N/A, ce qui explique son format texte. Nous allons la convertir d'une variable de type caractère en une variable numérique, et de type nominal en une variable continue. |
| |
Nous avons également constaté que le numéro de lot doit être modifié pour correspondre à la valeur nominale ; le numéro de pièce doit également être modifié pour correspondre à la valeur nominale et le processus, qui est actuellement un numéro, doit également être modifié. |
| |
nominal. |
| |
Technologie de fabrication. Cela ne me sert à rien. Supprimons la colonne « Installation ». Je vais la sélectionner en cliquant sur son nom, puis cliquer sur « Supprimer ». |
| |
Voici quelques-unes des modifications cosmétiques mentionnées par Mia. Le taux de rebut se trouve à la fin de mon tableau. Je souhaite le déplacer plus tôt. Je vais le placer en quatrième position, après |
| |
Numéro de client. Nous le sélectionnons donc et utilisons les flèches pour le déplacer dans l'ordre, juste après le numéro de client. |
| |
Le dernier changement que je vais apporter consiste à renommer la variable de pression. |
| |
Mes ingénieurs appellent cette colonne « psi ». C'est donc le nom que je souhaite lui donner. Voilà, ce sont toutes les modifications que je veux apporter. |
| |
J'ai quelques choix à faire. Je peux décider si le script est enregistré directement dans le tableau de données. Cela créerait une petite section dédiée au script ici, dans le panneau supérieur gauche. |
| |
Pour l'enregistrer dans une fenêtre séparée, enregistrons-le dans une fenêtre de script. Vous pouvez également choisir si les actions de nettoyage spécifiées doivent être exécutées ou non lorsque vous cliquez sur OK. Conservons l'exécution et cliquons sur OK. |
| |
Vous pouvez donc constater que tous ces changements ont été effectués. Les éléments ont été réorganisés, les propriétés des colonnes ont été modifiées, etc. |
| |
Nous avons un script. Nous avons un script pour accomplir cela. Il se trouve dans sa propre fenêtre et ce petit programme servira de base. Nous allons construire notre script de curation de données autour de lui. Enregistrons-le. Je vais l'enregistrer sur mon bureau. Et je vais l'appeler ainsi : |
| |
Script de curation v15. |
| |
Modifier les types de modélisation, modifier les types de données, renommer des éléments, réorganiser des éléments. |
| |
Tout cela provient de Victor. Je vais le documenter dans mon code. Il est conseillé d'ajouter des commentaires dans le code pour pouvoir le relire plus tard. Je vais donc indiquer que cela provient de l'outil Victor. |
| |
Et disons, de la part de DCSA, pour l'assistant de script de nettoyage de données Victor. Donc, c'est un commentaire. Les deux barres obliques forment un |
| |
Cette ligne de votre programme est un commentaire. L'interpréteur ne l'exécutera pas comme du code. Elle est simplement reconnue comme une petite note, visible en vert ci-dessus. |
| |
C'est une bonne idée de se laisser des petits commentaires dans son script. Bon, passons à la suite. |
| |
La prochaine tâche de curation que je vais aborder concerne cette colonne des fournisseurs. Mia nous a indiqué qu'il y avait des problèmes à résoudre. |
| |
Nous utiliserons l'outil de recodage. Le recodage est un outil de JMP 15 qui génère un script ; il suffit de savoir où le trouver. Procédons donc au recodage et récupérons le script (clic droit). |
| |
recoder. |
| |
Nous allons corriger ces valeurs. Je vais commencer par le triangle rouge. Commençons par convertir tout ce texte en casse de titre ; cela a permis de corriger la valeur « Hersch » en minuscules ici. |
| |
Supprimons également les espaces blancs superflus, les caractères d'espacement inutiles. Cela a permis de corriger l'espace en début de texte, Anderson. D'accord. |
| |
Ainsi, toutes les modifications que vous effectuez dans l'outil de recodage sont enregistrées dans cette liste, et vous pouvez les parcourir, les annuler, les rétablir et parcourir cet historique, si vous le souhaitez. |
| |
Très bien, il ne me reste que quelques modifications à apporter. Je vais les faire manuellement. Regroupons les Hershes, les Cox et les Anderson. |
| |
Trutna et Worley ont déjà raison. La dernière chose que je vais faire est de traiter ces valeurs manquantes. Nous les regrouperons dans une catégorie distincte : les valeurs manquantes. |
| |
Voilà comment j'ai procédé pour recoder. J'ai terminé ce que j'avais à faire. Si je devais simplement pointer et cliquer, je cliquerais sur « Recoder » et ce serait fini. Mais n'oubliez pas, il me faut récupérer ce script. Pour cela, je vais donc cliquer sur le triangle rouge. |
| |
Passons à la section script et enregistrons ce script dans une fenêtre de script. |
| |
Le texte est enregistré dans sa propre fenêtre de script et je vais simplement coller cette section à la fin de mon script de curation en cours d'élaboration. |
| |
Voyons voir. Je vais tout simplement copier-coller. Pas besoin de regarder. Pas besoin d'être programmeur, Ctrl+C, et hop, on colle tout en bas. Et on se note que ça vient du triangle rouge de recode. |
| |
Très bien, je peux fermer cette fenêtre. Je n'en ai plus besoin. Et j'enregistre ces mises à jour dans mes scripts de curation. Voilà pour Recode et la méthode que vous |
| |
obtenir le |
| |
code pour cela. |
| |
Très bien, la prochaine tâche que nous allons aborder est le calcul |
| |
Un rendement. Oh, pardon. Je vais procéder au recodage. Le script étant enregistré, lançons-le. Et voilà, la colonne fournisseur est recodée. Parfait. |
| |
Très bien, calculons une colonne de rendement. C'est un peu redondant, je sais que nous avons déjà le taux de rebut. |
| |
Mais pour les besoins de la discussion, voyons comment calculer une nouvelle colonne et extraire son script. Dans JMP 15, vous trouverez facilement ce script si vous savez où chercher. Créons donc notre colonne de rendement. |
| |
Nouvelle colonne, double-cliquez ici, renommez-la de la colonne 16 en « rendement ». |
| |
Et attribuons-lui une formule. |
| |
Pour calculer le rendement, je dois déterminer le nombre d'unités bonnes dans chaque lot, ce qui correspond à la taille du lot moins le nombre d'unités mises au rebut. |
| |
Voilà donc le nombre d'unités conformes dans chaque lot. Je vais diviser ce nombre par la taille totale du lot et voici le rendement. Comme vous pouvez le constater, le rendement est de 0,926. |
| |
Le taux de rebut est de 0,074, soit 1 moins le rendement. Parfait. Le calcul est correct. Maintenant que j'ai créé la colonne de rendement, récupérons son script. Voici l'astuce : clic droit, puis « Copier les colonnes ». |
| |
Faites un clic droit et sélectionnez « Copier les colonnes ». |
| |
Collez. Et voilà. Ajoutez une nouvelle colonne au tableau de données. Elle s'appelle « rendement » et voici sa formule. |
| |
Bon, j'ai dit, vous n'avez pas besoin de connaître la programmation, mais voici une toute petite exception. Vous l'avez probablement remarqué. |
| |
En JSL, chaque étape se termine par un point-virgule. Cela permet de séparer les différentes expressions JSL. Si vous ajoutez un élément à la fin de votre script, assurez-vous d'insérer un point-virgule entre chaque élément. Je tape donc un point-virgule. Les colonnes de copie |
| |
La fonction n'a pas ajouté le point-virgule, je dois donc l'ajouter manuellement. |
| |
Très bien. Voilà pour notre colonne de rendement. Le point suivant que j'aimerais aborder est le suivant. |
| |
Mes processus sont numérotés 1 et 2, ce qui n'est pas très clair. Je souhaite leur attribuer des noms plus descriptifs. Le processus numéro 1 s'appellera « production » et le processus numéro 2 « expérimental ». Nous utiliserons des étiquettes de valeur pour cela. |
| |
Les étiquettes de valeur sont un exemple de propriétés de colonne. Il existe une liste complète des différentes propriétés de colonne que vous pouvez ajouter. |
| |
Il s'agit notamment des unités de mesure. Par exemple, si vous souhaitez modifier l'ordre d'affichage dans un graphique, vous pouvez utiliser le tri des valeurs. |
| |
Si vous souhaitez ajouter des limites de contrôle, des limites de spécification ou un sigma historique à votre analyse de la qualité, vous pouvez également le faire ici. |
| |
Très bien. Ce sont donc toutes des propriétés de colonne que nous ajoutons, des métadonnées que nous ajoutons aux colonnes. |
| |
Nous allons devoir utiliser l'Assistant de script de nettoyage de données pour accéder au script JSL permettant d'ajouter ces propriétés de colonne. Voici comment procéder : tout d'abord, nous ajoutons les propriétés de colonne, comme d'habitude, en pointant et en cliquant. Je vais ajouter les étiquettes de valeur. |
| |
Processus numéro 1, nous allons l'appeler production. Ajouter. |
| |
Le processus numéro 2, nous l'appellerons expérimental. |
| |
Et en ajoutant cette propriété de colonne d'étiquette de valeur, |
| |
J'obtiens maintenant des étiquettes claires dans mon tableau de données. Au lieu de voir « Processus 1 » et « Processus 2 », je vois « Production » et « Expérimental ». |
| |
Assistant de script de nettoyage de données. Nous sélectionnerons le copieur de propriétés. |
| |
Un petit message est apparu indiquant que le script de propriété de colonne a été copié dans le presse-papiers, puis nous reprendrons l'exécution de notre script. |
| |
du photocopieur de propriété du DCSA. |
| |
Ensuite, collez (Ctrl+V). Voici le script qui nous permettra d'attribuer ces deux étiquettes de valeur. C'est terminé. |
| |
Très bien. Bon, il me reste une dernière étape de curation des données à effectuer, une autre opération pour laquelle nous aurons besoin de l'assistant de script de nettoyage des données. |
| |
Nous souhaitons ne considérer que les lignes de ce tableau de données où l'aspiration est désactivée. Il y en a 313. |
| |
Je souhaite simplement supprimer les lignes de ce tableau de données où la commande VACUUM est activée. Pour ce faire, il suffit de sélectionner ces lignes, comme je viens de le faire, puis d'exécuter la commande de sous-ensemble de table. |
| |
Pour obtenir un code utilisable, nous allons devoir utiliser à nouveau l'Assistant de script de nettoyage de données. Voici comment extraire de ce tableau de données uniquement les lignes où l'opération VACUUM est désactivée. Tout d'abord, dans le menu « Ligne », puis dans le sous-menu « Sélection de ligne », nous utiliserons l'option « Sélectionner où ». |
| |
Cette commande permet d'obtenir un script réutilisable pour la sélection. Nous allons sélectionner les lignes où l'aspiration est désactivée. |
| |
Et avant de cliquer sur OK pour exécuter cette sélection, je vais à nouveau cliquer sur le triangle rouge et enregistrer le script dans la fenêtre de script. |
| |
Ctrl+A, puis Ctrl+C pour copier, et collons à nouveau. |
| |
À partir des rangées. |
| |
Sélectionnez Où |
| |
Contrôle V. Voici donc le code JSL qui sélectionne les lignes où l'aspirateur est désactivé. Il me faut maintenant, une dernière fois, |
| |
Il faut utiliser l'assistant de script de nettoyage de données pour obtenir les lignes sélectionnées. Commençons par exécuter la sélection. |
| |
Voilà. Maintenant que la ligne est sélectionnée, nous allons de nouveau ajouter des modules, puis Assistant de script de nettoyage de données, et enfin sélectionner les lignes à appliquer. |
| |
On me demande de nommer ma nouvelle table de données contenant le sous-ensemble des données. Appelons-la « aspirateur, aspirateur désactivé ». Voilà le nom de ma nouvelle table. Je clique sur OK ; un autre message confirme que le script du sous-ensemble a été copié dans le presse-papiers. |
| |
On le colle donc en bas. |
| |
Voilà. |
| |
Voici donc notre script complet de curation de données à utiliser dans JMP 15. Voyons maintenant comment l'utiliser en pratique. Je vais fermer la table de données sur laquelle nous avons travaillé et apporté des corrections. Fermons-la et revenons à… |
| |
l'état chaotique. |
| |
Assurez-vous que j'utilise la bonne version de JMP. |
| |
Très bien. Voilà, les données sont là, un peu brouillonnes. Imaginons que de nouvelles lignes soient apparues, car il s'agit d'un environnement de production et de nouvelles données arrivent constamment. Je dois donc relancer mon processus de curation des données. |
| |
exécuter le script. |
| |
Toutes ces opérations ont été effectuées. Notez les étiquettes des valeurs. Notez que l'humidité est une variable continue. Notez que nous avons sélectionné uniquement les lignes où l'aspirateur est désactivé. Voici le flux de travail complet. |
| |
Il est désormais possible de reproduire le problème avec un script JSL. C'est donc un point important à retenir pour JMP 15. Certains outils permettent d'extraire directement le script JSL ; pour d'autres, vous utiliserez mon extension, l'Assistant de script de nettoyage de données. |
| |
Et maintenant, nous allons vous montrer à quel point c'est amusant et facile avec JMP 16. Je ne vais pas détailler l'intégralité du processus. |
| |
Je vais tout récapituler, car ce serait redondant, mais reprenons brièvement ce que nous avons vu. Nous sommes dans JMP 16 et je vais ouvrir le journal. |
| |
Le journal est différent dans JMP 16 et vous allez constater certaines de ces différences. Ouvrons les données des composants désordonnés. |
| |
Voilà. Vous remarquerez dans le journal une section indiquant que j'ai ouvert le tableau de données désorganisé. Et ci-dessous, voici le script JSL qui permet d'accomplir cette opération. |
| |
Voilà ce que nous venons de faire. Il s'agit donc d'un journal d'exécution qui enregistre automatiquement tout le script nécessaire. Il n'est pas encore terminé. |
| |
De nouvelles fonctionnalités y sont encore ajoutées. Et je suppose que cela continuera. |
| |
Mais cette fonctionnalité de journalisation améliorée est déjà très utile et couvre la plupart de vos activités de gestion des données. |
| |
Je tiens également à préciser que la version que je vous présente actuellement est la version d'accès anticipé de JMP, la version 5. La version finale sera disponible ultérieurement. |
| |
La version finale du JMP 16, prévue pour début de l'année prochaine, sera probablement un peu différente de ce que vous voyez actuellement. |
| |
Très bien, continuons et reprenons quelques étapes de la curation des données. Je ne détaillerai pas l'intégralité du processus, ce serait redondant. Contentons-nous d'en aborder quelques-unes. |
| |
Je vais vous expliquer certaines des choses pour lesquelles nous avions besoin de Victor. Dans JMP 16, nous n'aurons plus besoin de l'assistant de script de nettoyage de données. Il nous suffira de pointer et de cliquer comme d'habitude. |
| |
Donc, pour l'humidité, nous allons passer du format caractère au format numérique et du format nominal au format continu, puis cliquer sur OK. Voici à quoi cela ressemble dans le journal structuré. |
| |
J'ai récupéré ce JSL. Bien, revenons au tableau de données. Nous allons modifier le type de modélisation du numéro de lot, du numéro de pièce et du processus, en passant de continu à nominal. |
| |
C'est fait. Cela a également été consigné dans le journal. Nous allons supprimer la colonne « établissement », qui ne contient qu'une seule valeur : clic droit > Supprimer les colonnes. Voilà, c'est fait. |
| |
PSI. |
| |
OK, donc voilà tout l'outil... tout ce que nous avons fait dans Victor avec JMP 15. Ici, dans JMP 16, tout cela génère du script JMP que nous pouvons simplement copier et réutiliser. Génial. |
| |
Très bien. Je vais vous montrer une dernière étape. Montrons que le sous-ensemble à aspirer est désactivé. C'est beaucoup plus simple dans JMP 16. Il suffit de : |
| |
Sélectionnez toutes les lignes où l'aspirateur est désactivé ; je n'ai même pas besoin d'utiliser le menu des lignes, je peux simplement faire un clic droit sur l'une de ces lignes et sélectionner les cellules correspondantes, ce qui sélectionne les 313 lignes où l'aspirateur est désactivé. Ensuite, comme d'habitude, pour effectuer la sélection, afin de ne conserver que les lignes sélectionnées, utilisez la commande « sous-ensemble de table ». |
| |
Nous allons créer une nouvelle table appelée vacuum off qui ne contiendra que les lignes sélectionnées et conservera toutes les colonnes. C'est parti ! |
| |
Voilà. Nous venons de réaliser toutes ces étapes de curation des données. Voici à quoi cela ressemble dans le journal structuré. |
| |
Pour transformer ce script de curation de données en un outil réutilisable et reproductible, il suffit de cliquer sur le triangle rouge et d'enregistrer le script dans une fenêtre dédiée. Je vais l'enregistrer dans mes données… sur mon bureau, au format script de curation v16. |
| |
Et voilà. Voici le script complet. Alors, fermons toutes les données dans JMP 16 et montrons-vous simplement ce que donne la réexécution de ce script. |
| |
Me revoilà dans la fenêtre d'accueil de JMP 16. Voici mon script de curation. Vous remarquerez que la première ligne est la commande d'ouverture ; je n'ai donc même pas besoin d'ouvrir la table de données. L'opération se fera directement ici. |
| |
Il me suffit, lorsque de nouvelles données arrivent et que ce fichier est mis à jour, d'exécuter le script pour effectuer mes étapes de curation des données. |
| |
Et voilà. Toutes les étapes de curation et le sous-ensemble de 313 lignes. On utilise donc le journal amélioré de JMP 16 pour consigner tout le travail de curation des données et le transformer en un script reproductible. |
| |
Voilà, voici un petit pense-bête pour JMP 15 afin de vous rappeler ce qu'il faut savoir pour extraire le code réutilisable avec JMP 15. Vous n'aurez plus à vous en soucier autant avec la sortie de JMP 16. |
| |
début 2021. |
| |
En conclusion, Mia vous a montré comment organiser vos données dans JMP. C'est un processus exploratoire et itératif où vous identifiez les problèmes et les corrigez par simple clic. |
| |
Lorsque vos données sont régulièrement mises à jour, vous devez automatiser ce flux de travail afin de gagner du temps. |
| |
Et aussi pour documenter votre processus et vous laisser des traces lorsque vous reviendrez plus tard sur votre travail. |
| |
Le processus d'automatisation consiste à traduire vos actions de pointage et de clic en un script JSL réutilisable. |
| |
Nous avons expliqué comment, dans JMP 15, vous allez utiliser une combinaison d'outils intégrés et d'outils de l'assistant de script de nettoyage de données pour atteindre ces objectifs. |
| |
Nous vous avons également présenté en avant-première JMP 16 et montré comment utiliser le journal amélioré pour capturer automatiquement et passivement vos activités de curation de données par simple clic, et ainsi laisser un journal réutilisable et de qualité. |
| |
Script de curation de données reproductible. |
| |
Très bien. Voilà notre présentation, merci beaucoup pour votre temps. |
