Conférencier | Transcription |
| faux pas | Bienvenue au sommet JMP Discovery. |
| Je m'appelle Mia Stephens et je suis chef de produit JMP et je suis ici avec Jordan Hiller, qui est ingénieur système JMP. Et aujourd'hui, nous allons parler de l'automatisation du flux de travail de conservation des données. |
| Et nous allons diviser notre exposé en deux parties. Je vais nous lancer et préparer le terrain en parlant du flux de travail analytique et de la place de la conservation des données dans ce flux de travail. |
| Et puis je vais céder la parole à Jordan pour la viande, le cœur de cette discussion. Nous allons parler de la nécessité d'une conservation des données reproductibles. |
| Nous allons voir comment procéder dans JMP 15. Vous aurez ensuite un aperçu des nouvelles fonctionnalités de JMP 16 permettant d'enregistrer les étapes de conservation des données et les actions que vous entreprenez pour préparer vos données à l'analyse. |
| Pensons donc au workflow analytique. Et voici un flux de travail populaire. Et bien sûr, tout commence par définir le problème de votre entreprise et par comprendre le problème que vous essayez de résoudre. |
| Ensuite, vous devez compiler les données. Et bien sûr, vous pouvez compiler des données provenant de différentes sources et extraire ces données dans JMP. Et à la fin, nous devons être capables de partager les résultats et de communiquer nos découvertes avec les autres. |
| La partie la plus longue de ce processus est probablement la préparation de nos données pour l'analyse ou la conservation de nos données. |
| Alors, qu’est-ce que la curation de données exactement ? Eh bien, la conservation des données consiste à garantir que nos données sont utiles pour générer des découvertes analytiques. Fondamentalement, nous voulons pouvoir résoudre un problème le jour même dont nous disposons. |
| Il s’agit en grande partie d’une question d’organisation des données, de structure des données et de résolution des problèmes de qualité des données. |
| Si vous pensez aux problèmes ou aux problèmes courants liés aux données, ils se répartissent généralement en quatre catégories. Nous pouvons avoir un formatage incorrect, des données incomplètes, des données manquantes ou des données sales ou désordonnées. |
| Et pour parler de ce type de problèmes et illustrer comment nous identifions ces problèmes au sein de nos données, nous allons emprunter à notre cours STIPS. |
| Et si vous n'êtes pas familier avec STIPS, STIPS est notre cours en ligne gratuit, Réflexion statistique pour la résolution de problèmes industriels, et il est mis en place en sept |
| modules discrets. Le module 2 concerne l’analyse exploratoire des données. |
| Et en raison de la nature interactive et itérative de l'analyse exploratoire des données et de la conservation des données, la dernière leçon de ce module est la préparation des données pour l'analyse. Il s’agit avant tout d’identifier les problèmes de qualité au sein de vos données et les mesures que vous pourriez prendre pour conserver vos données. |
| Parlons donc un peu plus des problèmes courants. Formatage incorrect. Alors qu’entendons-nous par formatage incorrect ? |
| Eh bien, c'est lorsque vos données sont sous une mauvaise forme ou dans un mauvais format pour l'analyse. Cela peut appliquer votre table de données dans son ensemble. Ainsi, par exemple, vous pouvez avoir vos données dans des colonnes distinctes, mais pour l'analyse, vous avez besoin de vos données empilées dans une seule colonne. |
| Cela peut s'appliquer à des variables individuelles. Il se peut que vous ayez un type de modélisation ou un type de données incorrect ou que vous ayez des données de date, des données sur des dates ou des heures qui ne sont pas formatées de cette manière dans JMP. |
| Il peut aussi s'agir de produits cosmétiques. Vous pouvez choisir de supprimer les variables de réponse au début du tableau de données, de renommer vos variables, de regrouper les facteurs pour faciliter leur recherche dans le tableau de données. |
| Les données incomplètes signifient un manque de données. Et cela peut concerner des variables importantes, vous ne capturerez donc peut-être pas de données sur des variables qui pourraient finalement vous aider à résoudre votre problème. |
| ou sur des combinaisons de variables. Ou cela pourrait signifier que vous n'avez tout simplement pas assez d'observations, que vous n'avez pas assez de données dans votre tableau de données. |
| Les données manquantes surviennent lorsque les valeurs des variables ne sont pas disponibles. Et cela peut prendre différentes formes. |
| Et enfin, les données sales ou désordonnées surviennent lorsque vous rencontrez des problèmes avec des observations ou des variables. |
| Vos données pourraient donc être incorrectes. Les valeurs sont tout simplement fausses. Il se peut que vous ayez des incohérences dans la façon dont les gens enregistraient les données ou saisissaient les données dans le système. |
| Vos données peuvent être inexactes, ne pas disposer d'un système de mesure performant, il peut y avoir des erreurs ou des fautes de frappe. |
| Les données peuvent être obsolètes. Vous avez peut-être collecté des informations sur une installation ou une machine qui n’est plus en service. |
| C'est peut-être obsolète. Le processus a donc peut-être tellement changé depuis que vous avez collecté les données que celles-ci ne sont plus utiles. |
| Les données peuvent être censurées ou tronquées. Vous pourriez avoir des colonnes redondantes les unes par rapport aux autres. Ils ont le même contenu d’informations de base ou les mêmes lignes qui sont dupliquées. Les données sales et désordonnées peuvent donc prendre de nombreuses formes différentes. |
| Alors, comment identifier les problèmes potentiels ? Eh bien, lorsque vous examinez vos données, vous commencez à identifier les problèmes. Et en fait, ce processus est itératif et lorsque vous commencez à explorer vos données graphiquement, numériquement, vous commencez à voir des éléments qui pourraient constituer des problèmes que vous souhaiterez peut-être résoudre. |
| ou résoudre. Un bon point de départ est donc de commencer par simplement analyser le tableau de données. Lorsque vous analysez votre tableau de données, vous pouvez souvent constater des problèmes évidents. |
| Et pour cet exemple, nous allons utiliser certaines données du cours STIPS appelé Composants, et le scénario est qu'une entreprise fabrique de petits composants et essaie d'améliorer son rendement. |
| Et ils ont collecté des données sur 369 lots de pièces avec 15 colonnes. Ainsi, lorsque nous examinons les données, nous pouvons immédiatement constater des problèmes assez évidents. |
| Si nous regardons le haut du tableau de données, nous regardons ces jolis petits graphiques, nous pouvons voir les formes des distributions. Nous pouvons voir les valeurs. |
| Ainsi, par exemple, le numéro de lot, vous voyez un histogramme. Et le numéro de lot est quelque chose que l’on pourrait considérer comme un identifiant, plutôt que comme quelque chose de continu. Cela peut donc nous indiquer que les données sont mal codées. |
| Lorsque nous examinons le nombre de produits mis au rebut, nous pouvons voir la forme de la répartition. Nous pouvons également voir qu’il y a là une valeur négative, ce qui pourrait ne pas être possible. |
| nous voyons un histogramme pour le processus avec deux valeurs, ce qui peut nous indiquer que nous devons changer le type de modélisation du processus de continu à nominal. |
| Vous pouvez en voir plus lorsque vous jetez un œil au panneau de colonnes. Ainsi, par exemple, le numéro de lot et le numéro de pièce sont tous deux codés comme continus. Ce sont probablement des valeurs nominales |
| Et si vous regardez les données elles-mêmes, vous pouvez constater d’autres problèmes. Ainsi, par exemple, l'humidité est quelque chose que nous considérerions comme continu, mais vous voyez quelques observations qui ont une valeur N/A. |
| Et comme JMP voit le texte, la colonne est codée comme nominale, c'est donc quelque chose que vous souhaiterez peut-être corriger. |
| nous pouvons voir quelques problèmes avec le fournisseur. Il y a quelques valeurs manquantes, quelques erreurs typographiques. Et remarquez, température, tous les points indiquent qu'il nous manque des valeurs de température dans ces lignes. C’est donc une question sur laquelle nous pourrions vouloir approfondir davantage. |
| Ainsi, vous identifiez de nombreux problèmes simplement en analysant le tableau de données, et vous pouvez identifier encore plus de problèmes potentiels lorsque vous visualisez les données une variable à la fois. |
| Un très bon point de départ, et j’aime vraiment cet outil, est la visionneuse de colonnes. La visionneuse de colonnes vous donne des résumés numériques pour toutes les variables que vous avez sélectionnées. |
| Ainsi, par exemple, il me manque ici certaines valeurs. Et vous pouvez voir pour la température qu’il nous manque 265 des 369 valeurs. C’est donc potentiellement un problème si l’on considère que la température est un facteur important. |
| Nous pouvons également voir des problèmes potentiels avec les valeurs enregistrées dans le tableau de données. Ainsi, par exemple, le taux de rebut et le nombre de rebuts ont tous deux des valeurs négatives. |
| Et si cela n’est pas physiquement possible, c’est quelque chose que nous pourrions vouloir étudier dans le système dans lequel nous avons collecté les données. |
| En regardant certaines statistiques calculées, nous pouvons également constater d’autres problèmes. Ainsi, par exemple, le numéro de lot et le numéro de pièce doivent être catégoriques. |
| Cela n'a aucun sens d'avoir le numéro de lot moyen ou le numéro de pièce moyen. Cela vous indique donc que vous devriez probablement revenir au tableau de données et modifier votre type de modélisation. |
| Les distributions nous en disent beaucoup sur nos données et les problèmes potentiels. On voit les formes des distributions, le centrage, l'étalement. Nous pouvons également voir des fautes de frappe. |
| Numéro de client ici, le problème particulier ici est qu'il y a quatre ou cinq clients majeurs et quelques clients plus petits. Si vous envisagez d'utiliser le numéro de client et l'analyse, vous souhaiterez peut-être utiliser le recode pour regrouper certains de ces petits clients dans peut-être une autre catégorie. |
| nous avons un graphique à barres pour l'humidité, et c'est parce que nous avons cette valeur N/A dans la colonne. Et nous ne l’avons peut-être pas vu lorsque nous analysons le tableau de données, mais nous pouvons le voir assez clairement ici lorsque nous examinons la distribution. |
| On voit clairement les erreurs typographiques du fournisseur. |
| Et lorsque nous examinons des variables continues, encore une fois, vous pouvez examiner la forme, le centrage et la répartition, mais vous pouvez également voir des observations inhabituelles au sein de ces variables. |
| Ainsi, après avoir examiné les données une variable à la fois, une progression naturelle consiste à explorer les données avec deux ou plusieurs variables à la fois. |
| Ainsi, par exemple, si nous regardons le taux de rebut par rapport au nombre de rebuts dans le générateur de graphiques. |
| On voit un intérêt pour le motif. Nous voyons donc ces bandes et il se pourrait qu'il y ait quelque chose dans notre tableau de données qui nous aide à expliquer pourquoi nous observons cette tendance. |
| En fait, si nous colorions par taille de lot, cela a du sens pour nous. Ainsi, lorsque nous avons des lots de 5 000 pièces, il y a plus de chances de récupérer des pièces de rebut que pour des lots de 200 seulement. |
| Nous pouvons également voir qu'il y a des observations étranges en bas. En fait, ce sont les observations qui avaient des valeurs négatives pour le nombre de déchets et celles-ci ressortent vraiment ici dans ce graphique. |
| Et lorsque vous ajoutez un sélecteur de colonnes ou un filtre de données, vous pouvez ajouter une dimension supplémentaire à ces graphiques. Pour que je puisse regarder la pression, |
| par exemple, au lieu de... |
| Eh bien, je peux regarder la pression ou passer en mode pause. Ce que je recherche ici, c'est d'avoir une idée de la relation générale entre ces variables et la réponse. |
| Et je peux voir que la pression semble avoir une relation positive avec le taux de rebut. Et si je passe en mode Dwell, je peux voir qu'il n'y a probablement pas beaucoup de relation entre |
| séjour et taux de rebut ou température. Ces variables pourraient donc ne pas être aussi informatives pour résoudre le problème. |
| Mais regardez la vitesse, la vitesse a une relation négative. Et j'ai également quelques observations inhabituelles en haut sur lesquelles je souhaiterais peut-être enquêter. |
| Vous pouvez donc en apprendre beaucoup sur vos données simplement en les regardant. |
| Et bien sûr, il existe des outils plus avancés pour explorer les valeurs aberrantes et manquantes qui dépassent vraiment le cadre de cette discussion. |
| Et à mesure que vous entrez dans la phase d'analyse, lorsque vous commencez à analyser vos données ou à créer des modèles, vous en apprendrez beaucoup plus sur les problèmes potentiels auxquels vous devez faire face. |
| Et l'essentiel est que lorsque vous examinez vos données et identifiez ces problèmes, vous souhaitez prendre des notes sur ces problèmes. |
| Certains d’entre eux peuvent être résolus au fur et à mesure. Ainsi, vous pourrez peut-être remodeler et nettoyer vos données au fur et à mesure du processus. |
| Mais vous voulez vraiment vous assurer de capturer les étapes que vous suivez afin de pouvoir répéter les étapes plus tard si vous devez répéter l'analyse ou si vous souhaitez répéter l'analyse sur de nouvelles données ou d'autres données. |
| Et c'est à ce stade que je vais céder la parole à Jordan pour parler de la conservation des données reproductibles et de ce dont il s'agit. |
| Jordan Hiller | Très bien, merci, Mia. C'était génial. Et nous avons appris ce que vous faites dans JMP pour réaliser la conservation des données par pointer-cliquer. Parlons maintenant de rendre cela reproductible. |
| La raison pour laquelle nous nous soucions de la reproductibilité est que vos ensembles de données sont régulièrement mis à jour avec de nouvelles données. S'il s'agissait d'une activité ponctuelle, nous ne nous soucierions pas trop du pointer-cliquer. Mais lorsque les données sont constamment mises à jour, |
| il est trop laborieux de répéter la curation des données par pointer-cliquer à chaque fois. |
| Il est donc plus efficace de générer un script qui effectue toutes vos étapes de conservation de données, et vous pouvez exécuter ce script en un seul clic. |
| et faites tout cela en même temps. Ainsi, en plus de l'efficacité, |
| il documente votre processus. Cela sert de trace de ce que vous avez fait. Vous pouvez donc vous y référer plus tard pour vous-même et vous rappeler ce que vous avez fait, ou pour les personnes qui vous succèdent et qui sont responsables de ce processus, c'est également un record pour elles. |
| Pour la suite de cette présentation, mon objectif est de vous montrer comment générer un script de curation de données par pointer-cliquer uniquement. |
| Nous espérons que vous n’aurez pas besoin de faire de programmation pour y parvenir. Ce code de programme va être extrait et enregistré pour vous, et nous parlerons un peu de la façon dont cela se produit. |
| Il y a donc deux sections différentes. Voici ce que vous pouvez faire maintenant dans JMP 15 pour obtenir un script de curation de données, et ce que vous ferez une fois que nous publierons JMP 16 l'année prochaine. |
| Dans JMP 15, certaines tâches de conservation de données génèrent leur propre code de script JSL réutilisable. |
| Vous exécutez simplement votre pointer-cliquer, puis il existe une technique pour récupérer le code. Je vais le démontrer. Donc des outils comme recoder, |
| générer une nouvelle colonne de formule avec le calcul, remodeler les tableaux de données, ces outils se trouvent dans le menu des tableaux. Il y a la pile, le fractionnement, la jointure, la concaténation et la mise à jour. Tous ces outils |
| dans JMP 15, génèrez leur propre script après les avoir exécutés par pointer-cliquer. |
| Il existe d'autres tâches courantes qui ne génèrent pas leur propre script JSL et afin de faciliter l'accomplissement de ces tâches et de les rendre reproductibles, |
| Et cela aide avec les tâches suivantes, principalement le contenu des colonnes, la modification des types de données des colonnes, les types de modélisation, la modification du format d'affichage, |
| renommer, réorganiser et supprimer des colonnes de votre table de données, en définissant également les propriétés des colonnes telles que les limites de spécifications ou les étiquettes de valeur. |
| L'assistant de script de nettoyage des données est donc ce que vous utiliserez pour vous aider dans ces tâches dans JMP 15. |
| Nous allons vous donner un aperçu de JMP 16 et nous sommes très enthousiasmés par les nouvelles fonctionnalités du journal de JMP 16. Je pense que cela s'appellera le mode de journalisation amélioré. |
| L'idée de base est que dans JMP 16, vous pouvez simplement pointer et cliquer pour parcourir vos étapes de conservation de données, comme d'habitude. |
| Le code JSL dont vous avez besoin est généré et enregistré automatiquement. Tout ce que vous avez à faire est de le récupérer et de le sauvegarder. Tellement simple et vraiment utile, j'ai hâte de vous montrer ça. |
| Voici une aide-mémoire pour votre référence. Dans JMP 15, ce sont les tâches à gauche, les tâches courantes de conservation des données ; ce n'est pas une liste exhaustive. |
| Et la colonne du milieu montre comment vous les réalisez par pointer-cliquer dans JMP. La méthode d'extraction du script réutilisable est répertoriée à droite. Je ne vais donc pas tout couvrir ici. |
| Mais oui, c'est pour vous pour référence plus tard. Passons à une démo. Et je vais vous montrer comment résoudre certains des problèmes identifiés par Mia avec le tableau de données des composants. Je vais commencer avec JMP 15. |
| Et la première chose dont nous allons parler, ce sont certains de ces problèmes de colonnes, le changement |
| en changeant |
| les types de données, les types de modélisation, ce genre de choses. Maintenant, si vous étiez juste préoccupé par le pointer-cliquer |
| dans JMP, ce que vous feriez habituellement est, disons, pour l'humidité. C'est la colonne dont vous vous souviendrez qui a |
| du texte dedans et il apparaît par erreur sous forme de colonne de caractères. Donc, pour résoudre ce problème par pointer-cliquer, vous feriez normalement un clic droit, accéderiez à la colonne d'informations et aborderiez ces modifications ici. |
| Il s'agit de l'une de ces tâches JMP qui ne laisse pas de script utilisable dans JMP 15. Donc pour cela, nous allons plutôt utiliser l’assistant de script de nettoyage des données. Alors c'est parti. |
| C'est dans le menu des compléments, parce que je l'ai installé, vous pouvez également l'installer. Assistant de script de nettoyage des données, l'outil dont nous avons besoin pour cela est Victor le nettoyeur. C'est un |
| interface utilisateur graphique pour apporter des modifications aux colonnes, afin que nous puissions aborder ici les types de données et les types de modélisation. Nous pouvons renommer les colonnes, modifier l'ordre des colonnes et supprimer des colonnes, puis enregistrer le script. Apportons donc quelques modifications ici. |
| Pour l'humidité, c'est celui avec les valeurs N/A qui l'ont amené à apparaître sous forme de texte. Nous allons le changer d'une variable caractère en une variable numérique. Et nous allons le changer de nominal à continu. |
| Nous avons également identifié que le numéro de lot doit venir... doit être remplacé par un numéro nominal ; le numéro de pièce doit également être changé en nominal et le processus, qui est un nombre en ce moment, devrait également être |
| nominal. |
| technologie fabuleuse. Donc ça ne m'est pas utile. Supprimons la colonne installation. Je vais le sélectionner ici en cliquant sur son nom et en cliquant sur Supprimer. |
| Voici quelques-uns de ces changements cosmétiques mentionnés par Mia. Le taux de rebut est au bout de mon tableau. Je veux le déplacer plus tôt. Je vais le déplacer en quatrième position après |
| numéro de client. Nous le sélectionnons donc et utilisons les flèches pour le déplacer vers le haut, directement après le numéro de client. |
| Le dernier changement que je vais faire est que je vais prendre la variable de pression et je vais la renommer. |
| Mes ingénieurs de mon organisation appelaient cette colonne psi. C'est donc le nom que je veux donner à cette colonne. Très bien, c'est donc tous les changements que je souhaite apporter ici. |
| J'ai des choix à faire. Je décide si le script est enregistré dans la table de données elle-même. Cela créerait une petite section de script ici dans le panneau supérieur gauche. |
| Où l'enregistrer dans sa propre fenêtre, enregistrons-le dans une fenêtre de script. Vous pouvez également choisir si les actions de nettoyage que vous avez spécifiées sont exécutées ou non lorsque vous cliquez sur OK. Gardons l'exécution et cliquons sur OK. |
| Alors maintenant, vous verrez que tous ces changements sont effectués. Les choses ont été réorganisées, les propriétés des colonnes ont changé, etc. |
| nous avons un script. Nous avons un script pour y parvenir. C'est dans sa propre fenêtre et ce petit programme sera la base. Nous allons construire notre script de curation de données autour de cela. Gardons ça. Je vais l'enregistrer sur mon bureau. Et je vais appeler ça |
| Script de conservation v15. |
| changer les types de modélisation, changer les types de données, renommer les choses, réorganiser les choses. |
| Tout cela venait de Victor. Je vais documenter cela dans mon code. C'est une bonne idée de laisser des petits commentaires dans votre code afin de pouvoir le lire plus tard. Je vais laisser une note indiquant que cela provient de l'outil Victor. |
| Et disons de DCSA, pour l'assistant de script de nettoyage des données Victor. C'est donc un commentaire. Les deux barres obliques forment un |
| ligne dans votre programme ; c'est un commentaire. Cela signifie que l'interpréteur de programme n'essaiera pas de l'exécuter en tant que code de programme. C'est reconnu comme une petite note et vous pouvez le voir en vert là-haut. |
| Bonne idée de vous laisser des petits commentaires dans votre script. Très bien, passons à autre chose. |
| La prochaine tâche de curation que je vais aborder est la colonne de ce fournisseur. Mia nous a expliqué qu'il y avait ici certains problèmes qui devaient être résolus. |
| Nous utiliserons l'outil de recodage pour cela. Recode est l'un des outils de JMP 15 qui laisse derrière lui son propre script, il suffit de savoir où l'obtenir. Alors faisons notre recodage et récupérons le script, faites un clic droit |
| recoder. |
| Et nous allons corriger ces valeurs de données. Je vais commencer par le triangle rouge. Commençons par convertir tout ce texte en casse du titre, ce qui a nettoyé cette valeur Hersch minuscule ici. |
| Supprimons également les espaces blancs supplémentaires et les caractères d'espacement supplémentaires. Cela a nettoyé cet espace principal dans cet Anderson. D'accord. |
| Ainsi, toutes les modifications que vous apportez dans l'outil de recodage sont enregistrées dans cette liste et vous pouvez les parcourir, les annuler, les refaire et parcourir cet historique, si vous le souhaitez. |
| Très bien, j'ai encore quelques modifications à apporter. Je vais le faire manuellement. Regroupons les Hershe, regroupons les Cox, regroupons tous les Anderson. |
| Trutna et Worley ont déjà raison. La dernière chose que je vais faire est de remédier à ces valeurs manquantes. Nous les assignerons à leur propre catégorie de disparus. |
| C'est mon processus de recodage. J'en ai fini avec ce que je dois faire. Si je ne faisais que pointer et cliquer, je cliquerais sur recoder et j'aurais terminé. Mais rappelez-vous, j'ai besoin d'obtenir ce script. Alors pour ce faire, je vais me rendre dans le triangle rouge. |
| Jusqu'à la section script et enregistrons ce script dans une fenêtre de script. |
| Ici, il est enregistré dans sa propre fenêtre de script et je vais simplement coller cette section au bas de mon script de curation en cours. |
| Alors voyons. Je vais juste tout récupérer d'ici. Je n'ai même pas vraiment besoin de le regarder. Droite. Je n'ai pas besoin d'être programmeur, Control C, et de le coller simplement en bas. Et notons que cela vient du triangle rouge recodé. |
| Très bien, et je peux fermer cette fenêtre. Je n'en ai plus besoin. Et enregistrez ces mises à jour dans mes scripts de curation. Donc c'était recoder et la façon dont vous |
| obtenir le |
| code pour cela. |
| Très bien, la prochaine tâche que nous allons aborder est de calculer |
| un rendement. Oh je suis désolé. Ce que je vais faire, c'est exécuter ce recodage. Maintenant que j'ai enregistré le script, exécutons le recodage. Et voilà, la colonne fournisseur recodée. Parfait. |
| Très bien, calculons une colonne de rendement. C'est un peu redondant, je réalise que nous avons déjà le taux de rebut, |
| mais à des fins de discussion, montrons comment calculer une nouvelle colonne et extraire son script. Il s'agit d'un autre endroit dans JMP 15 où vous pouvez facilement obtenir le script si vous savez où chercher. Nous faisons donc notre colonne de rendement. |
| Nouvelle colonne, double-cliquez ici, renommez-la de la colonne 16 en rendement. |
| Et attribuons-lui une formule. |
| Pour calculer le rendement, je dois trouver combien de bonnes unités j'ai dans chaque lot, ce sera donc la taille du lot moins le nombre mis au rebut. |
| C'est donc le nombre de bonnes unités que j'ai dans chaque lot. Je vais diviser cela par la taille totale du lot et voici ma colonne de rendement. Oui, vous pouvez voir que le rendement ici est de 0,926. |
| Le taux de rebut est de 0,074, 1 moins le rendement. Si bon. Le calcul est correct. Maintenant que j'ai créé cette colonne de rendement, récupérons son script. Et voici l'astuce, faites un clic droit, copiez les colonnes. |
| à partir d'un clic droit, copiez les colonnes. |
| Pâte. Et voilà. Ajoutez une nouvelle colonne au tableau de données. Cela s'appelle le rendement et voici sa formule. |
| Maintenant, j'ai dit, vous n'avez pas besoin de connaître la programmation, je suppose qu'il y a une très petite exception. Vous l'avez probablement remarqué |
| il y a des points-virgules à la fin de chaque étape en JSL. Cela sépare les différentes expressions JSL et si vous ajoutez quelque chose de nouveau au bas de votre script, vous voudrez vous assurer qu'il y a un point-virgule entre les deux. Je tape donc simplement un point-virgule. Les colonnes de copie |
| la fonction n'a pas ajouté le point-virgule, je dois donc l'ajouter manuellement. |
| Très bien, bien. Voilà donc notre colonne de rendement. La prochaine chose que j'aimerais aborder est la suivante. |
| Mes processus sont étiquetés 1 et 2. Ce n'est pas très amical. Je veux leur donner des étiquettes plus descriptives. Nous allons appeler le processus numéro 1, production ; et Processus numéro 2, expérimental. Nous ferons cela avec des étiquettes de valeur. |
| Les étiquettes de valeur sont un exemple de propriétés de colonne. Il existe une liste complète de différentes propriétés de colonne que vous pouvez ajouter à une colonne. |
| Ce sont des choses comme les unités de mesure. C'est comme si vous souhaitiez modifier l'ordre d'affichage dans un graphique, vous pouvez utiliser l'ordre des valeurs. |
| Si vous souhaitez ajouter des limites de contrôle ou des limites de spécifications ou un sigma historique pour votre analyse qualité, vous pouvez également le faire ici. |
| Bien. Ce sont donc toutes des propriétés de colonne que nous ajoutons, des métadonnées que nous ajoutons aux colonnes. |
| Et nous devrons utiliser l'assistant de script de nettoyage de données pour accéder au script JSL permettant d'ajouter ces propriétés de colonne. Voici donc comment nous procédons. Dans un premier temps, nous ajoutons les propriétés de la colonne, comme d'habitude, par pointer-cliquer. Je vais ajouter mes étiquettes de valeur. |
| Processus numéro 1, nous allons appeler la production. Ajouter. |
| Processus numéro 2, nous allons l’appeler expérimental. |
| Et en ajoutant cette propriété de colonne d'étiquette de valeur, |
| J'obtiens maintenant de belles étiquettes dans ma table de données. Au lieu de voir Processus 1 et Processus 2, je vois la production et l'expérimentation. |
| Assistant de script de nettoyage des données. Nous choisirons le copieur de propriété. |
| Un petit message est apparu indiquant que le script des propriétés de la colonne a été copié dans le presse-papiers et que nous reviendrons ensuite à notre script en cours. |
| à partir du copieur de propriété DCSA. |
| Et puis collez, Contrôlez V pour coller. Il existe le script dont nous avons besoin pour attribuer ces deux étiquettes de valeur. C'est fait. |
| Très bien. D'accord, j'ai encore une étape de conservation des données à franchir, quelque chose d'autre pour lequel nous aurons besoin de l'assistant de script de nettoyage des données. |
| Nous souhaitons considérer uniquement, disons, les lignes de ce tableau de données où le vide est désactivé. Droite. Il y a donc 313 de ces lignes. |
| Et je veux juste me débarrasser des lignes de ce tableau de données où le vide est activé. Donc, la façon dont vous le faites par pointer et cliquer consiste à les sélectionner, comme je l'ai fait en ce moment, puis à exécuter la commande de sous-ensemble de table. |
| Afin d'obtenir du code utilisable, nous devrons à nouveau utiliser l'assistant de script de nettoyage de données. Voici donc comment sous-définir cette table de données uniquement sur les lignes où le vide est désactivé. Tout d'abord, je vais utiliser, sous le menu des lignes, sous le sous-menu de sélection des lignes, nous utiliserons ceci Sélectionner où |
| commande afin d'obtenir un script réutilisable pour la sélection. Nous allons sélectionner les lignes où le vide est désactivé. |
| Et avant de cliquer sur OK pour exécuter cette sélection, encore une fois, je vais aller dans le triangle rouge, enregistrer le script dans la fenêtre de script. |
| Contrôlez A. Contrôlez C pour copier cela et collons-le à nouveau |
| À partir de lignes. |
| Sélectionnez où |
| Contrôle V. Il y a donc le code JSL qui sélectionne les lignes où le vide est désactivé. Maintenant j'ai besoin, encore une fois, |
| vous devez utiliser l'assistant de script de nettoyage des données pour obtenir les lignes sélectionnées. Oh, exécutons d’abord la sélection. |
| Le voilà. Maintenant que la ligne est sélectionnée, nous allons revenir aux compléments, à l'assistant de script de nettoyage de données et au sous-ensemble des lignes sélectionnées. |
| Je suis invité à nommer ma nouvelle table de données contenant le sous-ensemble des données. Appelons cela un vide, passez l'aspirateur. C'est mon nouveau nom de table de données. Cliquez sur OK, un autre message indiquant que le script du sous-ensemble a été copié dans le presse-papiers. |
| Et donc on le colle au fond. |
| Le voilà. |
| Et ceci est maintenant notre script complet de curation de données à utiliser dans JMP 15 et passons simplement en revue ce que cela signifie de l'utiliser dans la pratique. Je vais fermer le tableau de données sur lequel nous avons travaillé et apporter des corrections à notre curation. Fermons-le et revenons à |
| l'état désordonné. |
| Assurez-vous que je suis dans la bonne version de JMP. |
| D'accord. Oui, les voilà, les données désordonnées. Et disons que de nouvelles lignes sont arrivées parce qu'il s'agit d'un environnement de production et que de nouvelles données arrivent constamment. Je dois rejouer mon workflow de curation de données. |
| script de lancement. |
| Il effectuait toutes ces opérations. Notez les étiquettes de valeur. Notez que l’humidité est continue. Notez que nous avons sous-ensemble uniquement les lignes où le vide est désactivé. L'ensemble du flux de travail |
| est désormais reproductible avec un script JSL. C'est donc ce que vous devez garder à l'esprit pour JMP 15. Certains outils à partir desquels vous pouvez extraire directement le script JSL ; pour d'autres, vous utiliserez mon complément, l'assistant de script de nettoyage des données. |
| Et maintenant, nous allons vous montrer à quel point cela est amusant et simple dans JMP 16. Je ne vais pas parcourir tout le flux de travail |
| encore une fois, car ce serait quelque peu redondant, mais revenons simplement sur une partie de ce que nous avons vécu. Nous voilà dans JMP 16 et je vais ouvrir le log. |
| Le journal est différent dans JMP 16 et vous allez constater certaines de ces différences actuellement. Ouvrons les données des composants en désordre. |
| C'est ici. Et vous remarquerez dans le journal qu'il contient une section indiquant que j'ai ouvert la table de données en désordre. Et ici-bas. Voici ce script JSL qui accomplit |
| ce que nous venons de faire. C'est donc comme un journal en cours d'exécution qui capture automatiquement tous les scripts dont vous avez besoin. Ce n'est pas encore terminé. |
| De nouvelles fonctionnalités y sont encore ajoutées. Et moi, et je suppose que cela se poursuivra. |
| Mais déjà, cette fonctionnalité de journal améliorée est très, très utile et couvre la plupart de vos activités de conservation de données. |
| Je dois également mentionner que, en ce moment, ce que je vous montre est la version précoce de JMP. Il s'agit de la version 5 des premiers utilisateurs. Alors quand nous libérerons complètement |
| la version de production de JMP 16 au début de l'année prochaine, elle sera probablement un peu différente de ce que vous voyez actuellement. |
| Très bien, alors continuons et reprenons certaines de ces étapes de conservation des données. Je ne passerai pas en revue tout le flux de travail, car ce serait redondant. Faisons-en quelques-uns. |
| Je vais passer en revue certaines des choses pour lesquelles nous avions besoin de Victor. Dans JMP 16, nous n'aurons pas besoin de l'assistant de script de nettoyage des données. Nous faisons simplement notre pointer et cliquer comme d'habitude. |
| Donc, humidité, nous allons passer du caractère au numérique et du nominal au continu et cliquer sur OK. Voici à quoi cela ressemble dans le journal structuré. Il a |
| capturé ce JSL. Très bien, revenons au tableau de données. Nous allons changer le type de modélisation du numéro de lot, du numéro de pièce et du processus de continu à nominal. |
| Ça c'est fait. Cela a également été enregistré dans le journal. Nous allons supprimer la colonne des installations, qui n'a qu'une seule valeur, faites un clic droit sur Supprimer les colonnes. C'est parti. |
| PSI. |
| OK, donc c'était tout l'outil... toutes les choses que nous avons faites dans Victor dans JMP 15. Ici, dans JMP 16, tout cela laisse derrière lui un script JMP que nous pouvons simplement copier et réutiliser ici. Beau. |
| D'accord. Juste une étape de plus, je vais vous montrer. Montrons que le sous-ensemble à vide est désactivé. Beaucoup, beaucoup plus simple ici dans JMP 16. Tout ce que nous devons faire c'est |
| sélectionnez tous les aspirateurs désactivés ; Je n'ai même pas besoin d'utiliser le menu des lignes, je peux simplement cliquer avec le bouton droit sur l'une de ces cases et sélectionner les cellules correspondantes, qui sélectionnent les 313 lignes où le vide est désactivé. Et puis, comme d'habitude, pour effectuer le sous-ensemble, pour sélectionner le sous-ensemble uniquement sur les lignes sélectionnées, sous-ensemble de table |
| et nous allons créer une nouvelle table appelée Vacuum Off qui ne contient que nos lignes sélectionnées et conservera toutes les colonnes. On y va. |
| C'est ça. Nous venons d'effectuer toutes ces étapes de conservation des données. Voici à quoi cela ressemble dans le journal structuré. |
| Et maintenant, pour en faire un script de conservation de données réutilisable et reproductible, tout ce que nous avons à faire est d'atteindre le triangle rouge et d'enregistrer le script dans une fenêtre de script. Je vais enregistrer cela dans mes données... sur mon bureau en tant que script de curation v16. |
| Et le voici. Voici l'intégralité du script. Alors fermons toutes les données dans JMP 16 et montrons simplement à quoi cela ressemble de réexécuter ce script. |
| Me voici de retour dans la fenêtre d'accueil de JMP 16. Voici mon script de curation. Vous remarquerez que la première ligne est cette commande open, donc je n'ai même pas besoin d'ouvrir la table de données. Cela va se passer en ligne ici même. |
| Tout ce que j'ai à faire, c'est que lorsque de nouvelles données arrivent et que ce fichier a été mis à jour, tout ce que j'ai à faire pour effectuer mes étapes de conservation des données est d'exécuter le script. |
| Et voilà. Toutes les étapes de curation et le sous-ensemble jusqu'aux 313 lignes. Il s'agit donc d'utiliser le journal amélioré de JMP 16 pour capturer tout votre travail de conservation de données et le transformer en un script reproductible. |
| Très bien, voici l'aide-mémoire de JMP 15 pour vous rappeler encore une fois que voici ce que vous devez savoir pour extraire le code réutilisable lorsque vous êtes dans JMP 15 en ce moment, et vous n'aurez pas à vous en soucier. tellement une fois que nous publierons JMP 16 |
| début 2021. |
| Donc, pour conclure, Mia vous a montré comment réaliser la conservation des données dans JMP. Il s'agit d'un processus exploratoire et itératif dans lequel vous identifiez les problèmes et les résolvez par pointer-cliquer. |
| Lorsque vos données sont régulièrement mises à jour avec de nouvelles données, vous devez automatiser ce flux de travail afin de gagner du temps. |
| Et aussi pour documenter votre processus et vous laisser un fil d'Ariane lorsque vous reviendrez plus tard et regarderez ce que vous avez fait. |
| Le processus d'automatisation consiste à traduire vos activités pointer-cliquer en un script JSL réutilisable. |
| Nous avons expliqué comment, dans JMP 15, vous allez utiliser une combinaison d'outils intégrés et d'outils de l'assistant de script de nettoyage des données pour atteindre ces objectifs. |
| Et nous vous avons également donné un aperçu de JMP 16 et de la façon dont vous pouvez utiliser le journal amélioré pour capturer automatiquement et passivement vos activités de curation de données pointer-cliquer et laisser derrière vous un magnifique journal réutilisable. |
| script de conservation des données reproductible. |
| D'accord. C'est notre présentation, merci beaucoup pour votre temps. |
![:\](https://jmp.vanillacommunities.com/resources/emoji/confused.png ":\"){kind=small}