Conférencier
|
Transcription
|
| Bill Worley |
Bonjour à tous, voici Bill Worley, ingénieur système JMP. Je suis avec JMP depuis près de sept ans. Aujourd'hui, nous allons parler de |
| |
prétraitement des données spectroscopiques pour analyse. J'appelle cela une préquelle parce que j'ai déjà donné une conférence sur l'analyse des données spectrales dans JMP, mais le prétraitement est une première étape importante et vous montrera pourquoi. Allons-y. |
| |
Parlons donc de l'abstrait, un peu ici. Le prétraitement des données spectroscopiques est vraiment une première étape importante dans la préparation de vos données, toutes les données, pour l'analyse, vraiment. |
| |
Nous pouvons, vous savez, vous parler de ... nous allons passer en revue la démo et démontrer la variable normale standard et les outils de lissage Savitzky-Golay dans JMP. Ce sont les outils de pré-traitement qui sont assez standard tout au long du |
| |
monde de la chimie, l'industrie chimique et vraiment tous ceux qui font de la spectroscopie et analysent des données spectroscopiques. Ils sauraient que ... |
| |
En savoir plus sur la variante normale standard du Savitzky-Golay et comment ils sont utilisés. Encore une fois, c'est une première étape importante pour vous aider à créer des modèles prédictifs à partir de vos données spectroscopiques brutes. |
| |
Donc, avec un peu de fond, les données spectrales peuvent être très compliquées. Le prétraitement est utilisé pour aider à lisser et filtrer et corriger la ligne de base avant de créer ces modèles prédictifs ou tout modèle prédictif que vous voudrez peut-être créer. Le filtrage Savitzky-Golay et la variable normale standard |
| |
sont des outils qui ont ... ils sont utilisés dans JMP. Le Savitzky-Golay était un complément qui a été développé par Ian Cox, donc c'est ... merci à Ian pour cela. La variable normale standard nécessite un ... |
| |
une sorte de formule et nous vous montrerons comment l'intégrer dans JMP. Et puis la dernière ligne, c'est ... le Graph Builder est aussi un outil précieux pour visualiser vos données spectroscopiques et qui peut être utilisé comme plate-forme alternative pour lisser vos données. |
| |
Mais encore une fois, nous y reviendrons au fur et à mesure que nous approfondirons la discussion. |
| |
Pourquoi on fait ça. Pourquoi voudriez-vous faire n'importe quel type de pré-traitement? Eh bien, si vous regardez cela, tout d'abord, ces spectres supérieurs juste là, ou des groupes de spectres, ce sont les données brutes de 100 spectres et vous ne pouvez pas vraiment faire la différence entre |
| |
vous savez, un mélange de 100% d'amidon ou de 100% de gluten. Vous pouvez voir certaines différences, mais vous ne le faites pas ... vous ne pouvez pas dire ce qui est quoi. Bien, |
| |
ce que nous faisons à partir de là, nous faisons le lissage et le filtrage Savitzky-Golay, puis vous prenez ce premier dérivé et cela vous donne un ensemble de spectres beaucoup plus propre, |
| |
bien groupé, mais toujours pas complètement là où vous aimeriez être. Et puis, enfin, après avoir effectué ce lissage variable normal standard, les spectres sont beaucoup plus propres, beaucoup plus faciles à voir où se trouvent les pics. |
| |
Et vous pouvez voir où se trouvent les différences dans les différents groupements de spectres. Encore une fois, il y a 20 spectres pour chacune de ces lignes rouges aux lignes grises aux lignes bleues, et c'est certainement beaucoup plus propre. Vous pouvez voir où se trouvent les pics pour les différents mélanges. |
| |
D'accord, donc avec le filtrage Savitzky-Golay, c'est un filtre numérique fourni à vos données spectrales à des fins de lissage. La bonne chose à ce sujet est que cela ne modifie pas le spectre global lui-même, l'emplacement des pics et tout le reste. C'est donc un bel outil là-bas. |
| |
Il utilise la convolution pour le lissage et est basé sur une formule des moindres carrés linéaires. |
| |
Ces dérivées premières et secondes sont également ... vous pouvez également les apprivoiser à partir du signal lisse. |
| |
Et le filtrage de toutes les données sans importance à l'une ou l'autre extrémité du spectre peut également être effectué. Si vous vous retrouvez dans des situations où, vous savez, vous avez quelque chose au début, c'est juste sans importance et cela ne fera que vous gâcher au fur et à mesure que vous avancez et même chose, à l'autre bout. |
| |
Graph Builder vous permet de faire même un lissage interne ou un filtrage interne que vous ne pouvez pas faire avec le Savitzky-Golay. |
| |
ajouter à. Ainsi, vous pouvez utiliser le filtre de données local avec le générateur de graphes et définir davantage les zones d'intérêt. |
| |
Alors, |
| |
Continuons. Savitzky-Golay |
| |
l'analyse est que nous avons le ... nous avons fait ... si nous faisons cette analyse, c'est un groupement de spectres. Donc nous avons la douceur, |
| |
le premier dérivé, maintenant un peu allongé. Et nous y mettons la ligne zéro. Et avec le premier dérivé, vous pouvez |
| |
dire où se trouvent les pics, en fonction des points zéro ou du croisement des points zéro, à droite, de sorte que vous ayez une idée de l'emplacement des pics pour un point donné |
| |
groupe de spectres, ensemble de spectres. Et pour la deuxième dérivée, maintenant c'est un peu différent. Cela aide à aplatir la ligne de base, puis, si vous avez des pics qui se chevauchent, cela vous aide |
| |
Développer davantage ou mieux voir où ceux-ci se chevauchent et vous passez d'un positif à un négatif, ce qui indique que les pics se chevauchent et où ils pourraient se trouver. D'accord, et c'est ainsi que vous utilisez cet outil. |
| |
La variable normale standard elle-même est à nouveau la standardisation des données par rapport aux spectres individuels. Il peut être utilisé seul ou comme outil de lissage supplémentaire et nous l'utilisons aujourd'hui comme outil supplémentaire. |
| |
Il est utilisé ... |
| |
il est utilisé pour la correction du décalage de la ligne de base et la correction des variations d'intensité globale. Ce qui est bien, c'est qu'il supprime la variation de la ligne de base sans altérer la forme des spectres, à droite. |
| |
Et les données, le problème est, et vous le verrez quand nous le ferons, c'est que les données doivent être empilées, d'accord. |
| |
Très bien, ce n'est qu'une des formules qui |
| |
peut être utilisé dans la configuration de la formule de variation normale standard, et je vais vous montrer comment faire. Il y a plusieurs façons différentes, mais cela s'implique un peu et je vais vous montrer comment faire cela. La partie importante ici est que |
| |
nous avons ici la formule standard pour la colonne normalisée, mais nous devons nous assurer que nous l'utilisons par variable et c'est le spectre lui-même. Alors |
| |
il y a une petite astuce pour ajouter cela. |
| |
Bien, donc s'il faisait la variable normale standard sur les données brutes uniquement, voici à quoi cela ressemblerait. |
| |
Nous pouvons voir les regroupements, nous pouvons voir, vous savez, comment les choses se passent, mais si nous avons fait cette variable normale standard après avoir fait cette première dérivée, c'est beaucoup plus propre. Vous avez une bien meilleure idée de l'endroit où les spectres ou de leur chevauchement, où ils, vous savez, |
| |
où vous devrez peut-être faire un peu ... où cette seconde dérivée entrerait en jeu, où vous avez peut-être des pics qui se chevauchent ici, à droite, |
| |
et peut-être de retour par ici. Alors |
| |
c'est là que cela aide vraiment à construire une meilleure vision de ce que vous voyez. Et cette ligne zéro, encore une fois, dit, où, vous savez, lorsque vous la traversez, cette ligne zéro est une indication des pics, où elle utilise la première dérivée. |
| |
Très bien, alors passons à une démo. |
| |
Très bien, sors de là. |
| |
Parlons donc de la visualisation des données ... les données d'abord. N'oubliez pas que chaque fois que vous obtenez un nouvel ensemble de données, la meilleure chose à faire est de le récupérer et de le visualiser. Vous savez, tracez ces données, obtenez une meilleure idée de ce à quoi vous êtes confronté. Et descendons ici et tirons vers le haut |
| |
nos données brutes sur le gluten. D'accord, nous avons donc importé les données. Maintenant, nous devons faire un peu de visualisation dessus, et allons-y ... allons à Graph Builder. |
| |
Bien et les premières choses que nous allons faire, |
| |
déplacez-le un peu, passez aux données brutes. Bon, maintenant nous allons le faire. |
| |
Et ce sont les données ponctuelles, donc c'est ce que nous ... ce que nous avons vu avant de faire un lissage, avant de faire quoi que ce soit d'autre. C'était ces données de ligne et, si je peux changer cela en |
| |
un tracé parallèle, à droite, qui me donne les données de ligne pour les spectres. Encore une fois, nous ne pouvons pas voir beaucoup de ce qui se passe là-bas, mais cela nous donne une meilleure idée de la situation. Je peux faire ça ... |
| |
nous pouvons faire certaines choses ici, quelque chose qui s'appelle ... si nous en avons besoin, et vous verrez cela avec d'autres données, ce parallèle a fusionné. Mais cela n'a rien changé. Il n'en a pas rassemblé, comme vous verrez ce que certaines des autres données, donc je vais fermer cela. |
| |
Bien, et certains des autres outils que j'aime utiliser lorsque je visualise les données sont la carte de contrôle multivariée pilotée par modèle, et faisons-le en premier. |
| |
Nous passons donc à l'analyse, à la qualité et aux processus et au diagramme de contrôle multivarié piloté par modèle. |
| |
Faites monter cela. |
| |
D'accord, je n'ai pas de données historiques, alors je dis d'accord. Et ce que cela nous permet de faire, c'est de regarder les données et de dire, d'accord, |
| |
nous pouvons voir des regroupements de spectres, à droite. Et pour la plupart, c'est ... je veux juste le souligner, |
| |
nous sommes en mesure d'expliquer la plupart de la variation que nous voyons, au moins jusqu'à 85% de la variation avec deux composants principaux, d'accord. Et c'est en utilisant ça ??? T au carré |
| |
les informations que nous avons ici. Et cela nous indique également où les choses pourraient être hors de contrôle pour un spectre donné, n'est-ce pas. Pourquoi est-ce différent du reste du groupe? |
| |
Donc, si je survole l'un de ces points, je peux le retirer, d'accord. Si je survole l'un des points hors de contrôle, encore une fois, retirez-le, |
| |
et maintenant nous pouvons voir, wow, ceux-ci sont vraiment différents, vous savez. Il y a quelque chose de différent dans ce spectre que nous devons, vous savez, peut-être mieux comprendre. Dans ce cas, nous avons déjà une meilleure compréhension, car nous savons que ce sont des mélanges, mais nous voulons voir cela. |
| |
Et retirons celui-ci aussi. Très bien, c'est donc encore une fois. Donc, entre ces trois spectres, nous avons une grande variété de, vous savez, le mélange. Nous avons donc trois des ... trois des groupes et nous pourrions y ajouter les deux autres, juste pour voir. Mais nous en resterons là pour l'instant. |
| |
D'accord, c'est donc la carte de contrôle multivariée basée sur le modèle. L'autre outil que j'aime utiliser est ... c'est sous des méthodes multivariées et ça s'appelle la mise à l'échelle multidimensionnelle. |
| |
Et la raison pour laquelle j'aime utiliser ceci est, en particulier pour des systèmes comme celui-ci, |
| |
c'est que nous avons |
| |
nos données brutes à nouveau, c'est vrai, et nous devons ... |
| |
laissez-moi configurer cela en premier et je vous le dirai. |
| |
Nous avons deux dimensions ici, d'accord, et c'est juste basé sur ce que nous avons vu auparavant, mais la raison pour laquelle j'aime utiliser est que cela nous permet de regrouper ou de visualiser un regroupement des données elles-mêmes. Bien, |
| |
faisons cela. Cela prend une seconde à venir. |
| |
Et nous pouvons voir que nous avons cinq groupes distincts de spectres, à droite, donc chacun de ceux-ci a à voir avec un groupe de notre mélange d'amidon et de gluten. Si je souligne ce regroupement ici, c'est le premier groupe, qui est tout, vous savez, 100% amidon. |
| |
Le groupe du milieu est un mélange 50/50 et ce groupe ici est 100% gluten. Bien, donc, cela met également en évidence les données dans le tableau de données, comme indiqué ici, de sorte que |
| |
l'interactivité est également agréable. Ce que cela nous montre aussi, c'est que nous faisons déjà un assez bon travail de ... déjà de pouvoir faire éclater les différents groupes. Si nous regardons le diagramme de Shepard, |
| |
nous avons R carré de 1 et |
| |
ligne droite, d'accord. Encore une fois, c'est un bon moyen de le visualiser, et vous pouvez faire plus avec cela, mais nous laisserons cela pour une autre fois. |
| |
D'accord, jusqu'ici, |
| |
nous avons introduit les données, nous les avons visualisées, c'est vrai, et maintenant nous devons effectuer un prétraitement. |
| |
Et ce que nous allons faire, j'ai ces derniers, plus ou moins, voici des espaces réservés donc nous allons faire une analyse Savitzky-Golay et nous allons faire une varite normale standard, au moins sur le premier dérivé, d'accord. |
| |
Très bien, alors laissez-moi nettoyer un peu ça. |
| |
Bien, fermez ça. |
| |
Et encore une fois, nous allons prendre ces données brutes et nous allons utiliser ce complément Savitzky-Golay pour faire l'analyse. C'est donc sous les compléments pour moi. |
| |
Et ceci est un complément gratuit, vous pouvez donc l'obtenir et nous le publierons pour vous. Donc c'est encore une fois, nous allons prendre les données brutes, |
| |
à droite, et si vous voulez en savoir plus sur ce qu'est Savitzky-Golay, nous avons un lien Wikipédia ici afin que vous puissiez l'utiliser. Mais nous allons l'utiliser pour aider à lisser les données à chaque longueur d'onde, à droite, puis prendre cette dérivée première et seconde. Et je dis, d'accord. |
| |
Et nous y voilà, et nous avons nos données fluides ici. |
| |
Et une chose, vous savez, vous pouvez ajuster cela au besoin, mais ce que nous voulons faire, c'est en quelque sorte prendre cela, |
| |
élargissez un peu cette fenêtre. |
| |
Très bien. |
| |
Faites celui-là. |
| |
Et vous pouvez jouer avec les polynômes ici, l'ordre d'ajustement polynomial. |
| |
Dans ce cas, cela ne fait vraiment pas beaucoup de différence d'aller à, quoi, un polynôme du huitième ordre. Un deuxième ... le deuxième ordre fait très bien. D'accord, et nous pourrons ensuite prendre ces données à partir de notre premier dérivé. |
| |
Dites enregistrer des données fluides, à droite, et nous pouvons les enregistrer dans la table de données. Et je l'ai déjà fait, donc je n'ai pas à vous montrer ce processus, mais sachez simplement que les données sont ensuite reprises dans la table de données à partir de là, d'accord. |
| |
Clôturons cela. |
| |
Très bien, et nous sommes prêts à partir maintenant, mais maintenant nous devons faire cette dernière étape, d'accord. Alors regardons ... avant d'y aller, revenons en arrière et regardons |
| |
nos données Savitzky-Golay. Ce sont donc les premières données dérivées. Je voudrais à nouveau regarder cela sous le |
| |
Graph Builder, à droite. Et voyez que ... ça ne semble pas très prometteur là-bas, mais faisons un complot parallèle, |
| |
le rend un peu meilleur. Et nettoyez-le, puis faisons cette fusion parallèle des échelles combinées, ce qui amène les données dans beaucoup plus |
| |
visuel ... un meilleur visuel qu'avant, non. Nous pouvons jouer le ... jouer avec ça et encore une fois, nous pourrions ajouter notre propre ligne zéro ici pour avoir une meilleure compréhension de l'endroit où les pics se croisent. |
| |
Mais ce sont ces premières données dérivées. C'est ... vous pouvez voir les groupes, mais ils ne sont pas, vous savez, ils ne sont pas complètement séparés comme vous aimeriez vraiment les avoir pour avoir une meilleure idée, d'accord. |
| |
Nous sommes donc installés là-bas. Ces données sont de retour dans le tableau de données. Je vais clore cela, puis rappelez-vous que j'ai dit, vous devez empiler les données pour le ... pour faire la variable normale standard, donc nous devons le faire. Commençons par sous-regrouper certaines données ici. |
| |
Très bien, alors |
| |
sous-ensemble tous ces éléments. |
| |
Les tables. Sous-ensemble. |
| |
Toutes les lignes. Colonnes sélectionnées et dites d'accord. Très bien, maintenant nous sommes prêts à y aller. |
| |
Droit. |
| |
Au moins, nous sommes ... nous avons les données séparées, d'accord. Maintenant, nous devons faire ... empiler les données, d'accord. Et encore une fois, c'est pour pouvoir mettre le filtre sur toutes les données dont nous avons besoin pour la formule. |
| |
Donc sous les tableaux. Empiler. |
| |
Et ce sont nos colonnes que nous empilons. |
| |
À droite, et pile par ligne. |
| |
Je vais sélectionner les colonnes que nous voulons conserver. |
| |
En plus de ça. Et après, |
| |
Je suis désolé ... Je clique juste pour obtenir cette configuration, mais vous aurez l'idée. Je vais laisser cela une seconde pour que les gens voient ce qu'il faut pour y arriver. Alors j'ai gardé ça. |
| |
Vous savez, voyez le 12 sans titre maintenant. Ce sont nos données empilées, à droite, et maintenant nous pouvons effectuer cette variable normale standard. Un moyen rapide de le faire est de créer une nouvelle colonne, |
| |
clic-droit. |
| |
Et je dois construire cette formule à partir d'ici, de l'éditeur de formule. Je vais utiliser cet outil statistique appelé |
| |
normaliser la colonne, à droite. Et si je survole ceci, ici, cela vous donne une idée de ce que vous en faites. Que signifie standardisé, non. Nous allons donc ... |
| |
une moyenne de 0 et un écart type de 1, c'est donc ce que nous essayons d'obtenir avec les données et par rapport à tous les spectres donnés. Nous devons donc prendre les données |
| |
ici et là, rappelez-vous que j'ai dit que nous devions ajouter cette bivariable, qui, dans ce cas, va être le spectre. Je vais dire d'accord. |
| |
Très bien, et cela nous donne un ensemble de données. Maintenant, il y a un moyen plus simple de faire cela, ou ce que je pense est un moyen plus simple, mais cela peut aussi être ... |
| |
cela prend parfois un peu plus de temps. Mais si je clique droit sur les spectres ici, et encore une fois, souviens-toi que je fais cela parce que nous avons besoin d'une variable bivariée. Je vais donc accéder aux nouvelles informations de colonne et créer ce groupe. |
| |
Et je vais prendre ma colonne de données et je vais faire un clic droit dessus et je vais créer une nouvelle colonne de formule. |
| |
Nous allons passer à la distribution et nous rappeler, standardisés. Nous sommes ... alors nous voulons ça |
| |
moyenne de 0; écart type de 1. Sélectionnez cela et ensuite cela construit cette nouvelle colonne. La bonne chose à ce sujet est que les données correspondent, donc je peux pousser un soupir de soulagement d'avoir bien compris. |
| |
Bon, donc j'ai ça. Maintenant, cela nécessiterait d'ici, je vais cliquer sur cette colonne, |
| |
que nous prenions ces données, les divisions et les remettions ensuite dans la table de données régulière ou dans la table de données initiale. Une chose que je veux vous montrer avec ceci est que |
| |
une fois que vous avez empilé les données, vous pouvez effectuer d'autres visualisations, à droite. Donc, si je vais au ... retour au générateur de graphes à droite, je veux prendre ces données |
| |
dans le |
| |
Y, et puis je vais retirer l'étiquette, et c'est une façon cool de voir où se trouve toute la variation. Donc ce sont tous les, |
| |
vous savez, des boîtes à moustaches pour savoir où ... vous voyez la variation des données, donc c'est juste une très bonne façon de pouvoir visualiser ce qui se passe. |
| |
Un autre moyen puissant d'utiliser le générateur de graphes, et les données doivent être empilées dans ce cas pour le faire. Maintenant, vous pouvez aussi faire |
| |
si vous récupérez les données de points, enlevons cela, mettons les données de points là-dedans, puis nous pourrions faire un lissage. Maintenant, c'est un lissage individuel, donc c'est une moyenne ... pour chaque ... pour toutes les données. Ce que nous aimerions faire, c'est faire ça |
| |
Lissage Savitzky-Golay, donc je dois m'arrêter |
| |
la superposition, à droite. Voilà donc toutes les données. Maintenant, ça va être difficile à voir, mais je vais le faire, j'espère que vous pouvez le voir, si je sélectionne sous plus lisse, nous allons passer à Savitzky-Golay. |
| |
D'accord, et je pense que vous ... j'espère que vous avez vu que cela correspond maintenant à cette ligne, cette ligne de lissage juste là. |
| |
C'est une autre façon de lisser les données, à droite, en utilisant le Savitzky-Golay. Et puis vous pouvez changer cela en quadratique, vous pouvez faire un découpage local ici, puis finalement, vous pouvez le sauvegarder dans la table de données. |
| |
Je vais en rester là pour le moment. |
| |
Bon et rappelez-vous, nous avons dû diviser ces données, les sauvegarder dans la table de données. Je vais renoncer à l'étape de fractionnement, puis revenir simplement aux données ... la table de données d'origine. |
| |
Je n'ai pas besoin de ça. |
| |
Juste et puis quand je |
| |
regardez à nouveau les données sous Graph Builder, |
| |
Je peux prendre ce groupe variable standard normal, |
| |
laissez tomber ça. Encore une fois, cela ne semble pas très prometteur, mais nous allons faire le tracé parallèle puis faire un clic droit. |
| |
Combinez ces échelles. |
| |
Et c'est fondamentalement notre lissage fini, d'accord. Nous avons donc tout mis en place. Encore une fois, nous pourrions ajouter une ligne zéro ici, |
| |
si besoin. Allons-y et ajoutons cela. |
| |
Zéro et nous ferons une sorte de vert, |
| |
il y a ça, ajoutez-le. |
| |
Dites OK, et encore une fois, vous utiliserez ceci pour vous aider à déterminer où se trouvent vos pics. |
| |
Sur la base du maximum de crête lorsque j'ai franchi ce point zéro, d'accord. |
| |
Tellement à peu près, c'est tout. Revenons à notre |
| |
Power Point. |
| |
Donc en conclusion, pré-traitement ... nous devions pré-traiter les données ... pré-traiter les données pour les rendre plus propres, pour les obtenir, vous savez, beaucoup plus facile à travailler. |
| |
Où aussi avec JMP ... |
| |
JMP fait ceci ... |
| |
nous travaillons pour rendre ce processus beaucoup plus facile. Le pré-traitement dans JMP 16 sera pris en charge par des compléments et des fonctionnalités intégrées. |
| |
Nous attendons avec impatience le JMP 17 où le prétraitement, ce qui sera offert dans l'Explorateur de données fonctionnelles avec des options de lissage spectral et de base beaucoup plus sophistiquées, ainsi que la détection et la sélection de pics. |
| |
Pour analyser les données spectrales, s'il vous plaît, là ... il y avait une conférence que j'ai faite en 2020 pour le Discovery |
| |
Munich. C'était une discussion virtuelle, mais cela vous donnera une bonne idée de la façon d'utiliser JMP pour analyser vos données spectrales. |
| |
Et avec cela, je vais vous dire merci et, espérons-le, vous avez tous trouvé ... cela utile. S'il vous plaît, faites-moi savoir. |
