Conférencier
|
Transcription
|
| Jeremy Ash, JMP |
Bonjour et merci d'être venu à notre discussion. Je suis Jeremy Ash. Je suis statisticien dans la R&D de JMP et Bill Worley est ici. C'est un ingénieur système senior. Nous allons parler de l'analyse des données de spectroscopie proche infrarouge dans JMP. |
| |
Ce n'est donc pas la première conférence qui a été faite sur ce sujet. Bill a plusieurs conférences connexes que vous pouvez trouver sur la communauté. |
| |
J'ai des liens vers quelques-uns d'entre eux ici, qui sont sur du matériel complémentaire et |
| |
Bill donne une conférence sur FDE et DOE pour modéliser efficacement des modèles d'étalonnage multivariés avec moins d'expériences, et il a également couvert le prétraitement des spectres plus en détail |
| |
à Discovery Europe plus tôt cette année. Et puis Bill et moi avons écrit une série de blogs sur ce sujet, et c'est sur le Communit. Voici les sujets que nous avons traités jusqu'à présent, et nous avons créé un complément JMP, dont je démontrerai l'utilisation plus tard. |
| |
Ainsi, un cas d'utilisation courant de la spectroscopie infrarouge proche consiste à déterminer la composition chimique d'un mélange et je montre un exemple de spectre proche infrarouge sur la droite. |
| |
Et une certaine mesure de l'absorbance est collectée sur une gamme de longueurs d'onde, et les spectres représentent ici un échantillon de céréales en poudre, qui est un mélange de plusieurs composants chimiques sous-jacents. |
| |
Et les spectres des composants purs sont en bas, et les spectres du mélange sont au-dessus. Et en raison de phénomènes comme |
| |
les harmoniques et les bandes combinées, les pics des composants individuels sont souvent larges et se chevauchent, ce qui rend difficile la déconvolution des spectres en composants sous-jacents. |
| |
Ainsi, au lieu de cela, la voie empruntée par les gens consiste à créer des modèles qui prédisent la composition en fonction de l'absorbance à de nombreuses longueurs d'onde, ce qui rend les données très dimensionnelles et les variables sont souvent fortement corrélées. |
| |
Ainsi, l'un des principaux défis à surmonter lors de l'analyse des spectres proches IR est que le rapport signal sur bruit est souvent faible et cela est dû à des variations incontrôlées. |
| |
causés par les effets de diffusion de la lumière. Et ceux-ci doivent être nettoyés avant qu'un modèle fiable puisse être construit. Ainsi, les données sont souvent soumises à des transformations de prétraitement majeures, et il existe plusieurs sources communes de bruit, qui sont illustrées à droite ici. |
| |
Les vrais spectres sont affichés en noir, puis les spectres en vert ont un décalage constant de la ligne de base ou un effet additif. |
| |
Et puis le spectre en bleu a un effet additif et un effet multiplicatif. Les effets multiplicatifs se produisent lorsque la distorsion est plus importante à des absorbances plus importantes, puis le spectre violet a un effet additif, un effet multiplicatif et une pente par rapport à la ligne de base. |
| |
Ensuite, je vais montrer quelques-unes des méthodes de prétraitement pour nettoyer ces sources de bruit. Tous ces éléments sont discutés plus en détail sur nos articles de blog, mais j'en montrerai plusieurs dans la démo et le premier dérivé de Savitzky-Golay nettoiera les effets additifs. |
| |
Et puis un second filtre dérivé nettoiera également les décalages de ligne de base inclinés. Et ce sont des méthodes couramment utilisées et efficaces, mais le problème est que la transformation est beaucoup plus difficile à interpréter que le spectre d'origine. |
| |
Ainsi, les autres méthodes de prétraitement que je mentionnerai font un meilleur travail pour maintenir cette interprétabilité. Les |
| |
centres et échelles de variables normales standard, de sorte qu'il y ait une moyenne nulle de la variance unitaire le long de chaque spectre, et il s'agit d'une simple normalisation mais elle est efficace pour nettoyer les effets additifs et multiplicatifs. |
| |
Et puis la correction de dispersion multiplicative, elle utilise un modèle linéaire pour que chaque spectre ressemble à un spectre de référence et souvent aucune référence n'est disponible, de sorte que les spectres moyens sont utilisés à la place. |
| |
Et puis la correction de diffusion multiplicative étendue est la seule méthode qui nettoiera les trois sources de bruit et c'est une méthode plus avancée qui nécessite des spectres de référence pour chaque composant d'un mélange. |
| |
Et nous verrons plus tard comment cela fonctionne. |
| |
Et puis, comme les données sont de grande dimension et que les variables sont fortement corrélées, de nombreuses méthodes multivariées sont applicables. Toutes les analyses répertoriées peuvent être réalisées dans JMP. |
| |
Les méthodes de réduction de dimensionnalité sont essentielles pour visualiser les données. Les méthodes courantes sont l'analyse des composants principaux ou la mise à l'échelle multidimensionnelle. |
| |
Et puis les principaux composants fonctionnels dans l'explorateur de données fonctionnelles sont une méthode particulièrement utile ici. |
| |
Et JMP est unique parmi les logiciels disponibles pour l'analyse spectrale et qu'il dispose d'une plate-forme d'analyse de données fonctionnelle conviviale. Et puisque les spectres ont une forme fonctionnelle, FDE a beaucoup d'utilisations potentielles pour les spectres. |
| |
Et nous commençons tout juste à explorer ces capacités. Et puis le clustering est commun. Le clustering hiérarchique dans JMP est particulièrement utile. |
| |
Ensuite, une analyse des valeurs aberrantes est généralement effectuée, |
| |
et pour ce faire, construisez d'abord un modèle PCA ou PLS, puis les valeurs aberrantes sont identifiées dans les graphiques T au carré et DModX. |
| |
Et tout cela peut être fait dans la plate-forme de carte de contrôle multivariée pilotée par un modèle. Et puis les modèles prédictifs qui prédisent la composition chimique en fonction des spectres, ceux-ci sont appelés modèles d'étalonnage multivariés, et ces modèles traitent les cas où il y a plus de variables que d'observations. |
| |
Et cela peut être bien fait avec PLS ou la régression pénalisée dans GenReg ou l'explorateur de données fonctionnelles. |
| |
Bon, je vais passer à JMP et commencer ma démo. |
| |
Je vais d'abord montrer comment lire des données spectrales à l'aide du complément d'outils spectraux. |
| |
Pour les fichiers délimités par du texte, le complément que nous fournissons n'est qu'un wrapper pour l'importateur de fichiers multiples, qui se trouve ici. |
| |
Mais le complément présente certaines des fonctionnalités les plus utiles. Et puis nous avons aussi un importateur JCAMP-DX, ce qui est nouveau pour JMP. Et en général, |
| |
La plupart de ces opérations peuvent déjà être effectuées dans JMP, mais mon objectif était d'écrire des wrappers qui rationalisent un peu le flux de travail pour les spectres. Et je dois également noter que cela sera amélioré dans JMP 17, donc j'espère que ce complément sera bientôt obsolète, mais |
| |
cela pourrait être utile dans l'immédiat, si vous construisez des modèles spectraux. |
| |
J'ai donc un |
| |
dossier avec des fichiers csv, un fichier par spectre, et dans ces fichiers, la première colonne est la variable X et la deuxième colonne est la variable Y. Je vais donc importer ce répertoire dans JMP. |
| |
Sélectionnez ce dossier. |
| |
Et je veux lire au format empilé car c'est le format utilisé par le complément. |
| |
Et puis j'ai un en-tête dans ces fichiers ; Je vais sélectionner cette option. Et je peux également l'utiliser pour sélectionner uniquement les fichiers csv. |
| |
Cela se lit donc dans les spectres dans un format empilé. |
| |
Et j'ai aussi des métadonnées dans une table JMP ici |
| |
que je veux ajouter à ce tableau de données. Et la façon dont je vais le faire est avec une jointure sur la colonne des spectres. |
| |
Mais j'ai lu les noms de fichiers avec une extension de fichier, alors utilisez du texte dans les colonnes ici pour |
| |
enlevez ces extensions. |
| |
Je lui donne un nom de fichier plus informatif. |
| |
Et je vais utiliser une mise à jour de table et je vais faire correspondre sur les colonnes de spectres. |
| |
Et puis la dernière chose que je vais montrer est... |
| |
ou je vais déplacer cette colonne de spectre ici. |
| |
D'accord, c'est ainsi que j'ai configuré cette table de données |
| |
et l'a ajouté aux exemples de données dans le complément. |
| |
Je vais donc jeter un premier coup d'œil aux données et pour ce faire, je vais utiliser la commande de lancement de Graph Builder dans le complément. |
| |
Je vais colorer au gluten. |
| |
Et sur la gauche ici, l'outil spectral configure des filtres de données locaux qui ont des contrôles utiles, vous pouvez donc filtrer sur la longueur d'onde pour vous concentrer uniquement sur les régions d'intérêt. Donc, si je voulais juste me concentrer sur ce pic ici et |
| |
si toutes les colonnes sont sélectionnées dans la table de données, je peux utiliser la commande show subset et cela créera simplement un sous-ensemble avec cette région d'intérêt. |
| |
Je peux également tracer des spectres individuels ici avec ce filtre, et |
| |
il est pratique de rechercher des spectres pour simplement tracer des sous-ensembles. |
| |
Et la dernière chose que je vais montrer, ce sont les commandes d'animation, |
| |
mais pour ce faire, je vais verrouiller les axes, sinon ils vont s'adapter aux spectres individuels. |
| |
Tenez... Je vais accélérer un peu, afin que nous puissions les parcourir très rapidement. |
| |
Et cette fonctionnalité est particulièrement utile si vous avez des spectres collectés à différents moments, comme dans la surveillance des réactions. |
| |
Et vous pouvez également utiliser nos nuages de points 3D dans un graphique pour visualiser ces données. |
| |
Bon, alors je vais |
| |
effacer ça |
| |
filtre. |
| |
Une chose à retenir lorsque vous avez |
| |
l'intrigue configurée comme vous le souhaitez, vous pouvez l'enregistrer |
| |
script de retour à la table de données, afin que vous puissiez recréer le graphique plus tard si vous souhaitez échanger de nouvelles données, comme après avoir effectué un prétraitement. |
| |
Donc, l'autre chose que je voulais montrer est de visualiser la variabilité et quelques tracés de diagnostic. Pour ce faire, je vais supprimer les variables de regroupement |
| |
et cela me donnera un résumé des spectres en général. Et je peux utiliser des box plots. Ceux-ci sont |
| |
utiles pour se faire une idée si la variation est constante entre les longueurs d'onde, sont spécifiques à certaines longueurs d'onde. Si c'est constant, cela indique la nécessité d'un prétraitement supplémentaire, mais si c'est spécifique aux longueurs d'onde, ce sont souvent de vrais effets chimiques, donc ils sont utiles. |
| |
Et puis une autre façon de visualiser la variabilité est avec |
| |
tracés à barres. J'aime utiliser des graphiques à barres flottantes et vous pouvez également ajouter des variables de regroupement si vous souhaitez examiner la variabilité dans différents sous-groupes. |
| |
Et c'est tout ce que je vais montrer avec la visualisation. Et l'autre chose que je voulais mentionner est comment lire les fichiers JCAMP-DX. |
| |
J'ai donc un répertoire |
| |
cette |
| |
contient deux fichiers JCAMP-DX provenant du site Web standard JCAMP-DX. je n'étais pas à l'aise |
| |
partageant des fichiers que nous utilisons pour tester le complément, car ceux-ci provenaient de clients. Je viens donc de prendre un fichier test de ce site Web et de le dupliquer deux fois pour montrer comment nous pouvons lire dans |
| |
plusieurs fichiers. Et nous ne prenons en charge que le format le plus courant et c'est-à-dire les fichiers avec une liste de variables X/Y sans compression et nous ne prenons en charge qu'un seul spectre par fichier. Et je crois que c'est le format le plus courant, mais si vous avez besoin d'autre chose, faites-le nous savoir. |
| |
Je vais donc lire ça avec... |
| |
ici, avec les options par défaut. |
| |
Et juste pour te montrer que |
| |
cela a été lu correctement, |
| |
tracez-le dans Graph Builder. |
| |
Cela montre les mêmes spectres, ce sont en fait des spectres RMN, mais c'est aussi un format courant pour le spectre NIR. |
| |
Alors c'est tout ce que je vais montrer |
| |
avec importation de données. |
| |
Et ensuite, je vais montrer quelques-unes des méthodes de prétraitement simples qui sont dans les outils spectraux. L'intention était de fournir un prétraitement de base qui permet aux utilisateurs de se lancer sur des modèles d'étalonnage simples avec quelque chose comme PLS |
| |
afin que nous puissions obtenir des commentaires sur le flux de travail, mais nous prévoyons une suite plus complète de méthodes de prétraitement dans FDE dans JMP 17, ce sera uniquement Pro mais, nous encourageons les utilisateurs à utiliser FDE car cette plate-forme est vraiment spécialisée dans la modélisation de données fonctionnelles comme les spectres. |
| |
Alors d'abord je vais montrer |
| |
Lissage Savitzky-Golay. |
| |
Et vous pouvez changer le degré du polynôme utilisé ici. Vous pouvez modifier la taille de la fenêtre coulissante ; une plus grande taille est plus agressivement lissée. Et puis la garniture ici coupera les fenêtres coulissantes déséquilibrées. |
| |
Et Savitzky-Golay est en fait un cas particulier de régression du noyau local, vous pouvez donc essayer les autres options pour cela |
| |
dans Graph Builder, comme différentes manières de définir votre fenêtre glissante et différentes fonctions de pondération. Et une fois que vous avez choisi les paramètres souhaités, vous pouvez enregistrer les spectres dans la table. |
| |
Et donc ensuite, je vais montrer la variable normale standard appliquée à |
| |
les spectres lisses. |
| |
Et |
| |
cela se centre et se met à l'échelle individuellement le long de chaque spectre, et vous pouvez également le faire avec une formule de colonne. Bill le montrera dans son discours de prétraitement. |
| |
Alors maintenant je vais visualiser l'avant et l'après |
| |
en utilisant ça. Lancez Graph Builder. |
| |
Coloration par le gluten. |
| |
Vous pouvez voir qu'avec ces simples méthodes de prétraitement, nous avons fait beaucoup pour nettoyer le bruit dans les spectres. Il y a encore du bruit dans les sous-groupes. |
| |
Et puis Bill a montré dans son discours plus tôt comment vous pouvez nettoyer les données encore plus si vous utilisez un filtre dérivé premier de Savitzky-Golay. Et c'est dans un autre complément que nous avons essayé dans le billet de blog, mais je n'entrerai pas dans les détails ici. |
| |
La principale chose à savoir, Bill le montrera, est que d'abord, faites un premier filtre dérivé, puis une variable normale standard nettoiera tous les effets multiplicatifs restants. |
| |
Il s'avère donc que vous pouvez faire encore mieux |
| |
prétraitement de ces spectres à l'aide de ce qu'on appelle la correction de dispersion multiplicative étendue. |
| |
J'ai donc cette configuration ici. |
| |
Donc, ces données ont en fait été tirées d'un article qui a introduit la correction étendue de la dispersion multiplicative (appelez simplement cela EMSC à partir de maintenant) et |
| |
pour montrer les avantages de cette méthode de prétraitement, j'utiliserai un diagramme d'effets de dispersion. Mais pour ce faire, je dois calculer l'absorbance moyenne à chaque longueur d'onde. |
| |
Et je peux le faire avec une formule de colonne ici. |
| |
Et puis je vais tracer cela dans Graph Builder. |
| |
Ainsi, le graphique des effets de dispersion trace l'absorbance moyenne à chaque longueur d'onde par les absorbances individuelles, et les pentes sur l'axe Y indiquent un effet additif, alors que |
| |
changements dans |
| |
La pente des spectres individuels apparaît comme un éventail dans ces graphiques, ce qui indique un effet multiplicatif. Et puis les effets chimiques, de manière intéressante, apparaissent sous forme de boucles dans ces parcelles. |
| |
Et donc il y a clairement un grand effet additif ici, donc pour nettoyer cela, je peux utiliser un premier filtre dérivé Savitzky-Golay. J'ai ces données ici. |
| |
Donc, cela nettoie considérablement l'effet additif, mais il reste encore un peu de ventilation dans ces intrigues. Vous pouvez donc nettoyer cela avec une variable normale standard. |
| |
Mais au lieu de cela, l'EMSC supprime les effets additifs et multiplicatifs en une seule étape, et il ne nécessite pas de transformation dérivée, ce qui est utile car cela rendra les spectres résultants plus faciles à interpréter. |
| |
Et essentiellement, ce que fait l'EMSC, c'est qu'il sépare la variation dans les spectres due aux effets chimiques et la variation due au bruit. |
| |
Et puis il soustrait la variation due au bruit et il le fait avec un modèle linéaire, j'ai donc défini les termes dont j'ai besoin pour le modèle ici. Et |
| |
nous couvrons les détails de cela dans le blog. Tout ce que je vais dire, c'est que vous pouvez utiliser le modèle d'ajustement |
| |
pour s'adapter au modèle EMSC, et c'est un outil pédagogique très utile pour comprendre comment le modèle de prétraitement est appliqué afin que ce ne soit plus une boîte noire. Et donc ici dans le modèle, nous avons un modèle séparé pour chaque spectre et les coefficients estimés |
| |
sont utilisés dans la correction, et vous pouvez... vous pouvez aussi |
| |
relancer ça |
| |
modèle avec différents effets pour voir comment cela change les choses. |
| |
J'ai donc appliqué la correction finale ici et je vais juste montrer l'avant et l'après. |
| |
Donc |
| |
les spectres sont maintenant remarquablement exempts d'effets de diffusion, et l'effet sur les spectres est |
| |
en raison du changement dans la composition du mélange est maintenant clair. C'est donc tout ce que je vais couvrir, et je vais le remettre à Bill et il pourra couvrir certaines des méthodes de modélisation. |
| Bill Worley |
Salut, merci Jérémy. |
| |
Passons aux écrans ici. |
| |
Et vous devriez voir mon tableau de données à peu près maintenant. J'espère dès que je clique dessus. |
| |
Tout le monde voit-il ma table de données ? |
| Jeremy Ash, JMP |
Oui. |
| Bill Worley |
Bon alors on y va. Ce sont les mêmes données que Jeremy utilisait, sauf que dans ce cas, nous les avons... je les ai au format large. Juste pour vous faire savoir que vous pouvez analyser les données dans les deux sens. Certaines personnes préfèrent le format pile, d'autres préfèrent le format large. |
| |
Alors sachez simplement que cela peut être fait. La seule chose... la première chose que je veux te montrer c'est, |
| |
ce dont Jeremy parlait avant, c'est de savoir comment nous pouvons regarder les données dans le format brut, puis faire cette dérivée première de Savitzky-Golay, puis la norme éventuelle... le lissage des variables normales standard. Et encore, sachez simplement que cela se fait en grand format. |
| |
D'accord, donc vous montrant que cela peut être fait là-bas. |
| |
Ensuite, je veux montrer est |
| |
analyse des composants principaux. C'est assez standard pour la plupart des gens qui utilisent ou analysent des données spectrales. |
| |
Ce que nous... c'est tout à fait faisable dans JMP. C'est, tu sais, tu vas analyser, |
| |
méthodes multivariées et composantes principales. Donc je l'ai déjà fait. J'ai déjà mis en place ce que nous montrons ici, c'est que, pour la plupart, avec deux composants principaux, nous pouvons expliquer toutes les variations qui se produisent. Si nous regardons ce graphique de score ici, |
| |
vous pouvez voir que le sous-groupement des différents groupes des mélanges que nous avons, le gluten et l'amidon. |
| |
Nous avons... |
| |
eh bien, nous pouvons juste voir ce sous-groupe. C'est bien fait là-bas. L'autre chose que vous pouvez voir, c'est que Jeremy avait parlé de données hautement corrélées. |
| |
Nous montrons cela dans cette autre parcelle de composant ici. Nous pouvons activer les variables mais... les étiquettes mais ce serait un peu foiré |
| |
regarder. Ci-dessous se trouve un graphique d'analyse des valeurs aberrantes, il s'agit donc d'un graphique en T carré et nous utilisons les deux principaux composants de l'analyse. Et cela montre que, oui, peut-être que nous avons certains des spectres qui pourraient être un peu en dehors de... |
| |
ce sont peut-être des valeurs aberrantes, mais dans la plupart des cas... dans la plupart des cas, nous n'allions pas utiliser toutes les données de toute façon ; c'est juste une sorte de moyen de cerner les données, d'accord. |
| |
Ensuite, je veux montrer ce qu'on appelle la carte de contrôle multivariée pilotée par un modèle, et c'est pratiquement la même chose que j'ai faite avec les composants principaux juste dans un |
| |
autrement. Nous examinons donc ces deux mêmes composants principaux |
| |
ici, et nous avons le regroupement des sous-groupes ici. Et si nous regardons en bas, nous avons quelque chose appelé le DModX normalisé, qui est une autre façon de regarder la valeur aberrante... |
| |
valeurs aberrantes potentielles dans vos données. Sachez simplement que c'est là. L'autre chose que les cartes de contrôle multivariées basées sur un modèle offrent est un moyen de comparer vos données. |
| |
Ce que j'ai fait ici, c'est que j'ai sélectionné les échantillons 13, 46, 95 et 45 pour montrer ces différences entre |
| |
ces quatre spectres, à droite. Alors maintenant, nous pouvons voir que ces... de ces groupes, ils sont assez différents, n'est-ce pas, les spectres sont assez différents. |
| |
L'autre façon de faire cette comparaison est ici à travers le tracé des scores. Je vais sélectionner la lettre L, ce qui me donnera mon outil lasso. |
| |
Et je vais encercler cela du mieux que je peux, sans saisir aucune des autres données, et en faire le groupe A. Et puis ici dans le groupe rouge, ce dernier groupe rouge, |
| |
saisissez-le et sélectionnez-le. C'est mon groupe B et puis comparez, n'est-ce pas. Et puis cela vous permet de comparer à nouveau efficacement les données. |
| |
Pendant que je fais cela, je peux voir comment, vous savez, pendant que je sélectionne les spectres, ce qui est sélectionné dans les différents groupes, n'est-ce pas, donc c'est juste une façon sympa de visualiser les données. |
| |
Bien. Je vais passer au suivant. Ce sont donc des données brutes, d'accord. L'étape suivante concerne les données prétraitées, ce sont donc pratiquement les mêmes données que vous avez vues auparavant, |
| |
mais j'ai effectué le prétraitement, je suis donc passé des données brutes à la variable normale standard. Et encore, en utilisant les deux composants principaux ici, |
| |
on voit que les données sont un peu mieux regroupées. Il y a un peu... beaucoup moins de bruit, beaucoup moins de variation que ce tracé en T carré. Et je jure que je ne l'ai pas fait exprès, mais les données semblent être un peu plus heureuses maintenant, n'est-ce pas. C'est un peu un sourire. |
| |
Chacun de ces petits groupements ici est de 20 spectres. Si je survole cela, je peux tracer ce spectre, faire apparaître ce spectre, |
| |
et regardez ça, si je le souhaite, d'accord. Je peux faire le même regroupement que j'ai vu auparavant, alors essayons cela. Mettez en surbrillance ce |
| |
et cela rend les choses un peu plus faciles, parce que je n'ai pas à faire le... utiliser cet outil de dessin, parce que les données sont un peu mieux regroupées, n'est-ce pas. Dans ce même cas, je peux faire ce que j'ai fait avant, mettre les données en surbrillance, puis |
| |
faire des comparaisons au besoin, d'accord. C'est donc l'utilisation des composants principaux. Il existe une autre façon de faire le même type d'analyse, en utilisant |
| |
moindres carrés partiels. Vous enregistrez les scores X des moindres carrés partiels, puis utilisez ces données pour créer la carte de contrôle multivariée pilotée par le modèle à partir de là. Et encore une fois, cela a l'air vraiment propre. Ce sont les données prétraitées. Le regroupement est vraiment sympa, donc on peut le voir à partir de là. |
| |
Nous pouvons regarder le |
| |
DModX. C'est toujours un peu bruyant, mais pas aussi bruyant que les données lorsque nous examinons les données brutes avec les composants principaux, d'accord. Revenons donc à |
| |
en regardant une autre méthode d'analyse, et cela regarde le regroupement hiérarchique supérieur. Jeremy l'avait mentionné |
| |
initialement, et en regardant les données, |
| |
en regardant comment le clustering se produit. Si nous faisons les données brutes, nous pouvons voir qu'il y a beaucoup de petits clusters. |
| |
Et les données réelles sont... semblent être réparties en différents groupes. Je veux dire, ils... ils ne sont pas regroupés comme vous pourriez l'espérer, n'est-ce pas. Alors on a pris ça |
| |
données prétraitées, fait la même analyse et nous avons vraiment obtenu un très bon regroupement. Et chacun d'eux est en cinq groupes, c'est donc là que vous voyez ici. |
| |
Ainsi, l'amidon et le gluten sont très bien séparés ici. Si vous réenregistrez ces données dans votre table de données via la fonction de sauvegarde des clusters, |
| |
vous pouvez réellement l'utiliser dans votre modélisation, si vous le souhaitez. Vous pouvez également enregistrer la formule du cluster le plus proche, puis toutes les nouvelles données que vous obtiendrez seront |
| |
mettre dans le cluster dont il est le plus proche. |
| |
D'accord, ce ne sont que quelques façons d'importer vos données, de les examiner, de les configurer pour la modélisation, puis l'étape suivante consisterait à passer à la modélisation. Et ce que je vais vous montrer ensuite, ce sont les moindres carrés partiels, qui sont généralement ou... Je suis désolé, c'est une régression généralisée. |
| |
Il s'agit donc d'un modèle de régression généralisé que nous voulons montrer aux gens, n'est-ce pas, et |
| |
c'est |
| |
où nous pourrions voir certaines choses qui se passaient. Et on dirait que certaines choses ont changé en moi. |
| |
Je veux saisir... là, là. C'est mes moindres carrés partiels, et cela montre que j'ai en fait analysé les données d'une manière qui, espérons-le, |
| |
donnez-moi un bon modèle. Et ce que j'ai fait, je vais juste vous montrer comment le faire. Vous allez analyser, et c'est la version JMP Pro. Comme je l'ai dit, il y a... beaucoup de choses que je vous montre peuvent être faites dans JMP standard. Si je passe aux méthodes multivariées, |
| |
moindres carrés partiels, je peux faire la même analyse, mais je vais faire la version JMP Pro, d'accord. Et je vais sélectionner l'amidon et le gluten. |
| |
Je vais sélectionner mes données brutes et les ajouter, puis les exécuter à partir de là, |
| |
droit. Et j'ai mis la mauvaise configuration, mais allons-y |
| |
retour à |
| |
l'analyse que nous avons mise en place ici. Et je peux vous montrer deux ou trois choses différentes ici. Cela a été fait avec des données prétraitées. |
| |
D'accord, donc la coupe a l'air vraiment sympa et je vais vous montrer une comparaison de ces coupes dans un instant. Donc |
| |
nous avons nos données des moindres carrés partiels pour les données brutes, la partie... et ensuite les données prétraitées. Et si je veux les comparer, |
| |
Je peux voir comment ces modèles fonctionnent, n'est-ce pas. Ce que je montre ici maintenant, c'est une comparaison des données brutes à gauche, puis des données prétraitées à droite, et nous obtenons un bien meilleur ajustement avec des données prétraitées, donc cela revient à ce que Jeremy disait plus tôt. |
| |
Nous devons nettoyer ces données pour obtenir les meilleurs modèles prédictifs que nous pouvons obtenir, espérons-le, d'accord. |
| |
Une autre chose que je veux vous montrer est |
| |
les... |
| |
voyons où j'en suis ici. |
| |
Je veux vous montrer est l'explorateur de données fonctionnel. |
| |
Et c'est |
| |
une façon de... la toute dernière façon de modéliser ou, du moins pour JMP, la toute nouvelle façon de modéliser les données de spectre car vous pouvez analyser les données en continu. |
| |
Très bien, je vais donc vous montrer comment faire cela. Mais ce que cela montre, c'est que, pour le moment, si je regarde juste les données brutes, nous pouvons analyser cela avec deux composants principaux fonctionnels, |
| |
tout comme nous l'avons fait avec l'analyse en composantes principales, et nous pouvons obtenir un modèle assez décent. La seule chose qui va... vous remarquerez que c'est que c'est plus... c'est une méthode d'étalonnage multivariée, mais c'est une méthode multivariée inverse. |
| |
Passons en revue cette analyse. |
| |
Analyser. |
| |
Et puis nous devons passer à la modélisation spécialisée et nous allons passer à l'explorateur de données fonctionnelles. |
| |
Parce que j'ai les données au format large, je dois utiliser des lignes comme fonctions. |
| |
Je vais utiliser mon |
| |
l'amidon et le gluten comme variables supplémentaires. Spectra est mon identifiant, et je vais récupérer les données brutes. |
| |
D'accord. |
| |
Et il y a beaucoup de choses que vous pouvez faire avec les données maintenant dans l'explorateur de données fonctionnelles, en ce qui concerne le nettoyage et le prétraitement, mais comme l'a dit Jeremy, cela ne fera que s'améliorer dans JMP 17. |
| |
À partir de là, nous voulions faire de la modélisation ou construire un modèle à partir de cela. Nous voulons ajuster toutes les données, |
| |
nous allons donc passer aux modèles, PCA fonctionnelle directe. |
| |
Et si nous regardons cela ici, cela veut dire que nous pourrions utiliser cinq composants principaux fonctionnels, mais c'est presque une perte d'effort, car nous avons... |
| |
avec deux, nous ajustons en fait toutes les données, 100% des données, de la variation, à droite. Je vais donc faire glisser cela vers l'arrière, nettoyer cela un peu, puis redescendre. |
| |
Et regardons le tracé du score ici. |
| |
Cela nous montre les données, en tant que données brutes dans ces sous-groupes, comme nous l'avons vu précédemment, et tous les autres graphiques de score. Et la bonne chose à propos de ça, c'est que si je survole ça, je peux faire sortir ces spectres individuels |
| |
et comparez-les simplement visuellement, d'accord. |
| |
Plus bas ici, nous avons le profileur de composant principal fonctionnel et c'est sympa. Nous pouvons voir ce qui va arriver au |
| |
courbes au fur et à mesure que nous changeons les composants principaux fonctionnels, mais en essayant de dire aux gens, vous savez, allez changer le composant principal fonctionnel 2 |
| |
obtenir la courbe que vous voulez ne va pas... ne va pas bien. Donc, ce qui a été ajouté, c'est une capacité appelée analyse DOE fonctionnelle, d'accord. Et avec ça, tu peux |
| |
regardez la capacité de... ou comment les courbes changent, en fonction des composants que j'ai ajoutés, les composants supplémentaires, nos composants mixtes. Permettez-moi d'ajouter une chose ici et je vais modifier le linéaire. Je vais ajouter une contrainte. |
| |
et |
| |
change ça. |
| |
D'accord, et dites OK. Et puis quand nous regardons nos groupements ici, comme le... comme je descends dans l'amidon, ce gluten va monter, donc cette contrainte nous permet de regarder |
| |
comment les différents groupements ou les mélanges se comparent et qu'adviendra-t-il des courbes lorsque nous modifions les différents niveaux d'amidon et de gluten, d'accord. Et que, encore une fois, c'est sur un continuum, ce que nous avons fait dans les données est, vous savez, très défini |
| |
des parties des données, afin que nous puissions avoir une idée de ce qui va se passer, même au-dessus de... même si les mélanges ne sont pas exacts comme nous le montrons dans les données, d'accord. |
| |
D'accord, c'est donc avec les données brutes, et voyons si c'est... ma prochaine étape est... c'est pratiquement la même chose. |
| |
Et je veux m'assurer que j'ai le bon ici. Cela se fait avec les données prétraitées, c'est donc le même explorateur de données fonctionnel, |
| |
en utilisant les données prétraitées, excusez-moi, et vous pouvez déjà voir les différences. |
| |
Et les courbes au fur et à mesure que les données prétraitées arrivent, nous faisons... nous adaptons les modèles, nous obtenons deux composants principaux fonctionnels. Et ce que nous voulons regarder ici, c'est que le |
| |
tracé des scores. Et nous pouvons voir à nouveau comment ces regroupements de variables sont le fait les différentes versions ou les différentes |
| |
les groupements ou mélanges de gluten et d'amidon sont regroupés tellement mieux ici, d'accord. Alors et encore, vous pouvez en sortir différents, donc c'est un peu ça. |
| |
La dernière chose que je veux montrer ou parler, c'est de regarder ce qu'on appelle la régression généralisée. |
| |
Et si cela va |
| |
jouez bien avec moi, c'est l'ajustement de régression généralisé des données brutes, à droite. Et je l'ai fait en utilisant un ajustement net élastique avec une validation croisée k-fold. |
| |
J'ai réglé l'alpha du filet élastique à 0,56 pour obtenir un... ce que j'appelle un ajustement plus agréable à l'œil. Ce qu'il fait, c'est autoriser différents... ou plusieurs groupes de la |
| |
longueurs d'onde à ajouter à l'ajustement du modèle. Cela ne limitera pas seulement l'ajustement global de votre modèle. |
| |
Si je faisais ça, si je limitais cet élastique, cet alpha, j'obtiendrais un ajustement qui ressemble plus à ça. Et maintenant, c'est un modèle beaucoup plus petit, beaucoup plus simple, mais vous obtenez également... vous manquez peut-être certains des additifs ou |
| |
effets additifs qui pourraient vous aider à obtenir un meilleur ajustement global. C'est donc votre choix, le modèle le plus simple vous aidera à long terme, |
| |
si vous avez besoin d'avoir différents groupes, cela vous aidera à trouver différents groupes si vous avez un mélange de composants multiples, mais sachez simplement que l'ajustement avec le |
| |
Un alpha net élastique inférieur permettra à plus de facteurs et plus de variables, plus de longueurs d'onde de faire partie du modèle, d'accord. |
| |
Et c'est avec les données brutes. Voyons si cela va me donner... |
| |
nous allons juste voir si nous obtenons... et alors c'est l'ajustement avec le |
| |
des données entièrement prétraitées, c'est donc pratiquement la même chose. |
| |
C'est juste que vous regardez une sortie globale différente, |
| |
droit. Vous regardez un modèle différent, il a l'air bien différent. C'est, encore une fois, en utilisant les différents élastiques nets alpha et |
| |
ce que... en fin de compte, ce que nous voulons faire, c'est simplement comparer ces choses. Si je compare le... |
| |
encore une fois, en regardant les données brutes PLS par rapport aux données prétraitées, elles obtiennent un ajustement bien amélioré. Si je regarde la régression généralisée par rapport à... il s'agit donc de données partielles des moindres carrés pour |
| |
prétraité, prétraité à l'aide d'une régression généralisée à un alpha net élastique plus petit, puis à un alpha net élastique plus élevé. Nous obtenons de bons ajustements partout, n'est-ce pas, donc cela ne fait pas de mal ou d'enquêter sur l'utilisation du |
| |
régression généralisée dans JMP Pro par rapport à vos moindres carrés partiels. En fait, vous obtenez de très bons modèles et |
| |
c'est juste un excellent moyen, vous savez, d'analyser vos données et de créer des modèles prédictifs pour une comparaison future ou lorsque vous obtenez des données futures. |
| |
Sur ce, je vais vous dire merci. Jeremy, merci beaucoup pour votre participation. Et nous espérons que vous apprécierez tous cela. Veuillez nous faire part de vos commentaires. Nous recherchons des commentaires. Nous voulons savoir ce que les gens pensent de ces nouvelles capacités. |
