Conférencier
|
Transcription
|
| Jeremy Ash, JMP |
Bonjour et merci d'être venu à notre discussion. Je m'appelle Jeremy Ash. Je suis statisticien chez JMP R&D et Bill Worley est ici. Il est ingénieur système senior. Nous allons parler de l'analyse des données de spectroscopie proche IR dans JMP. |
| |
Ce n’est donc pas la première conférence faite sur ce sujet. Bill a plusieurs conférences connexes que vous pouvez trouver sur la Communauté. |
| |
J'ai des liens vers quelques-uns d'entre eux ici, qui concernent du matériel complémentaire et |
| |
Bill donne une conférence sur FDE et DOE pour modéliser efficacement des modèles d'étalonnage multivariés avec moins d'expériences, et il a également abordé plus en détail le prétraitement des spectres. |
| |
à Discovery Europe plus tôt cette année. Et puis Bill et moi avons écrit une série de blogs sur ce sujet, et c'est sur Communit. Voici les sujets que nous avons abordés jusqu'à présent et nous avons créé un complément JMP, dont je démontrerai l'utilisation plus tard. |
| |
Ainsi, un cas d'utilisation courant de la spectroscopie IR proche consiste à déterminer la composition chimique d'un mélange et je montre un exemple de spectres IR proche sur la droite. |
| |
Et une certaine mesure de l'absorbance est collectée sur une gamme de longueurs d'onde, et les spectres représentent ici un échantillon de céréales en poudre, qui est un mélange de plusieurs composants chimiques sous-jacents. |
| |
Et les spectres des composants purs sont en bas, et les spectres du mélange sont en haut. Et à cause d'un phénomène comme |
| |
Pour les harmoniques et les bandes combinées, les pics des composants individuels sont souvent larges et se chevauchent, ce qui rend difficile la déconvolution des spectres en composants sous-jacents. |
| |
Ainsi, la voie que les gens empruntent consiste à construire des modèles qui prédisent la composition en fonction de l’absorbance à de nombreuses longueurs d’onde, ce qui rend les données de grande dimension et les variables sont souvent fortement corrélées. |
| |
Ainsi, l’un des principaux défis à relever lors de l’analyse de spectres proches IR est que le rapport signal/bruit est souvent faible et cela est dû à des variations incontrôlées. |
| |
causée par les effets de diffusion de la lumière. Et ceux-ci doivent être nettoyés avant de pouvoir construire un modèle fiable. Ainsi, les données sont souvent soumises à des transformations majeures en prétraitement, et il existe plusieurs sources courantes de bruit, illustrées ici à droite. |
| |
Les spectres réels sont affichés en noir, puis les spectres en vert présentent un décalage de ligne de base constant ou un effet additif. |
| |
Et puis les spectres en bleu ont un effet additif et multiplicatif. Les effets multiplicatifs se produisent lorsque la distorsion est plus importante pour des absorbances plus grandes, et le spectre violet a alors un effet additif, un effet multiplicatif et une pente vers le décalage de la ligne de base. |
| |
Je vais donc ensuite montrer quelques-unes des méthodes de prétraitement permettant de nettoyer ces sources de bruit. Tous ces éléments sont abordés plus en détail dans nos articles de blog, mais j'en montrerai plusieurs dans la démo et la première dérivée de Savitzky-Golay nettoiera les effets additifs. |
| |
Et puis un filtre de dérivée seconde nettoiera également les décalages de ligne de base en pente. Et ce sont des méthodes couramment utilisées et efficaces, mais le problème est que la transformée est beaucoup plus difficile à interpréter que le spectre d'origine. |
| |
Ainsi, les autres méthodes de prétraitement que je mentionnerai font un meilleur travail pour maintenir cette interprétabilité. Le |
| |
centres et échelles variables normales standard, de sorte qu'il y ait une moyenne nulle dans la variance unitaire le long de chaque spectre, et il s'agit d'une normalisation simple mais elle est efficace pour nettoyer les effets additifs et multiplicatifs. |
| |
Et puis la correction de diffusion multiplicative, qui utilise un modèle linéaire pour faire ressembler chaque spectre à un spectre de référence et souvent aucune référence n'est disponible, de sorte que les spectres moyens sont utilisés à la place. |
| |
Et puis la correction de diffusion multiplicative étendue est la seule méthode qui nettoiera les trois sources de bruit et c'est une méthode plus avancée qui nécessite des spectres de référence pour chaque composant d'un mélange. |
| |
Et nous verrons comment cela fonctionne plus tard. |
| |
Et comme les données sont de grande dimension et que les variables sont fortement corrélées, de nombreuses méthodes multivariées sont applicables. Toutes les analyses répertoriées peuvent être effectuées dans JMP. |
| |
Les méthodes de réduction de dimensionnalité sont essentielles pour visualiser les données. Les méthodes courantes sont l’analyse des composantes principales ou la mise à l’échelle multidimensionnelle. |
| |
Et puis les principaux composants fonctionnels dans l’explorateur de données fonctionnelles sont ici une méthode particulièrement utile. |
| |
Et JMP est unique parmi les logiciels disponibles pour l'analyse spectrale et dispose d'une plate-forme d'analyse de données fonctionnelle et conviviale. Et comme les spectres ont une forme fonctionnelle, FDE a de nombreuses utilisations potentielles pour les spectres. |
| |
Et nous commençons tout juste à explorer ces capacités. Et puis le clustering est courant. Le clustering hiérarchique dans JMP est particulièrement utile. |
| |
Et puis une analyse des valeurs aberrantes est généralement effectuée, |
| |
et pour ce faire, construisez d'abord un modèle PCA ou PLS, puis les valeurs aberrantes sont identifiées dans les graphiques T au carré et DModX. |
| |
Et tout cela peut être fait dans la plate-forme de cartes de contrôle multivariées pilotées par modèle. Et puis les modèles prédictifs qui prédisent la composition chimique en fonction des spectres, sont appelés modèles d'étalonnage multivariés, et ces modèles traitent les cas où il y a plus de variables que d'observations. |
| |
Et cela peut également être fait avec PLS ou une régression pénalisée dans GenReg ou l'explorateur de données fonctionnel. |
| |
D'accord, je vais donc passer à JMP et lancer ma démo. |
| |
Je vais d’abord montrer comment lire des données spectrales à l’aide du complément d’outils spectraux. |
| |
Pour les fichiers délimités par du texte, le complément que nous fournissons n'est qu'un wrapper pour l'importateur de fichiers multiples, qui se trouve ici. |
| |
Mais le complément présente certaines des fonctionnalités les plus utiles. Et puis nous avons également un importateur JCAMP-DX, ce qui est nouveau pour JMP. Et en général, |
| |
la plupart de cela peut déjà être fait dans JMP, mais mon objectif était d'écrire des wrappers qui rationalisent un peu le flux de travail pour les spectres. Et je dois également noter que cela sera amélioré dans JMP 17, donc j'espère que ce complément sera bientôt obsolète, mais |
| |
cela pourrait être utile pour le moment, si vous construisez des modèles spectraux. |
| |
J'ai donc un |
| |
dossier avec des fichiers csv, un fichier par spectre, et dans ces fichiers, la première colonne est la variable X et la deuxième colonne est la variable Y. Je vais donc importer ce répertoire dans JMP. |
| |
Sélectionnez ce dossier. |
| |
Et je souhaite lire au format empilé, car c'est le format utilisé par le complément. |
| |
Et puis j'ai un en-tête dans ces fichiers ; Je vais sélectionner cette option. Et je peux également l'utiliser pour sélectionner uniquement des fichiers csv. |
| |
Cela se lit donc dans les spectres dans un format empilé. |
| |
Et j'ai aussi quelques métadonnées dans une table JMP ici |
| |
que je souhaite ajouter à ce tableau de données. Et la façon dont je vais le faire est d'effectuer une jointure sur la colonne des spectres. |
| |
Mais j'ai lu les noms de fichiers avec l'extension de fichier, alors utilisez le texte dans les colonnes ici pour |
| |
supprimez ces extensions. |
| |
Je donne à cela un nom de fichier plus informatif. |
| |
Et je vais utiliser une mise à jour de tableau et je vais faire correspondre les colonnes de spectres. |
| |
Et puis la dernière chose que je vais montrer, c'est... |
| |
ou je vais déplacer cette colonne de spectre ici. |
| |
D'accord, c'est ainsi que j'ai configuré ce tableau de données |
| |
et je l'ai ajouté aux exemples de données dans le complément. |
| |
Je vais donc jeter un premier coup d'œil aux données et pour ce faire, je vais utiliser la commande de lancement de Graph Builder dans le complément. |
| |
Je vais colorer par le gluten. |
| |
Et sur la gauche ici, l'outil spectral configure des filtres de données locaux dotés de commandes utiles, afin que vous puissiez filtrer sur la longueur d'onde pour vous concentrer uniquement sur les régions d'intérêt. Donc si je voulais juste me concentrer sur ce pic ici et |
| |
si toutes les colonnes sont sélectionnées dans la table de données, je peux utiliser la commande show subset et cela créera simplement un sous-ensemble avec cette région d'intérêt. |
| |
Je peux également tracer des spectres individuels ici avec ce filtre, et |
| |
il est pratique de rechercher des spectres pour tracer simplement des sous-ensembles. |
| |
Et la dernière chose que je vais montrer, ce sont les commandes d'animation, |
| |
mais pour cela je vais verrouiller les axes, sinon ils vont s'adapter aux spectres individuels. |
| |
Ici... Je vais accélérer un peu, afin que nous puissions les parcourir très rapidement. |
| |
Et cette fonctionnalité est particulièrement utile si vous avez collecté des spectres à différents moments, comme dans le cadre de la surveillance des réactions. |
| |
Et vous pouvez également utiliser nos nuages de points 3D sous forme graphique pour visualiser ces données. |
| |
D'accord, alors je vais |
| |
effacer ceci |
| |
filtre. |
| |
Une chose à retenir lorsque vous avez |
| |
l'intrigue est configurée comme vous le souhaitez, vous pouvez l'enregistrer |
| |
script à la table de données, afin que vous puissiez recréer le graphique plus tard si vous souhaitez échanger de nouvelles données, comme après avoir effectué un prétraitement. |
| |
Donc, la seule autre chose que je voulais montrer, c'est la visualisation de la variabilité et quelques graphiques de diagnostic. Pour ce faire, je vais supprimer les variables de regroupement |
| |
et cela me donnera un résumé des spectres dans leur ensemble. Et je peux utiliser des boîtes à moustaches. Ceux-ci sont |
| |
utiles pour avoir une idée si la variation est constante sur toutes les longueurs d'onde, sont spécifiques à certaines longueurs d'onde. S'il est constant, cela indique la nécessité d'un prétraitement supplémentaire, mais s'il est spécifique aux longueurs d'onde, il s'agit souvent de véritables effets chimiques, ils sont donc utiles. |
| |
Et puis une autre façon de visualiser la variabilité est d'utiliser |
| |
parcelles à barres. J'aime utiliser des graphiques à barres flottantes, puis vous pouvez également ajouter des variables de regroupement si vous souhaitez examiner la variabilité dans différents sous-groupes. |
| |
Et c'est donc tout ce que je vais montrer avec la visualisation. Et la seule autre chose que je voulais mentionner est la façon de lire les fichiers JCAMP-DX. |
| |
J'ai donc un répertoire |
| |
que |
| |
contient deux fichiers JCAMP-DX provenant du site Web standard JCAMP-DX. je n'étais pas à l'aise |
| |
partager les fichiers que nous utilisons pour tester le complément, car ceux-ci proviennent de clients. Je viens donc de prendre un fichier de test de ce site Web et de le dupliquer deux fois pour montrer comment nous pouvons lire |
| |
plusieurs fichiers. Et nous ne prenons en charge que le format le plus courant, à savoir les fichiers avec une liste de variables X/Y sans compression, et nous ne prenons en charge qu'un seul spectre par fichier. Et je pense que c'est le format le plus courant, mais si vous avez besoin d'autre chose, faites-le nous savoir. |
| |
Je vais donc lire ça avec... |
| |
ici, avec les options par défaut. |
| |
Et juste pour te montrer ça |
| |
cela a été lu correctement, |
| |
tracez-le dans Graph Builder. |
| |
Cela montre les mêmes spectres, ce sont en fait des spectres RMN, mais c'est aussi un format courant pour le spectre NIR. |
| |
C'est donc tout ce que je vais montrer |
| |
avec importation de données. |
| |
Et ensuite, je vais montrer quelques-unes des méthodes de prétraitement simples disponibles dans les outils spectraux. L'intention était de fournir un prétraitement de base permettant aux utilisateurs de démarrer avec des modèles d'étalonnage simples avec quelque chose comme PLS. |
| |
afin que nous puissions obtenir des commentaires sur le flux de travail, mais nous prévoyons une suite plus complète de méthodes de prétraitement dans FDE dans JMP 17, qui sera uniquement Pro, mais nous encourageons les utilisateurs à utiliser FDE car cette plate-forme est vraiment spécialisée dans la modélisation de données fonctionnelles. comme des spectres. |
| |
Alors d'abord je vais montrer |
| |
Lissage Savitzky-Golay. |
| |
Et vous pouvez modifier le degré du polynôme utilisé ici. Vous pouvez modifier la taille de la fenêtre coulissante ; une taille plus grande est lissée de manière plus agressive. Et puis la garniture ici coupera les fenêtres coulissantes déséquilibrées. |
| |
Et Savitzky-Golay est en fait un cas particulier de régression de noyau locale, vous pouvez donc essayer les autres options pour cela. |
| |
dans Graph Builder, comme différentes manières de définir votre fenêtre glissante et différentes fonctions de pondération. Et une fois que vous avez choisi les paramètres souhaités, vous pouvez sauvegarder les spectres dans le tableau. |
| |
Et donc ensuite je vais montrer la variable normale standard appliquée à |
| |
les spectres lisses. |
| |
Et |
| |
cela centre et évolue simplement le long de chaque spectre individuellement, et vous pouvez également le faire avec une formule de colonne. Bill le montrera dans son exposé sur le prétraitement. |
| |
Alors maintenant je vais visualiser l'avant et l'après |
| |
en utilisant ceci. Lancez le générateur de graphiques. |
| |
Coloration par gluten. |
| |
Vous pouvez voir qu'avec ces simples méthodes de prétraitement, nous avons fait beaucoup pour nettoyer le bruit dans les spectres. Il y a encore du bruit dans les sous-groupes. |
| |
Et puis Bill a montré dans son discours plus tôt comment vous pouvez nettoyer encore plus les données si vous utilisez un filtre dérivé premier de Savitzky-Golay. Et cela se trouve dans un autre complément que nous avons essayé dans le billet de blog, mais je n'entrerai pas dans les détails ici. |
| |
La principale chose à savoir, Bill le montrera, est d'effectuer d'abord un filtre dérivé premier, puis une variable normale standard nettoiera tous les effets multiplicatifs restants. |
| |
Il s'avère donc que vous pouvez faire encore mieux |
| |
prétraiter ces spectres en utilisant ce qu'on appelle la correction de diffusion multiplicative étendue. |
| |
J'ai donc cette configuration ici. |
| |
Ces données sont donc en fait tirées d'un article qui introduisait la correction de diffusion multiplicative étendue (appelez-la simplement EMSC à partir de maintenant) et |
| |
pour montrer les avantages de cette méthode de prétraitement, j'utiliserai un tracé à effets de dispersion. Mais pour ce faire, je dois calculer l’absorbance moyenne à chaque longueur d’onde. |
| |
Et je peux le faire avec une formule de colonne ici. |
| |
Et puis je tracerai cela dans Graph Builder. |
| |
Ainsi, le tracé des effets de diffusion trace l'absorbance moyenne à chaque longueur d'onde par les absorbances individuelles, et les pentes sur l'axe Y indiquent un effet additif, alors que |
| |
changements dans |
| |
la pente des spectres individuels apparaît comme un éventail dans ces parcelles, ce qui indique un effet multiplicatif. Et puis, chose intéressante, les effets chimiques apparaissent sous forme de boucles dans ces graphiques. |
| |
Et donc il y a clairement un effet additif important ici, donc pour nettoyer cela, je peux utiliser un premier filtre Savitzky-Golay dérivé. J'ai ces données ici. |
| |
Cela nettoie donc considérablement l'effet additif, mais il reste encore un peu de ventilation dans ces intrigues. Vous pouvez donc nettoyer cela avec une variable normale standard. |
| |
Mais au lieu de cela, l'EMSC supprime les effets additifs et multiplicatifs en une seule étape, et ne nécessite pas de transformation dérivée, ce qui est utile car cela rendra les spectres résultants plus faciles à interpréter. |
| |
Et essentiellement, l'EMSC sépare la variation du spectre due aux effets chimiques et la variation due au bruit. |
| |
Et puis il soustrait la variation due au bruit et il le fait avec un modèle linéaire, j'ai donc défini ici les termes dont j'ai besoin pour le modèle. Et |
| |
nous en couvrons les détails dans le blog. Tout ce que je vais dire, c'est que vous pouvez utiliser le modèle d'ajustement |
| |
pour s'adapter au modèle EMSC, et c'est un outil pédagogique très utile pour comprendre comment le modèle de prétraitement est appliqué afin qu'il ne soit plus une boîte noire. Et donc ici dans le modèle, nous avons un modèle distinct pour chaque spectre et les coefficients estimés |
| |
sont utilisés dans la correction, et vous pouvez... vous pouvez aussi |
| |
relance ça |
| |
modèle avec différents effets pour voir comment cela change les choses. |
| |
J'ai donc appliqué la correction finale ici et je vais juste montrer l'avant et l'après. |
| |
Donc |
| |
les spectres sont maintenant remarquablement exempts d'effets de diffusion, et l'effet sur les spectres est |
| |
due à un changement dans la composition du mélange est désormais claire. C'est donc tout ce que je vais aborder, et je vais le confier à Bill et il pourra aborder certaines des méthodes de modélisation. |
| Bill Worley |
Hé, merci, Jérémie. |
| |
Changeons d'écran ici. |
| |
Et vous devriez voir mon tableau de données maintenant. J'espère dès que je clique dessus. |
| |
Est-ce que tout le monde voit mon tableau de données ? |
| Jeremy Ash, JMP |
Oui. |
| Bill Worley |
Ok, alors c'est parti. Ce sont les mêmes données que Jeremy utilisait, sauf que dans ce cas, nous les avons... Je les ai au format large. Je vous fais simplement savoir que vous pouvez analyser les données dans les deux sens. Certaines personnes préfèrent le format pile, d'autres préfèrent le format large. |
| |
Alors sachez simplement que cela peut être fait. La seule chose... la première chose que je veux te montrer, c'est, |
| |
ce dont Jeremy parlait auparavant, c'est de la façon dont nous pouvons examiner les données au format brut, puis faire cette dérivée première de Savitzky-Golay, puis l'éventuel standard... le lissage des variables normales standard. Et encore une fois, sachez simplement que cela se fait au grand format. |
| |
D'accord, je vous montre que cela peut être fait là-bas. |
| |
Ensuite, je veux montrer que c'est |
| |
analyse des composants principaux. C'est assez standard pour la plupart des personnes qui utilisent ou analysent des données spectrales. |
| |
Ce que nous... c'est tout à fait réalisable dans JMP. C'est, tu sais, tu vas analyser, |
| |
méthodes multivariées et composantes principales. Donc je l'ai déjà fait. J'ai déjà établi ce que nous montrons ici, c'est que, pour l'essentiel, avec deux composantes principales, nous pouvons expliquer toutes les variations qui se produisent. Si nous regardons ce graphique de score ici, |
| |
vous pouvez voir le sous-groupe des différents groupes de mélanges que nous avons, le gluten et l'amidon. |
| |
Nous avons... |
| |
eh bien, nous pouvons juste voir ce sous-groupe. C'est bien fait là. L'autre chose que vous pouvez voir, c'est que Jeremy a parlé de données hautement corrélées. |
| |
Nous montrons cela dans cet autre graphique de composants ici. Nous pouvons activer les variables mais... les étiquettes mais ce serait un peu foiré |
| |
regarder. Ci-dessous se trouve un graphique d'analyse des valeurs aberrantes, il s'agit donc d'un graphique en T au carré et nous utilisons les deux composantes principales de l'analyse. Et cela montre que, oui, peut-être que nous avons certains spectres qui pourraient être un peu en dehors de... |
| |
il peut s'agir de valeurs aberrantes, mais dans la plupart des cas... dans la plupart des cas, nous n'allions pas utiliser toutes les données de toute façon ; c'est juste une sorte de moyen d'analyser les données, d'accord. |
| |
Ensuite, je veux montrer quelque chose appelé la carte de contrôle multivariée pilotée par modèle, et c'est pratiquement la même chose que j'ai faite avec les composants principaux juste dans un |
| |
autrement. Nous examinons donc ces deux mêmes composants principaux |
| |
ici, et nous avons le regroupement des sous-groupes ici. Et si nous regardons ici, nous avons quelque chose appelé le DModX normalisé, qui est une autre façon de voir la valeur aberrante... |
| |
valeurs aberrantes potentielles dans vos données. Sachez simplement que c'est là. L'autre chose qu'offrent les cartes de contrôle multivariées pilotées par modèle est un moyen de comparer vos données. |
| |
Ce que j'ai fait ici, c'est que j'ai sélectionné les échantillons 13, 46, 95 et 45 pour montrer ces différences entre |
| |
ces quatre spectres, c'est vrai. Alors maintenant, nous pouvons voir que ceux... parmi ces groupes, ils sont assez différents, c'est vrai, les spectres sont assez différents. |
| |
L’autre façon de faire cette comparaison est ici via le tracé des scores. Je vais sélectionner la lettre L, qui me donnera mon outil lasso. |
| |
Et je vais encercler cela du mieux que je peux, sans récupérer aucune des autres données, et en faire le groupe A. Et puis ici, dans le groupe rouge, ce dernier groupe rouge, |
| |
prenez-le et sélectionnez-le. C'est mon groupe B et puis comparez, n'est-ce pas. Et puis cela vous permet de comparer à nouveau efficacement les données. |
| |
En faisant cela, je peux voir comment, vous savez, lorsque je sélectionne les spectres, ce qui est sélectionné dans les différents groupes, n'est-ce pas, c'est juste une façon plutôt sympa de visualiser les données. |
| |
Bien. Je vais passer au suivant. Ce sont donc des données brutes, d'accord. L'étape suivante concerne les données prétraitées, ce sont donc pratiquement les mêmes données que celles que vous avez vues auparavant, |
| |
mais j'ai effectué le prétraitement, donc je suis passé des données brutes à la variable normale standard. Et encore une fois, en utilisant ici les deux composants principaux, |
| |
on voit que les données sont un peu mieux regroupées. Il y a un peu... beaucoup moins de bruit, beaucoup moins de variation que ce tracé en T au carré. Et je jure que je n'ai pas fait ça exprès, mais les données semblent être un peu plus heureuses maintenant, n'est-ce pas. C'est un petit sourire. |
| |
Chacun de ces petits groupes ici représente 20 spectres. Si je passe la souris dessus, je peux tracer ce spectre, faire ressortir ce spectre, |
| |
et regarde ça, si je le souhaite, d'accord. Je peux faire le même regroupement que celui que j'ai examiné auparavant, alors essayons cela. Mettez en surbrillance ceci |
| |
et cela rend les choses un peu plus faciles, car je n'ai pas besoin de faire... utiliser cet outil de dessin, car les données sont un peu mieux regroupées, n'est-ce pas. Dans le même cas, je peux faire ce que j'ai fait auparavant, mettre en évidence les données, puis |
| |
faites des comparaisons si nécessaire, d'accord. Voilà donc l’utilisation des composants principaux. Il existe une autre façon de faire le même type d'analyse, en utilisant |
| |
moindres carrés partiels. Vous enregistrez les scores X des moindres carrés partiels, puis utilisez ces données pour créer la carte de contrôle multivariée pilotée par modèle à partir de là. Et encore une fois, cela a l'air vraiment propre. Ce sont les données prétraitées. Le regroupement est vraiment sympa, donc on peut le voir de là. |
| |
Nous pouvons regarder le |
| |
DModX. C'est encore un peu bruyant, mais pas autant que les données lorsque nous examinons les données brutes avec les principales composantes, d'accord. Alors revenons à |
| |
en regardant une autre méthode d'analyse, et celle-ci concerne le regroupement hiérarchique supérieur. Jeremy en avait parlé |
| |
au départ, et en regardant les données, |
| |
en regardant comment le clustering se produit. Si nous analysons les données brutes, nous pouvons voir qu’il existe de nombreux clusters plus petits. |
| |
Et les données réelles sont... semblent être réparties dans différents groupes. Je veux dire, ils... ils ne sont pas regroupés comme on pourrait l'espérer, n'est-ce pas. Nous avons donc pris cela |
| |
données prétraitées, fait la même analyse et nous avons vraiment obtenu un très bon regroupement. Et chacun d’entre eux est divisé en cinq groupes, c’est donc là que vous le voyez ici. |
| |
L’amidon et le gluten sont donc très bien séparés ici. Si vous enregistrez ces données dans votre table de données via la fonctionnalité de sauvegarde des clusters, |
| |
vous pouvez réellement l'utiliser dans votre modélisation, si vous le souhaitez. Vous pouvez également enregistrer la formule du cluster le plus proche, puis toutes les nouvelles données que vous obtiendrez seront |
| |
placez le cluster dont il est le plus proche. |
| |
D'accord, ce ne sont là que quelques façons d'importer vos données, de les examiner, de les configurer pour la modélisation, puis l'étape suivante serait de passer à la modélisation. Et ce que je vais vous montrer ensuite, ce sont les moindres carrés partiels, ce qui est généralement ou... Je suis désolé, c'est une régression généralisée. |
| |
Il s'agit donc d'un modèle de régression généralisée que nous voulons montrer aux gens, c'est vrai, et |
| |
c'est |
| |
où nous pourrions voir certaines choses qui se passaient. Et il semble que plusieurs choses ont changé en moi. |
| |
Je veux attraper... là, là. Ce sont mes moindres carrés partiels, et cela montre que j'ai réellement analysé les données d'une manière qui, je l'espère, |
| |
donne-moi un bon modèle. Et ce que j'ai fait, je vais juste vous montrer comment faire ça. Vous allez analyser, et voici la version JMP Pro. Comme je l'ai dit, il y a... beaucoup de choses que je vous montre qui peuvent être réalisées dans JMP standard. Si je passe aux méthodes multivariées, |
| |
moindres carrés partiels, je peux faire la même analyse, mais je vais faire la version JMP Pro, d'accord. Et je vais sélectionner l'amidon et le gluten. |
| |
Je vais sélectionner mes données brutes et les ajouter, puis les exécuter à partir de là, |
| |
droite. Et j'ai mis la mauvaise configuration, mais allons-y |
| |
retour à |
| |
l'analyse que nous avons mise en place ici. Et je peux vous montrer quelques choses différentes ici. Cela a été fait avec des données prétraitées. |
| |
D'accord, donc la coupe a l'air vraiment sympa et je vais vous montrer une comparaison de ces coupes dans un instant. Donc |
| |
nous avons nos données partielles des moindres carrés pour les données brutes, la pièce... puis les données prétraitées. Et si je veux les comparer, |
| |
Je peux voir comment ces modèles fonctionnent, n'est-ce pas. Ce que je montre ici maintenant, c'est une comparaison des données brutes à gauche, puis des données prétraitées à droite, et nous obtenons un bien meilleur ajustement avec des données prétraitées, donc cela revient simplement à ce que Jeremy disait plus tôt. |
| |
Nous devons nettoyer ces données pour obtenir les meilleurs modèles prédictifs possibles, nous l'espérons, d'accord. |
| |
Une autre chose que je veux vous montrer est |
| |
le... |
| |
voyons où j'en suis ici. |
| |
Je veux vous montrer l'explorateur de données fonctionnel. |
| |
Et c'est |
| |
une manière de... la manière la plus récente de modéliser ou, du moins pour JMP, la manière la plus récente de modéliser des données spectrales, car vous pouvez analyser les données en continu. |
| |
Très bien, je vais donc vous montrer comment faire cela. Mais ce que cela montre, c'est que, pour l'instant, si je regarde simplement les données brutes, nous pouvons les analyser avec deux composantes fonctionnelles principales, |
| |
tout comme nous l'avons fait avec l'analyse en composantes principales, et nous pouvons obtenir un modèle assez décent. La seule chose que cela va... vous remarquerez, cependant, c'est que c'est plus... c'est une méthode d'étalonnage multivariée, mais c'est une méthode multivariée inverse. |
| |
Passons en revue cette analyse. |
| |
Analyser. |
| |
Et puis nous devons passer à la modélisation spécialisée et nous allons passer à l'explorateur de données fonctionnel. |
| |
Parce que j'ai les données au format large, je dois utiliser des lignes comme fonctions. |
| |
Je vais utiliser mon |
| |
l'amidon et le gluten comme variables supplémentaires. Spectra est mon identifiant, et je vais récupérer les données brutes. |
| |
D'accord. |
| |
Et il y a beaucoup de choses que vous pouvez faire avec les données maintenant dans l'explorateur de données fonctionnel, comme les nettoyer et effectuer un prétraitement, mais, comme l'a dit Jeremy, cela ne fera que s'améliorer dans JMP 17. |
| |
À partir de là, nous voulions faire une modélisation ou construire un modèle à partir de cela. Nous voulons adapter toutes les données, |
| |
nous allons donc passer aux modèles, PCA fonctionnel direct. |
| |
Et si nous regardons cela ici, cela revient à dire que nous pourrions utiliser cinq composants fonctionnels principaux, mais c'est presque une perte d'effort, car nous avons... |
| |
avec deux, nous ajustons en fait toutes les données, 100 % des données, de la variation, n'est-ce pas. Je vais donc faire glisser cela vers l'arrière, nettoyer cela un peu, puis redescendre. |
| |
Et regardons le tracé des scores ici. |
| |
Cela nous montre les données, telles que les données brutes de ces sous-groupes, comme nous l'avons vu précédemment, et tous les autres tracés de scores. Et ce qui est bien, c'est que si je passe la souris dessus, je peux faire ressortir ces spectres individuels. |
| |
et comparez-les simplement visuellement, d'accord. |
| |
Plus bas ici, nous avons le profileur de composants principaux fonctionnels et c'est sympa. Nous pouvons voir ce qui va arriver au |
| |
courbes à mesure que nous modifions les composants fonctionnels principaux, mais j'essaie de dire aux gens, vous savez, allez changer le composant fonctionnel principal 2 |
| |
obtenir la courbe que vous souhaitez ne va pas... ne se passe pas bien. Donc, ce qui a été ajouté, c'est une fonctionnalité appelée analyse fonctionnelle DOE, d'accord. Et avec ça, tu peux |
| |
regardez la capacité de... ou comment les courbes changent, en fonction des composants que j'ai ajoutés, des composants supplémentaires, de nos composants mixtes. Permettez-moi d'ajouter une chose ici et je vais modifier le linéaire. Je vais ajouter une contrainte. |
| |
et |
| |
change ça. |
| |
Très bien, et dis OK. Et puis, lorsque nous examinons nos regroupements ici, à mesure que... à mesure que la teneur en amidon diminue, le gluten va augmenter, de sorte que cette contrainte nous permet d'examiner |
| |
comment les différents regroupements ou les mélanges se comparent et qu'arrivera-t-il aux courbes lorsque nous modifierons les différents niveaux d'amidon et de gluten, d'accord. Et ça, encore une fois, c'est sur un continuum, ce que nous avons fait avec les données est, vous savez, très défini. |
| |
des parties des données, afin que nous puissions avoir une idée de ce qui va se passer, même si les mélanges ne sont pas exacts comme nous le montrions dans les données, d'accord. |
| |
Très bien, voilà pour les données brutes, et voyons si c'est... ma prochaine étape est... c'est pratiquement la même chose. |
| |
Et je veux m'assurer d'avoir le bon ici. Cela se fait avec les données prétraitées, c'est donc le même explorateur de données fonctionnel, |
| |
en utilisant les données prétraitées, excusez-moi, et vous pouvez déjà voir les différences. |
| |
Et les courbes au fur et à mesure que les données prétraitées arrivent, nous le faisons... nous ajustons les modèles, nous obtenons deux composants principaux fonctionnels. Et ce que nous voulons observer ici, c'est que le |
| |
tracé de partition. Et nous pouvons voir encore une fois comment ces regroupements de variables sont le fait des différentes versions ou des différentes |
| |
les groupements ou mélanges de gluten et d'amidon sont regroupés bien plus joliment ici, d'accord. Et encore une fois, vous pouvez en afficher différents, donc c'est un peu ce que l'on regarde. |
| |
La dernière chose que je veux montrer ou parler, c'est d'examiner ce qu'on appelle la régression généralisée. |
| |
Et si c'est le cas |
| |
jouez bien avec moi, c'est l'ajustement de régression généralisée des données brutes, n'est-ce pas. Et je l'ai fait en utilisant un ajustement en filet élastique avec une validation croisée pliée en K. |
| |
J'ai réglé l'alpha net élastique à 0,56 pour obtenir un... ce que j'appelle un ajustement plus agréable à l'œil. Ce qu'il fait, c'est permettre à différents... ou à plusieurs groupes de |
| |
longueurs d'onde à ajouter à l'ajustement du modèle. Cela ne va pas seulement limiter l'ajustement global de votre modèle. |
| |
Si je faisais cela, si je limitais cet élastique, cet alpha, j'obtiendrais une coupe qui ressemble davantage à ceci. Et maintenant, c'est un modèle beaucoup plus petit, beaucoup plus simple, mais vous obtenez également... vous risquez de manquer certains additifs ou |
| |
des effets additifs qui pourraient vous aider à obtenir un meilleur ajustement global. Alors c'est votre choix, le modèle le plus simple vous aidera sur le long terme, |
| |
si vous avez besoin d'avoir différents groupes, cela vous aidera à trouver différents groupes si vous avez un mélange de plusieurs composants, mais sachez simplement que l'adéquation avec le |
| |
un alpha net élastique plus faible permettra à plus de facteurs et à plus de variables, à plus de longueurs d'onde de faire partie du modèle, d'accord. |
| |
Et c'est avec les données brutes. Voyons si cela va me donner... |
| |
nous verrons juste si nous obtenons... et puis c'est la compatibilité avec le |
| |
des données entièrement prétraitées, donc c'est pratiquement la même chose. |
| |
C'est juste que vous envisagez un résultat global différent, |
| |
droite. Vous regardez un modèle différent, il semble très différent. Ceci, encore une fois, en utilisant les différents alpha nets élastiques et |
| |
qu'est-ce que... en fin de compte, ce que nous voulons faire, c'est simplement comparer ces choses. Si je compare les... |
| |
encore une fois, en regardant les données brutes PLS par rapport aux données prétraitées, elles obtiennent un ajustement bien amélioré. Si je regarde la régression généralisée par rapport à... il s'agit donc de données des moindres carrés partielles pour |
| |
prétraité, prétraité en utilisant une régression généralisée à un alpha net élastique plus petit, puis à un alpha net élastique plus élevé. Nous obtenons de bons résultats partout, c'est vrai, donc ça ne fait pas de mal d'enquêter en utilisant le |
| |
régression généralisée dans JMP Pro par rapport à vos moindres carrés partiels. En fait, vous obtenez de très bons modèles et |
| |
c'est simplement un excellent moyen, vous savez, d'analyser vos données et de créer des modèles prédictifs pour des comparaisons futures ou lorsque vous obtenez des données futures. |
| |
Sur ce, je vais vous dire merci. Jeremy, merci beaucoup pour votre part. Et nous espérons que vous apprécierez tous cela. Veuillez nous faire part de vos commentaires. Nous recherchons des commentaires. Nous voulons savoir ce que les gens pensent de ces nouvelles capacités. |
