| Conférencier |
Transcription |
| Jeremy Ash, JMP |
Bonjour et merci d'être venu à notre conférence. Je m'appelle Jeremy Ash. Je suis statisticien chez JMP R&D et je suis accompagné de Bill Worley. Il est ingénieur système senior. Nous allons aborder l'analyse des données de spectroscopie proche infrarouge dans JMP. |
| |
Ce n'est pas la première conférence sur ce sujet. Bill a déjà donné plusieurs conférences sur le sujet, que vous pouvez retrouver sur la Communauté. |
| |
J'ai des liens vers quelques-uns d'entre eux ici, qui sont du matériel gratuit et |
| |
Bill donne une conférence sur FDE et DOE pour modéliser efficacement des modèles d'étalonnage multivariés avec moins d'expériences, et il a également couvert le prétraitement des spectres plus en détail. |
| |
dans Discovery Europe plus tôt cette année. Bill et moi avons ensuite écrit une série d'articles sur ce sujet, sur la communauté. Voici les sujets que nous avons abordés jusqu'à présent, et nous avons créé un module complémentaire JMP, dont je vous montrerai l'utilisation plus tard. |
| |
Un cas d'utilisation courant de la spectroscopie infrarouge proche est de déterminer la composition chimique d'un mélange et je montre un exemple de spectres infrarouges proches sur la droite. |
| |
Une certaine mesure d'absorbance est collectée sur une gamme de longueurs d'onde, et les spectres ici représentent un échantillon de céréale en poudre, qui est un mélange de plusieurs composants chimiques sous-jacents. |
| |
Les spectres des composants purs sont en bas, tandis que ceux du mélange sont en haut. En raison de phénomènes comme |
| |
harmoniques et bandes de combinaison, les pics des composants individuels sont souvent larges et se chevauchent, ce qui rend difficile la déconvolution des spectres dans les composants sous-jacents. |
| |
Ainsi, la voie que les gens empruntent consiste à construire des modèles qui prédisent la composition en fonction de l'absorbance à de nombreuses longueurs d'onde, ce qui rend les données de grande dimension et les variables sont souvent fortement corrélées. |
| |
Ainsi, l’un des principaux défis à surmonter lors de l’analyse des spectres proches de l’infrarouge est que le rapport signal sur bruit est souvent faible et cela est dû à des variations incontrôlées. |
| |
causés par les effets de diffusion de la lumière. Ces effets doivent être corrigés avant de pouvoir construire un modèle fiable. Les données sont donc souvent soumises à d'importantes transformations de prétraitement, et il existe plusieurs sources courantes de bruit, illustrées à droite. |
| |
Les spectres réels sont représentés en noir, puis les spectres en vert présentent un décalage de ligne de base constant ou un effet additif. |
| |
Le spectre bleu présente un effet additif et un effet multiplicatif. Les effets multiplicatifs se produisent lorsque la distorsion est plus importante à des absorbances plus élevées. Le spectre violet présente un effet additif, un effet multiplicatif et un décalage de la pente vers la ligne de base. |
| |
Je vais maintenant présenter quelques méthodes de prétraitement permettant de nettoyer ces sources de bruit. Elles sont toutes décrites plus en détail dans nos articles de blog, mais j'en présenterai plusieurs dans la démonstration, et la dérivée première de Savitzky-Golay permettra de nettoyer les effets additifs. |
| |
Un filtre dérivée seconde corrigera également les décalages de la ligne de base. Ces méthodes sont couramment utilisées et efficaces, mais le problème est que la transformée est beaucoup plus difficile à interpréter que le spectre d'origine. |
| |
Les autres méthodes de prétraitement que je mentionnerai réussissent donc mieux à maintenir cette interprétabilité. |
| |
centres et échelles de variables normales standard, de sorte qu'il y ait une moyenne nulle dans la variance unitaire le long de chaque spectre, et il s'agit d'une normalisation simple mais efficace pour nettoyer les effets additifs et multiplicatifs. |
| |
Et puis la correction de dispersion multiplicative, qui utilise un modèle linéaire pour faire en sorte que chaque spectre ressemble à un spectre de référence et souvent aucune référence n'est disponible, de sorte que des spectres moyens sont utilisés à la place. |
| |
Et puis, la correction de diffusion multiplicative étendue est la seule méthode qui nettoiera les trois sources de bruit et c'est une méthode plus avancée qui nécessite des spectres de référence pour chaque composant d'un mélange. |
| |
Et nous verrons comment cela fonctionne plus tard. |
| |
Les données étant de grande dimension et les variables fortement corrélées, de nombreuses méthodes multivariées sont applicables. Toutes les analyses listées peuvent être réalisées dans JMP. |
| |
Les méthodes de réduction de dimensionnalité sont essentielles à la visualisation des données. Les méthodes courantes sont l'analyse en composantes principales ou la mise à l'échelle multidimensionnelle. |
| |
Et puis, les composants principaux fonctionnels dans l’explorateur de données fonctionnelles constituent une méthode particulièrement utile ici. |
| |
JMP est unique parmi les logiciels d'analyse spectrale, car il dispose d'une plateforme d'analyse de données fonctionnelles conviviale. Comme les spectres ont une forme fonctionnelle, l'EDF offre de nombreuses possibilités d'utilisation. |
| |
Nous commençons tout juste à explorer ces capacités. Le clustering est courant. Le clustering hiérarchique dans JMP est particulièrement utile. |
| |
Ensuite, une analyse des valeurs aberrantes est généralement effectuée, |
| |
et pour ce faire, construisez d'abord un modèle PCA ou PLS, puis les valeurs aberrantes sont identifiées dans les graphiques T au carré et DModX. |
| |
Tout cela peut être réalisé grâce à la plateforme de cartes de contrôle multivariées pilotées par modèles. Des modèles prédictifs prédisent la composition chimique en fonction des spectres, appelés modèles d'étalonnage multivariés, et gèrent les cas où il y a plus de variables que d'observations. |
| |
Et cela peut être bien fait avec PLS ou une régression pénalisée dans GenReg ou l'explorateur de données fonctionnelles également. |
| |
Ok, je vais donc passer à JMP et commencer ma démo. |
| |
Je vais d’abord montrer comment lire des données spectrales à l’aide du module complémentaire d’outils spectraux. |
| |
Pour les fichiers délimités par du texte, le module complémentaire que nous fournissons n'est qu'un wrapper pour l'importateur de fichiers multiples, qui se trouve ici. |
| |
Mais le module complémentaire présente certaines des fonctionnalités les plus utiles. Nous disposons également d'un importateur JCAMP-DX, une nouveauté dans JMP. De manière générale, |
| |
La plupart de ces fonctionnalités sont déjà réalisables dans JMP, mais mon objectif était de développer des wrappers pour simplifier le flux de travail pour les spectres. Il est à noter que ce point sera amélioré dans JMP 17 ; j'espère donc que ce module complémentaire sera bientôt obsolète. |
| |
cela pourrait être utile pour le moment, si vous construisez des modèles spectraux. |
| |
Donc j'ai un |
| |
dossier contenant des fichiers CSV, un fichier par spectre, et dans ces fichiers, la première colonne est la variable X et la deuxième colonne est la variable Y. Je vais donc importer ce répertoire dans JMP. |
| |
Sélectionnez ce dossier. |
| |
Et je veux lire au format empilé car c'est le format utilisé par le complément. |
| |
J'ai un en-tête dans ces fichiers ; je sélectionne cette option. Je peux également l'utiliser pour sélectionner uniquement les fichiers CSV. |
| |
Cela se lit donc dans les spectres sous un format empilé. |
| |
Et j'ai aussi quelques métadonnées dans une table JMP ici |
| |
Je souhaite ajouter des données à cette table. Pour ce faire, je vais utiliser une jointure sur la colonne Spectra. |
| |
Mais j'ai lu dans les noms de fichiers avec une extension de fichier, donc utilisez du texte dans les colonnes ici pour |
| |
enlève ces extensions. |
| |
Je donne à ce fichier un nom plus informatif. |
| |
Et je vais utiliser une mise à jour de table et je vais faire correspondre les colonnes de spectres. |
| |
Et puis la dernière chose que je vais montrer est... |
| |
ou je vais déplacer cette colonne de spectre ici. |
| |
Ok, c'est ainsi que j'ai configuré ce tableau de données |
| |
et l'ai ajouté aux données d'exemple dans le module complémentaire. |
| |
Je vais donc jeter un premier coup d'œil aux données et pour ce faire, je vais utiliser la commande de lancement de Graph Builder dans le module complémentaire. |
| |
Je vais colorier par gluten. |
| |
Et ici à gauche, l'outil spectral configure des filtres de données locaux avec des commandes utiles, permettant de filtrer par longueur d'onde pour se concentrer uniquement sur les régions d'intérêt. Ainsi, si je voulais me concentrer uniquement sur ce pic, |
| |
si j'ai toutes les colonnes sélectionnées dans la table de données, je peux utiliser la commande show subset et cela créera simplement un sous-ensemble avec cette région d'intérêt. |
| |
Je peux également tracer des spectres individuels ici avec ce filtre, et |
| |
il est pratique de rechercher des spectres pour simplement tracer des sous-ensembles. |
| |
Et la dernière chose que je vais montrer, ce sont les commandes d'animation, |
| |
mais pour faire cela je vais verrouiller les axes, sinon ils vont s'adapter aux spectres individuels. |
| |
Tiens... Je vais accélérer un peu, pour que nous puissions les parcourir très rapidement. |
| |
Et cette fonctionnalité est particulièrement utile si vous avez des spectres collectés à différents moments, comme dans le cadre de la surveillance des réactions. |
| |
Et vous pouvez également utiliser nos nuages de points 3D dans un graphique pour visualiser ces données. |
| |
Ok, alors je vais |
| |
effacer ceci |
| |
filtre. |
| |
Une chose à retenir lorsque vous avez |
| |
l'intrigue est configurée comme vous le souhaitez, vous pouvez l'enregistrer |
| |
retournez le script à la table de données, afin que vous puissiez recréer le graphique plus tard si vous souhaitez échanger de nouvelles données, comme après avoir effectué un prétraitement. |
| |
Je voulais également vous montrer comment visualiser la variabilité et quelques diagrammes diagnostiques. Pour cela, je vais supprimer les variables de regroupement. |
| |
Cela me donnera un aperçu global des spectres. Je peux également utiliser des boîtes à moustaches. |
| |
Utile pour déterminer si la variation est constante selon les longueurs d'onde et spécifique à certaines longueurs d'onde. Si elle est constante, un prétraitement supplémentaire est nécessaire. En revanche, si elle est spécifique à certaines longueurs d'onde, il s'agit souvent d'effets chimiques réels, donc utiles. |
| |
Et puis une autre façon de visualiser la variabilité est avec |
| |
Diagrammes à barres. J'aime utiliser des diagrammes à barres flottantes, et vous pouvez également ajouter des variables de regroupement pour observer la variabilité dans différents sous-groupes. |
| |
Voilà donc tout ce que je vais vous montrer concernant la visualisation. Je voulais également aborder la lecture des fichiers JCAMP-DX. |
| |
J'ai donc un répertoire |
| |
que |
| |
Contient deux fichiers JCAMP-DX provenant du site web de la norme JCAMP-DX. Je n'étais pas à l'aise. |
| |
Nous partageons les fichiers que nous utilisons pour tester le module complémentaire, car ils proviennent de clients. J'ai donc récupéré un fichier de test de ce site web et l'ai dupliqué deux fois pour montrer comment le lire. |
| |
Plusieurs fichiers. Nous ne prenons en charge que le format le plus courant : les fichiers avec une liste de variables X/Y sans compression, et nous ne prenons en charge qu'un seul spectre par fichier. Je pense que c'est le format le plus courant, mais si vous avez besoin d'un autre format, n'hésitez pas à nous le faire savoir. |
| |
Alors je vais lire ça avec... |
| |
ici, avec les options par défaut. |
| |
Et juste pour vous montrer que |
| |
cela a été lu correctement, |
| |
tracez-le dans Graph Builder. |
| |
Cela montre les mêmes spectres, ce sont en fait des spectres RMN, mais c'est également un format courant pour le spectre NIR. |
| |
C'est donc tout ce que je vais montrer |
| |
avec importation de données. |
| |
Je vais maintenant présenter quelques méthodes de prétraitement simples des outils spectraux. L'objectif était de fournir un prétraitement de base permettant aux utilisateurs de se lancer dans des modèles d'étalonnage simples, comme PLS. |
| |
afin que nous puissions obtenir des commentaires sur le flux de travail, mais nous prévoyons une suite plus complète de méthodes de prétraitement dans FDE dans JMP 17, qui sera uniquement Pro mais nous encourageons les utilisateurs à utiliser FDE car cette plate-forme est vraiment spécialisée dans la modélisation de données fonctionnelles comme les spectres. |
| |
Alors d'abord je vais montrer |
| |
Lissage de Savitzky-Golay. |
| |
Vous pouvez également modifier le degré du polynôme utilisé ici. Vous pouvez également modifier la taille de la fenêtre glissante ; une taille plus grande permet un lissage plus agressif. Le réglage ici supprimera les fenêtres glissantes déséquilibrées. |
| |
Et Savitzky-Golay est en fait un cas particulier de régression du noyau local, vous pouvez donc essayer les autres options pour cela |
| |
Dans Graph Builder, vous trouverez différentes façons de définir votre fenêtre glissante et différentes fonctions de pondération. Une fois les paramètres sélectionnés, vous pouvez enregistrer les spectres dans le tableau. |
| |
Et ensuite, je vais montrer la variable normale standard appliquée à |
| |
les spectres lisses. |
| |
Et |
| |
Cela centre et met à l'échelle chaque spectre individuellement, et vous pouvez également le faire avec une formule de colonne. Bill le montrera dans sa présentation sur le prétraitement. |
| |
Alors maintenant je vais visualiser l'avant et l'après |
| |
en utilisant ceci. Lancez Graph Builder. |
| |
Coloration par gluten. |
| |
Vous pouvez constater qu'avec ces simples méthodes de prétraitement, nous avons largement amélioré le nettoyage du bruit dans les spectres. Il reste du bruit dans les sous-groupes. |
| |
Bill a ensuite montré dans sa présentation précédente comment nettoyer encore davantage les données en utilisant un filtre dérivé premier de Savitzky-Golay. C'est un autre module complémentaire que nous avons testé dans l'article de blog, mais je n'aborderai pas ce sujet ici. |
| |
La principale chose à savoir, Bill le montrera, est de faire d'abord un premier filtre dérivé, puis une variable normale standard nettoiera tous les effets multiplicatifs restants. |
| |
Il s’avère donc que vous pouvez faire encore mieux |
| |
prétraiter ces spectres en utilisant ce qu'on appelle la correction de diffusion multiplicative étendue. |
| |
J'ai donc cette configuration ici. |
| |
Ces données ont donc été extraites d'un article qui a introduit la correction de dispersion multiplicative étendue (appelons-la simplement EMSC à partir de maintenant) et |
| |
Pour illustrer les avantages de cette méthode de prétraitement, j'utiliserai un diagramme de dispersion. Pour ce faire, je dois calculer l'absorbance moyenne à chaque longueur d'onde. |
| |
Et je peux le faire avec une formule de colonne ici. |
| |
Et ensuite je tracerai cela dans Graph Builder. |
| |
Ainsi, le graphique des effets de dispersion trace l'absorbance moyenne à chaque longueur d'onde par les absorbances individuelles, et les pentes sur l'axe Y indiquent un effet additif, tandis que |
| |
changements dans |
| |
La pente des spectres individuels apparaît comme un éventail sur ces graphiques, ce qui indique un effet multiplicatif. De plus, les effets chimiques, curieusement, apparaissent comme des boucles sur ces graphiques. |
| |
Il y a donc clairement un effet additif important ici. Pour le corriger, je peux utiliser un filtre Savitzky-Golay dérivé premier. J'ai ces données ici. |
| |
Cela corrige donc considérablement l'effet additif, mais il reste encore un peu d'éventail dans ces graphiques. Vous pouvez donc corriger cela avec une variable normale standard. |
| |
Mais au lieu de cela, ce que fait l'EMSC, c'est qu'il supprime les effets additifs et multiplicatifs en une seule étape, et il ne nécessite pas de transformation dérivée, ce qui est utile car cela rendra les spectres résultants plus faciles à interpréter. |
| |
Et essentiellement, ce que fait l’EMSC, c’est qu’il sépare les variations dans les spectres dues aux effets chimiques et les variations dues au bruit. |
| |
Ensuite, il soustrait la variation due au bruit et il le fait avec un modèle linéaire. J'ai donc défini les termes dont j'ai besoin pour le modèle ici. Et |
| |
Nous en parlerons en détail dans le blog. Je dirai simplement que vous pouvez utiliser le modèle d'ajustement. |
| |
Pour s'adapter au modèle EMSC, cet outil pédagogique est très utile pour comprendre comment le modèle de prétraitement est appliqué, afin de sortir de la boîte noire. Ainsi, dans le modèle, nous disposons d'un modèle distinct pour chaque spectre et des coefficients estimés. |
| |
sont utilisés dans la correction, et vous pouvez... vous pouvez aussi |
| |
relancer ceci |
| |
modèle avec différents effets pour voir comment cela change les choses. |
| |
J'ai donc appliqué la correction finale ici et je vais simplement montrer l'avant et l'après. |
| |
Donc |
| |
les spectres sont désormais remarquablement exempts d'effets de diffusion, et l'effet sur les spectres est |
| |
En raison du changement dans la composition du mélange, tout est désormais clair. C'est tout ce que je vais aborder, et je laisserai la parole à Bill pour qu'il abordera certaines méthodes de modélisation. |
| Bill Worley |
Hé, merci, Jeremy. |
| |
Changeons d'écran ici. |
| |
Et vous devriez voir mon tableau de données maintenant. J'espère que vous le verrez dès que je cliquerai dessus. |
| |
Est-ce que tout le monde voit mon tableau de données ? |
| Jeremy Ash, JMP |
Oui. |
| Bill Worley |
Bon, voilà. Ce sont les mêmes données que celles utilisées par Jeremy, sauf que dans ce cas, elles sont au format large. Je précise que vous pouvez analyser les données dans les deux sens. Certains préfèrent le format pile, d'autres le format large. |
| |
Sachez que c'est possible. La première chose que je veux vous montrer, c'est… |
| |
Ce dont Jeremy parlait plus tôt, c'est comment examiner les données brutes, puis appliquer la dérivée première de Savitzky-Golay, puis le lissage standard des variables normales. Et encore une fois, sachez que cela se fait au format large. |
| |
Ok, donc je vous montre que cela peut être fait là-bas. |
| |
Ensuite, je veux montrer que |
| |
Analyse en composantes principales. C'est une méthode assez courante pour la plupart des personnes qui utilisent ou analysent des données spectrales. |
| |
Ce que nous… c'est tout à fait faisable avec JMP. Il suffit d'analyser, |
| |
Méthodes multivariées et composantes principales. J'ai déjà fait cela. J'ai déjà établi que ce que nous montrons ici, c'est que, dans l'ensemble, avec deux composantes principales, nous pouvons expliquer toute la variation observée. Si nous regardons ce graphique de score, |
| |
vous pouvez voir que le sous-groupement des différents groupes de mélanges que nous avons, le gluten et l'amidon. |
| |
Nous avons... |
| |
Eh bien, on peut voir ce sous-groupe. C'est bien fait. On voit aussi que Jeremy a parlé de données hautement corrélées. |
| |
Nous le démontrons dans cet autre graphique à composantes. On peut activer les variables, mais… les étiquettes, mais ce serait un peu compliqué. |
| |
À observer. Ci-dessous se trouve un graphique d'analyse des valeurs aberrantes, un graphique en T carré, utilisant les deux composantes principales de l'analyse. Il montre que, oui, certains spectres sont peut-être légèrement décalés… |
| |
ce sont peut-être des valeurs aberrantes, mais dans la plupart des cas... dans la plupart des cas, nous n'allions pas utiliser toutes les données de toute façon ; c'est juste une sorte de moyen de délimiter la portée des données, d'accord. |
| |
Ensuite, je veux montrer quelque chose appelé le graphique de contrôle multivarié piloté par le modèle, et c'est pratiquement la même chose que j'ai fait avec les composantes principales, mais dans un |
| |
différemment. Nous examinons donc ces deux mêmes composantes principales |
| |
En haut, nous avons le regroupement des sous-groupes. En bas, nous avons ce qu'on appelle le DModX normalisé, qui est une autre façon d'analyser les valeurs aberrantes… |
| |
Les valeurs aberrantes potentielles dans vos données sont à prendre en compte. Sachez simplement qu'elles existent. Les cartes de contrôle multivariées pilotées par modèle permettent également de comparer vos données. |
| |
Ce que j'ai fait ici, c'est que j'ai sélectionné les échantillons 13, 46, 95 et 45 pour montrer ces différences entre |
| |
Ces quatre spectres, d'accord. On voit maintenant que… parmi ces groupes, ils sont très différents. Les spectres sont très différents. |
| |
L'autre façon d'effectuer cette comparaison est d'utiliser le graphique de score. Je sélectionne la lettre L, ce qui me donne accès à l'outil Lasso. |
| |
Je vais entourer cela du mieux que je peux, sans récupérer les autres données, et en faire le groupe A. Et puis, ici, dans le groupe rouge, ce dernier groupe rouge, |
| |
Saisissez-le et sélectionnez-le. C'est mon groupe B, puis comparez. Cela vous permet de comparer efficacement les données. |
| |
Pendant que je fais cela, je peux voir comment, vous savez, lorsque je sélectionne les spectres, ce qui est sélectionné dans les différents groupes, n'est-ce pas, c'est donc une façon intéressante de visualiser les données. |
| |
Très bien. Je passe à la suivante. Voici les données brutes. L'étape suivante concerne les données prétraitées, donc ce sont pratiquement les mêmes données que précédemment. |
| |
Mais j'ai effectué le prétraitement, donc je suis passé des données brutes à la variable normale standard. Et encore une fois, en utilisant les deux composantes principales ici, |
| |
On voit que les données sont un peu mieux regroupées. Il y a un peu… beaucoup moins de bruit, beaucoup moins de variations que sur ce graphique en T carré. Et je jure que je ne l'ai pas fait exprès, mais les données semblent un peu plus sereines maintenant. On dirait un petit sourire. |
| |
Chacun de ces petits groupes, ici, contient 20 spectres. Si je les survole, je peux les tracer, les faire apparaître. |
| |
Et regardez ça, si je le souhaite, d'accord. Je peux faire le même regroupement que j'ai vu précédemment, alors essayons. Surlignez ceci |
| |
Et ça simplifie un peu les choses, car je n'ai plus besoin d'utiliser l'outil de dessin, car les données sont mieux regroupées. Dans ce cas précis, je peux faire comme avant : surligner les données, puis |
| |
Effectuer des comparaisons si nécessaire. Voilà donc l'utilisation des composantes principales. Il existe une autre façon de réaliser le même type d'analyse : utiliser |
| |
Moindres carrés partiels. Vous enregistrez les scores X des moindres carrés partiels, puis vous utilisez ces données pour construire la carte de contrôle multivariée pilotée par le modèle. Et là encore, le résultat est vraiment net. Ce sont les données prétraitées. Le regroupement est très bien fait, donc on peut le voir à partir de là. |
| |
Nous pouvons regarder le |
| |
DModX. C'est encore un peu bruyant, mais pas autant que les données brutes avec les composantes principales. Revenons-en à |
| |
J'étudie une autre méthode d'analyse, celle du clustering hiérarchique supérieur. Jérémy en avait parlé. |
| |
initialement, et en regardant les données, |
| |
En observant le processus de clustering, nous constatons, à partir des données brutes, la présence de nombreux petits clusters. |
| |
Et les données réelles semblent être réparties en différents groupes. Elles ne sont pas regroupées comme on pourrait l'espérer. Nous avons donc pris cela en compte. |
| |
Données prétraitées, même analyse, et nous avons obtenu un très bon regroupement. Chacune de ces données est divisée en cinq groupes, c'est donc ce que vous voyez ici. |
| |
L'amidon et le gluten sont donc parfaitement séparés ici. Si vous enregistrez ces données dans votre table de données grâce à la fonction d'enregistrement des clusters, |
| |
Vous pouvez l'utiliser dans votre modélisation, si vous le souhaitez. Vous pouvez également enregistrer la formule du cluster le plus proche ; toutes les nouvelles données que vous obtiendrez seront alors conservées. |
| |
mettre dans le cluster le plus proche. |
| |
Voilà donc quelques façons d'intégrer vos données, de les analyser et de les préparer pour la modélisation. L'étape suivante consiste à passer à la modélisation. Je vais maintenant vous montrer la méthode des moindres carrés partiels, qui est généralement… pardon, il s'agit d'une régression généralisée. |
| |
Il s'agit donc d'un modèle de régression généralisée que nous souhaitons montrer aux gens, n'est-ce pas, et |
| |
c'est |
| |
On pourrait y voir des choses qui se passaient. Et il semble que certaines choses aient changé chez moi. |
| |
Je veux saisir… voilà. Ce sont mes moindres carrés partiels, et cela montre que j'ai réellement analysé les données d'une manière qui, je l'espère, |
| |
Donnez-moi un bon modèle. Et ce que j'ai fait, je vais vous montrer comment le faire. Vous allez dans Analyse, et voici la version JMP Pro. Comme je l'ai dit, beaucoup de choses que je vous montre sont réalisables dans JMP standard. Si je passe aux méthodes multivariées, |
| |
Moindres carrés partiels : je peux faire la même analyse, mais je vais utiliser la version JMP Pro. Je vais sélectionner l'amidon et le gluten. |
| |
Je vais sélectionner mes données brutes et les ajouter, puis les exécuter à partir de là, |
| |
C'est vrai. Et j'ai fait la mauvaise configuration, mais allons-y |
| |
retour à |
| |
L'analyse que nous avons réalisée ici. Je peux vous montrer quelques éléments ici. Elle a été réalisée avec des données prétraitées. |
| |
Bien, la coupe est vraiment sympa et je vous montrerai une comparaison de ces coupes dans un instant. |
| |
Nous avons nos données des moindres carrés partiels pour les données brutes, la partie… et les données prétraitées. Et si je veux les comparer, |
| |
Je vois comment ces modèles fonctionnent. Ce que je montre ici est une comparaison des données brutes à gauche et des données prétraitées à droite. On obtient un bien meilleur ajustement avec des données prétraitées, ce qui rejoint ce que Jeremy disait plus tôt. |
| |
Nous devons nettoyer ces données pour obtenir les meilleurs modèles prédictifs que nous pouvons obtenir, espérons-le, sortir, d'accord. |
| |
Une autre chose que je veux vous montrer est |
| |
le... |
| |
Voyons où j'en suis ici. |
| |
Je veux vous montrer l'explorateur de données fonctionnel. |
| |
Et c'est |
| |
une façon de... la plus récente façon de modéliser ou, du moins pour JMP, la plus récente façon de modéliser les données spectrales, car vous pouvez analyser les données en continu. |
| |
Très bien, je vais vous montrer comment procéder. Ce que cela montre, c'est que, pour l'instant, si je regarde simplement les données brutes, nous pouvons les analyser avec deux composantes principales fonctionnelles. |
| |
Tout comme nous l'avons fait avec l'analyse en composantes principales, nous obtenons un modèle assez correct. Vous remarquerez cependant qu'il s'agit d'une méthode d'étalonnage multivariée, mais inversement. |
| |
Passons en revue cette analyse. |
| |
Analyser. |
| |
Et puis il faut passer à la modélisation spécialisée et on va passer à l'explorateur de données fonctionnelles. |
| |
Comme j'ai les données au format large, je dois utiliser des lignes comme fonctions. |
| |
Je vais utiliser mon |
| |
L'amidon et le gluten sont des variables supplémentaires. Spectra est mon identifiant, et je vais récupérer les données brutes. |
| |
D'accord. |
| |
Et il y a beaucoup de choses que vous pouvez faire avec les données maintenant dans l'explorateur de données fonctionnel, comme les nettoyer et effectuer un prétraitement, mais comme l'a dit Jeremy, cela ne fera que s'améliorer dans JMP 17. |
| |
À partir de là, nous souhaitions modéliser ou construire un modèle à partir de cela. Nous voulions intégrer toutes les données. |
| |
nous allons donc passer aux modèles, PCA fonctionnelle directe. |
| |
Et si nous regardons cela ici, cela dit que nous pourrions utiliser cinq composantes principales fonctionnelles, mais c'est presque une perte d'efforts, parce que nous avons... |
| |
Avec deux, nous ajustons en fait toutes les données, 100 % de la variation. Je vais donc faire glisser le curseur vers l'arrière, le nettoyer un peu, puis redescendre. |
| |
Et regardons le graphique des scores ici. |
| |
Ceci nous montre les données brutes de leurs sous-groupes, comme nous l'avons vu précédemment, ainsi que tous les autres graphiques de scores. L'avantage, c'est qu'en survolant ces données, je peux faire apparaître ces spectres individuels. |
| |
et comparez-les juste visuellement, d'accord. |
| |
Plus bas, nous avons le profileur de composantes principales fonctionnelles, et c'est pratique. Nous pouvons observer ce qui va arriver aux |
| |
courbes lorsque nous modifions les composantes principales fonctionnelles, mais en essayant de dire aux gens, vous savez, allez changer la composante principale fonctionnelle 2 |
| |
Obtenir la courbe souhaitée ne fonctionnera pas… ne fonctionnera pas bien. On a donc ajouté une fonctionnalité appelée analyse fonctionnelle du plan d'expérience. Grâce à cela, on peut |
| |
Regardez la capacité de… ou comment les courbes évoluent en fonction des composants ajoutés, des composants supplémentaires, de nos composants mixtes. J'ajoute une chose : je vais modifier la linéarité. Je vais ajouter une contrainte. |
| |
et |
| |
change ça. |
| |
Très bien, et on dit OK. Et puis, en regardant nos groupes ici, à mesure que… à mesure que je diminue en amidon, ce gluten va augmenter, donc cette contrainte nous permet d'examiner |
| |
Comment les différents regroupements ou mélanges se comparent, et comment les courbes évoluent-elles en fonction des teneurs en amidon et en gluten ? Et là encore, c'est un continuum. Ce que nous avons fait avec les données est très précis. |
| |
des portions de données, afin que nous puissions avoir une idée de ce qui va se passer, même sur... même si les mélanges ne sont pas exacts comme nous le montrions dans les données, d'accord. |
| |
Très bien, voilà donc les données brutes, et voyons si c'est... ma prochaine étape est... c'est pratiquement la même chose. |
| |
Et je veux m'assurer d'avoir choisi le bon. Ceci est réalisé avec les données prétraitées, donc c'est le même explorateur de données fonctionnel. |
| |
en utilisant les données prétraitées, excusez-moi, et vous pouvez déjà voir les différences. |
| |
Et les courbes, à mesure que les données prétraitées arrivent, nous ajustons les modèles, et nous obtenons deux composantes principales fonctionnelles. Ce que nous voulons observer ici, c'est que |
| |
Graphique des scores. On constate à nouveau que ces regroupements de variables sont dus aux différentes versions ou aux différences |
| |
Les groupes ou mélanges de gluten et d'amidon sont bien mieux regroupés ici, d'accord. On peut aussi en extraire différents, c'est un peu ça. |
| |
La dernière chose que je veux montrer ou dont je veux parler est d’examiner ce qu’on appelle la régression généralisée. |
| |
Et si cela veut |
| |
Ça me convient parfaitement ! Voici l'ajustement de régression généralisé des données brutes. J'ai utilisé un ajustement net élastique avec une validation croisée à k-fold. |
| |
J'ai réglé l'alpha net élastique à 0,56 pour obtenir ce que j'appelle un ajustement plus agréable à l'œil. Cela permet d'obtenir différents groupes, voire plus, de |
| |
Longueurs d'onde à ajouter à l'ajustement du modèle. Cela ne limitera pas seulement l'ajustement global du modèle. |
| |
Si je faisais ça, si je limitais cet élastique, cet alpha, j'obtiendrais une coupe qui ressemble plus à ça. Et maintenant, c'est un modèle beaucoup plus petit, beaucoup plus simple, mais il y a aussi… il se peut que vous manquiez une partie de l'additif ou |
| |
Des effets additifs pourraient vous aider à obtenir un meilleur ajustement global. À vous de choisir : le modèle le plus simple vous sera bénéfique à long terme. |
| |
si vous avez besoin d'avoir des groupes différents, cela vous aidera à trouver des groupes différents si vous avez un mélange de plusieurs composants, mais sachez simplement que l'ajustement avec le |
| |
un alpha net élastique inférieur permettra à davantage de facteurs et de variables, ainsi qu'à davantage de longueurs d'onde de faire partie du modèle, d'accord. |
| |
Et ça, c'est avec les données brutes. Voyons si ça va me donner… |
| |
on verra bien si on obtient... et puis c'est l'ajustement avec le |
| |
des données entièrement prétraitées, donc c'est pratiquement la même chose. |
| |
C'est juste que vous regardez un résultat global différent, |
| |
C'est vrai. Vous regardez un modèle différent, très différent. Il utilise, encore une fois, un alpha net élastique différent et |
| |
En fin de compte, ce que nous voulons faire, c'est simplement comparer ces choses. Si je compare… |
| |
Encore une fois, en comparant les données brutes PLS aux données prétraitées, on obtient un ajustement bien meilleur. Si je compare la régression généralisée aux… il s'agit donc de données des moindres carrés partiels pour |
| |
Prétraité, prétraité par régression généralisée avec un alpha net élastique plus faible, puis avec un alpha net élastique plus élevé. Nous obtenons de bons ajustements partout, donc il n'y a pas de mal à étudier la question. |
| |
Comparaison de la régression généralisée dans JMP Pro et des moindres carrés partiels. On obtient ainsi de très bons modèles. |
| |
c'est simplement un excellent moyen d'analyser vos données et de créer des modèles prédictifs pour une comparaison future ou lorsque vous obtenez des données futures. |
| |
Sur ce, je tiens à vous remercier. Jeremy, merci beaucoup pour votre contribution. Nous espérons que vous apprécierez tous ce projet. N'hésitez pas à nous faire part de vos commentaires. Nous attendons vos retours. Nous voulons savoir ce que vous pensez de ces nouvelles fonctionnalités. |
