Un petit rappel de l'endroit où nous nous sommes arrêtés Partie 1 de cette série sur les données spectroscopiques : Nous analysions un ensemble de données de spectroscopie populaire de Martens et al. " Diffusion de la lumière et absorption de la lumière séparées par une correction multiplicative étendue du signal. Application à l'analyse par transmission proche infrarouge de mélanges de poudres " Chimie analytique 1er février 2003;75(3):394-404. Quelques étapes simples de prétraitement nous ont permis d’améliorer considérablement le rapport signal/bruit des données.
Dans cet article, nous utilisons les mêmes données pour démontrer l'utilité des plateformes multivariées dans JMP . Dans l'analyse spectrale, les statistiques multivariées sont largement utilisées lorsque l'on essaie de manière itérative différentes étapes de prétraitement et évalue l'impact sur les données. Nous nous concentrons dans un premier temps sur l’apprentissage non supervisé ou sur l’analyse exploratoire des données. Nous démontrons ensuite comment l'explorateur de données fonctionnelles (FDE) peut être utilisé pour créer des modèles d'étalonnage multivariés. Enfin, nous introduisons une méthode de prétraitement plus avancée - la correction multiplicative étendue du signal - et montrons comment elle peut améliorer encore notre modèle d'étalonnage multivarié.
Méthodes multivariées
Analyse des composantes principales
La première méthode exploratoire que nous démontrons est l’analyse en composantes principales (ACP). Il est intéressant de noter que lorsqu’une ACP est réalisée sur les spectres bruts, les sous-groupes connus peuvent être identifiés dans le tracé des scores sans qu’aucun prétraitement soit nécessaire (Figure 1).Rappelons de la partie 1 que les échantillons sont des mélanges de gluten et d'amidon, et que les couleurs indiquent la fraction de gluten. Bien qu’il y ait une bonne séparation entre les groupes, il existe encore une quantité considérable de variation pour les spectres avec la même fraction de gluten, ce qui posera ultérieurement des problèmes pour l’étalonnage multivarié. Cette erreur s'améliore considérablement à la fin de cet article, une fois que nous avons trouvé le flux de travail de prétraitement optimal.
Figure 1. Les tracés de score et de chargement pour le modèle PCA. Le tracé de chargement indique un degré élevé de corrélation entre les longueurs d'onde, comme prévu. Les couleurs indiquent la fraction de gluten présente dans chaque échantillon de 0 (bleu) à 1 (rouge). Les valeurs propres indiquent que la variation dans cet ensemble de données peut être expliquée par 2 composantes principales.
Carte de contrôle multivariée pilotée par modèle
En règle générale, un certain type d’analyse des valeurs aberrantes est effectué pour identifier et supprimer les valeurs aberrantes influentes du modèle. JMP fournit des outils d'analyse des valeurs aberrantes au sein de la plateforme PCA. Cependant, avec JMP 15 est venu le Model Driven Multivariate Control Chart (MDMCC), qui est un outil plus complet pour l'analyse des valeurs aberrantes qui permet une enquête plus approfondie sur l'analyse des causes profondes et la comparaison des spectres pour les différences.
Figure 2.La carte de contrôle multivarié piloté par modèle identifie deux spectres (13 et 14) comme valeurs aberrantes selon le T 2 et cartes SPE . Les tracés de proportion de contribution moyenne montrent les longueurs d'onde avec la plus grande contribution au signal hors de contrôle.
Pour les spectres de cette analyse, MDMCC identifie deux spectres (13 et 14), comme valeurs aberrantes sur la base de leur T dérivé de l'ACP. 2 et graphiques SPE (Figure 2).Le T 2 Le graphique indique que ces points sont éloignés des données dans le plan du modèle, tandis que le graphique SPE indique que les points sont éloignés du plan du modèle. Une autre façon de conceptualiser cela est que ces spectres sont 1) éloignés des spectres moyens et 2) mal adaptés au modèle PCA. Puisque ces deux conditions sont satisfaites, les points sont potentiellement des valeurs aberrantes influentes, ce qui signifie qu'ils peuvent attirer le plan du modèle PCA vers eux lorsque le modèle est ajusté. S’il s’agit de données véritablement erronées, il est possible que le modèle PCA soit de mauvaise qualité. Notez qu'il existe d'autres points que 13 et 14 qui sont des valeurs aberrantes dans le T 2 graphique, mais pas dans le graphique SPE. Étant donné que ces points sont éloignés des spectres moyens, mais correspondent toujours au modèle ACP, ils sont moins susceptibles d’être des valeurs aberrantes influentes. Pour voir une bonne illustration qui distingue T 2 et les valeurs aberrantes du SPE, voir la figure 4 de ce papier .
Pour mieux comprendre pourquoi les points 13 et 14 sont des valeurs aberrantes, nous construisons des graphiques à barres de proportion de contribution moyenne pour le T 2 et graphiques SPE (Figure 3).Ceux-ci montrent les longueurs d'onde qui contribuent le plus au statut de valeur aberrante dans les deux graphiques. Vous pouvez également survoler des barres individuelles pour afficher des cartes de contrôle univariées pour une longueur d'onde spécifique.
Pour cet exemple, il est utile de tracer les spectres dans Graph Builder pour avoir une meilleure idée de la raison pour laquelle les observations sont aberrantes (Figure 3). Une anomalie notable est que ces deux spectres ont des absorbances anormalement grandes à des longueurs d’onde plus longues.
Si nous décidons que ces valeurs aberrantes sont suspectes, il est facile de réajuster le modèle en supprimant les valeurs aberrantes. Pour ce faire, activez le recalcul automatique dans le rapport MDMCC, sélectionnez les observations aberrantes dans la carte de contrôle T2 ou SPE, puis utilisez le clic droit >> Lignes >> Exclure des lignes.
Figure 3. Vue Graph Builder pour les spectres 13 et 14 sélectionnés dans MDMCC via une liaison dynamique. Ce graphique montre comment les deux spectres sélectionnés pourraient être perçus comme des valeurs aberrantes par rapport au reste des données.
Le graphique de score pour MDMCC peut également être utilisé pour comparer des sous-groupes (Figure 4). Le groupe A est le sous-groupe « rouge » supérieur et le groupe B est le sous-groupe « bleu » inférieur. Le graphique de contribution au score relatif montre où il existe des différences significatives entre les deux sous-groupes par longueur d'onde.
Graphique 4. Comparaison de groupe entre spectres avec 0% et 100% de gluten. Les longueurs d'onde ayant la plus grande contribution absolue dans le graphique à barres montrent la plus grande différence entre les groupes.
Explorateur de données fonctionnelles
La plateforme PCA de JMP est un bon outil à usage général, mais elle n'a pas été conçue pour des données ayant une forme fonctionnelle telle que les spectres. Heureusement, dans JMP Pro , il existe un outil spécialement conçu pour les données fonctionnelles. La plateforme Functional Data Explorer (FDE) de JMP Pro peut être utilisée pour une analyse plus approfondie des données spectrales. FDE est utilisé pour analyser les données de courbe sur un certain continuum, pour les spectres NIR, le continuum est la longueur d'onde. Étant donné que tous les spectres sont mesurés sur la même grille équidistante, nous pouvons adapter un modèle ACP fonctionnel direct, qui effectue une ACP fonctionnelle sans ajuster de fonction de base (Figure 5). Notez que nous n’avons pas exclu du modèle FDE les valeurs aberrantes que nous avons identifiées dans la section précédente (13 et 14). Bien que l'on puisse choisir d'exclure ces valeurs aberrantes, nous les incluons dans l'ajustement car dans une section ultérieure, nous les comparerons à un modèle FDE ajusté à des données prétraitées dans lequel ces observations ne sont plus des valeurs aberrantes (voir Figure 14).
Dans la figure 5, les valeurs propres correspondant aux composants principaux fonctionnels (fPC) montrent dans quelle mesure la variation est expliquée par chaque fPC. Dans le cas de ces données, la variation est caractérisée par les deux premiers fPC, comme c'était le cas pour PCA. Vous voyez également une courbe moyenne associée aux fPC. Si vos données suivent exactement la fonction moyenne, tous les fPC seraient nuls. Si la valeur fPC est positive, la forme de la fonction varie par rapport à la moyenne selon une forme similaire à la fonction propre correspondante, tandis qu'un fPC négatif indique l'effet inverse. Les fonctions propres sont comparables à un tracé commun utilisé dans l'analyse PCA des données spectrales appelé tracé des chargements spectraux, où les chargements sont classés par longueur d'onde.
Graphique 5. Le modèle PCA fonctionnel direct s’adapte aux résumés. Deux composantes principales fonctionnelles expliquent 100 % de la variation des données.
Les spectres individuels sont ajustés et le tracé des scores résultant est présenté à la figure 6. Une fonctionnalité pratique de la plate-forme de composants principaux fonctionnels est la possibilité de survoler des points dans des tracés de scores et de voir des graphlets pour les spectres correspondants. Ceci est très utile dans cet exemple, car le tracé des scores organise les données en sous-groupes de spectres similaires, puis l'aide au survol montre les différences dans la forme fonctionnelle. Cela peut être utilisé pour découvrir les différences entre les sous-groupes sans recourir à des analyses plus sophistiquées.
Graphique 6. Le tracé des scores pour l'ajustement du modèle FDE. Les différences entre les sous-groupes peuvent être explorées en survolant les points du tracé des scores, révélant la forme fonctionnelle des spectres.
Le fPC Profiler permet une interprétation plus facile des dimensions du score pour les fPC individuels (Figure 7). Le déplacement de l'un des curseurs fPC montre l'effet sur la fonction prédite du déplacement dans l'une des directions fPC, les autres valeurs fPC étant fixes.
Graphique 7. Les fonctions propres (A) et le profileur fPC (BD) pour l'ajustement du modèle FDE. Le profileur fPC avec les fPC définis sur leurs valeurs moyennes (B), fPC2 défini sur sa valeur minimale (C) et fPC2 défini sur sa valeur maximale (D). Lorsque la valeur fPC2 est positive, la forme des spectres varie par rapport à la moyenne selon une forme similaire à la fonction propre correspondante, tandis qu'une fPC négative indique l'effet inverse.
Conception fonctionnelle d'expériences (étalonnage multivarié)
Étant donné que ces données proviennent d’une expérience conçue, une analyse fonctionnelle DOE est pertinente (Figure 8). Le profileur FDOE permet de prédire la forme fonctionnelle des spectres des fractions d'amidon et de gluten non observées dans les données expérimentales. En analyse spectrale, c'est ce qu'on appelle un modèle d'étalonnage multivarié. Puisque l'amidon et le gluten sont des proportions de mélange dont la somme est égale à 1, nous appliquons une contrainte de mélange dans le Profiler.
Il est souvent souhaitable de construire l'inverse de ce modèle, dans lequel les facteurs expérimentaux (les proportions des constituants, dans ce cas) sont prédits en fonction des spectres. Ce qui prête à confusion, c'est aussi ce qu'on appelle l'étalonnage multivarié. Pour plus de clarté, nous adoptons la terminologie de Brereton et l'appelons étalonnage multivarié inverse. Pour adapter ces types de modèles, il est possible de générer les principaux composants fonctionnels et de les fournir à n'importe quelle plateforme de modélisation prédictive dans JMP. Cela permet d'adapter des modèles flexibles, tels que les réseaux de neurones, aux résumés de fonctions. Ces modèles peuvent être capables de mieux modéliser les non-linéarités et les dépendances que le PLS. Nous illustrerons une telle approche dans le prochain article.
Figure 8. Le profileur DOE fonctionnel. Une contrainte linéaire a été appliquée à l’amidon et au gluten afin que leur somme soit égale à 1. Les spectres sont prédits avec des combinaisons de facteurs expérimentaux non observées dans les données originales.
Classification hiérarchique
Le clustering hiérarchique est un autre outil d'apprentissage automatique non supervisé populaire dans l'analyse spectrale. L'objectif du clustering hiérarchique est d'identifier des sous-groupes dans les données, où les différences sont faibles au sein des clusters et importantes entre les clusters. Dans les sections précédentes, nous avons identifié des sous-groupes, mais nous l'avons fait de manière subjective. Le regroupement hiérarchique fournit un critère objectif pour définir ces sous-groupes.
Le dendrogramme de cluster montre une hiérarchie de clustering qui va des pointes, où chaque spectre est dans son propre cluster, jusqu'à la racine, dans laquelle tous les spectres sont dans un seul cluster. Le dendrogramme montre comment les clusters sont fusionnés de manière itérative par l'algorithme de clustering. La longueur des branches internes est proportionnelle à la différence entre les clusters, la différence entre les clusters étant définie selon un critère de liaison.
Le clustering hiérarchique dans JMP est une plateforme riche, avec de nombreuses fonctionnalités utiles pour l'analyse spectrale que nous n'avons pas le temps d'aborder ici. Nous mettons à votre disposition le rapport dans le journal ci-joint afin que vous puissiez découvrir les fonctionnalités par vous-même. Certaines fonctionnalités qui valent la peine d'être vérifiées sont la sélection interactive du nombre de clusters, la sortie des affectations de clusters, la possibilité de sélectionner et de mettre en évidence des clusters dans le dendrogramme et la possibilité de lancer des tracés parallèles pour les clusters. Il convient également de noter que le clustering hiérarchique présente d’excellentes performances pour les problèmes à grand n et à grand p.
Graphique 9. Regroupement hiérarchique des spectres bruts (à gauche) et des spectres prétraités selon la partie 1 de cette série (à droite). Les données brutes montrent un regroupement beaucoup plus dispersé des spectres individuels, ce qui entraîne un sous-groupement médiocre, tandis que les données prétraitées montrent un sous-groupement mieux défini. On peut enregistrer les désignations de cluster individuelles et les utiliser comme entrée dans un processus de modélisation si on le souhaite.
Prétraitement avancé
Correction de signal multivariée étendue
Cette section présente un tracé de diagnostic utile appelé tracé des effets de diffusion et une méthode de prétraitement puissante appelée correction de diffusion multiplicative étendue (EMSC). Le tracé des effets de dispersion est simple à créer dans JMP et un exemple est fourni dans le journal ci-joint. L'EMSC aura besoin de certaines connaissances JSL pour se reproduire. Nous présentons l’EMSC car il fonctionne bien pour ces données, et la plateforme Fit Model est un outil pédagogique utile pour enseigner la méthode. De plus, nous avons l'intention de fournir de nombreuses méthodes de prétraitement comme l'EMSC dans la plate-forme FDE dans une prochaine version de JMP, alors restez à l'écoute pour cela.
La figure 10 montre le tracé des effets de dispersion, utile lors de la sélection des méthodes de prétraitement. Il existe des modèles dans ces tracés qui indiquent différentes sources de bruit, et vous pouvez utiliser ces informations pour sélectionner les méthodes de prétraitement appropriées pour vos données. Dans les diagrammes des effets de dispersion, les changements dans l'ordonnée à l'origine indiquent un changement constant de la ligne de base ou un effet additif. Une méthode de pré-traitement comme la 1 St Le filtre dérivé Savitzky Golay (SG) - que nous avons présenté dans le billet de blog précédent - supprime ces effets. Les effets de diffusion multiplicative se produisent lorsque les spectres présentent de grandes variations à certaines longueurs d'onde seulement. Ceux-ci apparaissent sous forme de changements de pente, ou « en éventail », dans le tracé des effets de dispersion. Certaines méthodes de prétraitement qui peuvent supprimer les effets multiplicatifs sont la correction de diffusion multiplicative (MSC) et la variable normale standard. Nous avons montré la variable normale standard dans le post précédent. Dans cet article, nous présentons le MSC. Les effets chimiques apparaissent également sous la forme d’un schéma distinct dans ces graphiques. Fait intéressant, ceux-ci apparaissent sous forme de boucles !
Graphique 10. Tracé des effets de dispersion pour les spectres bruts (A) et 1 St dériver des données filtrées SG (B). Une fois les effets additifs supprimés par le filtre SG, les effets multiplicatifs subsistent. Une méthode de prétraitement supprimant les effets multiplicatifs sera nécessaire pour ces données.
Le tracé des effets de dispersion pour les données brutes suggère fortement un effet additif (figure 10A). Il peut également y avoir des effets multiplicatifs, mais il est difficile de le déterminer car l’effet additif est très dominant. Nous supprimons donc d’abord l’effet additif en appliquant un 1 St dérivez le filtre SG sur les données comme nous l'avons fait dans le post précédent. Dans l'article précédent, nous avons tracé les spectres prétraités dans Graph Builder et montré que les effets multiplicatifs persistaient. Les effets multiplicatifs sont également apparents dans le tracé des effets de dispersion - notez l'éventail considérable (Figure 10B). Il existe donc des effets à la fois additifs et multiplicatifs dans les données. L'EMSC peut supprimer les deux sources de bruit en une seule étape.
Dans leur article original, Martens et al. a présenté l'EMSC et a montré comment cette méthode pourrait améliorer les méthodes de prétraitement plus simples, telles que celles présentées dans notre article précédent. Nous sommes en train de construire l'EMSC, mais il est plus simple de commencer par la correction de diffusion multiplicative (MSC). Le MSC vise à corriger les différentes sources de bruit dans les données en faisant en sorte que les données ressemblent davantage à un spectre de référence. Comme il n’existe souvent pas de bon étalon disponible, le spectre moyen est fréquemment utilisé. Pour chaque spectre, une régression distincte est effectuée. Laisser X = {x 1 , …, X p } être un vecteur d'absorbances pour un spectre donné et X * = {x * 1 , …, X * p } le spectre de référence. Le modèle est
Et le spectre est corrigé comme suit :
L’un des problèmes du MSC est qu’il ne prend pas en compte la relation qui existe entre les effets de diffusion et la longueur d’onde. L'EMSC résout ce problème en incorporant une relation polynomiale dans le modèle. Généralement, une relation quadratique est supposée pour la longueur d'onde. Un autre problème du MSC est qu'en régressant chaque spectre sur le spectre moyen, les effets chimiques réels qui nous intéressent peuvent être supprimés. S'il est connu que les échantillons sont un mélange d'un petit nombre de composants chimiques - et que des spectres de référence purs sont disponibles pour chaque composant - l'EMSC peut être étendu davantage en incorporant des informations préalables sur la composition chimique dans le modèle. Dans les données de Marten et al., il existe du gluten pur ( X g ) et de l'amidon pur ( X s ) échantillons dans les données. Comme dans Marten et al. papier, nous avons choisi l’échantillon 1 et l’échantillon 93 comme spectres de référence. Le modèle EMSC modifiera le spectre de référence en fonction de la composition chimique estimée, ce qui préserve mieux le véritable signal chimique dans les données.
m = ( X g + X s )/2 et k = ( X g - X s ) et je = {l 1 , …, je p } est le vecteur des longueurs d'onde.Le m et k les termes du modèle sont exprimés de cette manière pour simplifier l’équation de correction. Les spectres corrigés sont calculés comme suit :
Pour effectuer l'EMSC dans JMP, nous devrons d'abord créer des colonnes pour le X g et X s spectres de référence. Pour ce faire, nous sous-définissons la table de données pour créer des tables pour les spectres de référence, puis joignons les tables de référence à la table d'origine. Nous faisons cela avec les étapes suivantes :
- Utilisez Lignes >> Sélection de lignes >> Sélectionnez Où pour sélectionner toutes les lignes correspondant à l'un des spectres de référence.
- Utilisez Subset pour créer un tableau contenant uniquement les spectres de référence.
- Rejoignez les tables à la table d'origine, en utilisant la longueur d'onde comme colonne correspondante.
Ensuite, nous créons le k et m colonnes, ce qui peut être effectué à l'aide de colonnes de formules qui fonctionnent sur le X g et X s Colonnes. Nous sommes alors prêts à estimer le modèle EMSC. Cela peut être fait dans le modèle d'ajustement en utilisant les options présentées dans la figure 11. Pour effectuer la correction EMSC, nous devons extraire les coefficients des termes du modèle et les enregistrer dans les colonnes du tableau de données. Nous devons utiliser un script jsl pour cela, mais le script est assez simple. Enfin, nous effectuons la correction EMSC en utilisant la formule présentée dans la figure 12.
Graphique 11. Ajuster la boîte de dialogue de lancement du modèle au modèle EMSC.
Graphique 12. Formule de colonne pour la correction EMSC.
Le résultat final est présenté dans la figure 13. Les spectres sont remarquablement exempts d’effets de diffusion et constituent une représentation beaucoup plus précise des véritables spectres sous-jacents.
Graphique 13. Spectres avant et après les étapes de pré-traitement appliquées dans ce blog. (En haut) Avant le prétraitement, (En bas) après la correction EMSC.
Modèle d'étalonnage multivarié final
Les spectres sont maintenant prêts pour notre modèle d'étalonnage multivarié final dans FDE. Nous effectuons un DOE fonctionnel en utilisant la méthode décrite dans la section FDE. Le modèle résultant nous permet de prédire avec précision la forme spectrale pour une combinaison donnée de proportions de mélange. Un exemple de telles prédictions est présenté à la figure 14.
Graphique 14. Spectres corrigés du DOE fonctionnel de l'EMSC avant et après le pré-traitement. Une contrainte linéaire a été appliquée à l’amidon et au gluten afin que leur somme soit égale à 1. Notez les changements importants dans la forme spectrale après le prétraitement. Puisque les effets de diffusion ont été supprimés des spectres, nous pouvons obtenir des estimations plus précises de la forme spectrale prédite pour des combinaisons de facteurs non observées dans les données.
Conclusions et futurs articles
Nous avons présenté plusieurs plates-formes multivariées dans JMP qui sont utiles pour identifier des modèles dans vos données spectrales. Nous nous sommes concentrés sur les analyses de sous-groupes et les analyses de valeurs aberrantes courantes dans l'analyse spectrale. L’utilité du FDE pour l’analyse des données spectrales était pleinement visible lorsque nous avons démontré les nombreux outils exploratoires disponibles. Il est important de noter que la conception fonctionnelle des expériences permet de créer facilement des modèles d’étalonnage multivariés. Nous avons démontré comment la plateforme Fit Model de JMP peut être utilisée pour créer un modèle étendu de correction multiplicative du signal (EMSC), qui élimine considérablement le bruit de nos données. En créant des modèles EMSC à partir de zéro dans Fit Model, nous obtenons plus de contrôle et une compréhension plus approfondie du processus de création de modèles.
Dans le prochain article, nous aborderons les modèles multivariés supervisés. Nous adoptons la terminologie de Brereton et les appelons modèles d'étalonnage multivariés inverses. Ceux-ci permettront de prédire les facteurs expérimentaux en fonction des spectres. Nous construirons des modèles dans les plateformes des moindres carrés partiels et de la régression généralisée. Nous montrerons également comment les composants principaux fonctionnels peuvent être générés par FDE et fournis à n'importe quel modèle prédictif dans JMP, permettant ainsi la construction de modèles d'étalonnage plus complexes.
