Un petit rappel de là où nous nous sommes arrêtés Partie 1 de cette série sur les données spectroscopiques : Nous analysions un ensemble de données de spectroscopie populaire par Martens et al. " Diffusion de la lumière et absorbance de la lumière séparées par une correction de signal multiplicative étendue. Application à l'analyse en transmission proche infrarouge de mélanges de poudres " Chimie analytique 1er février 2003;75(3):394-404. Quelques étapes de prétraitement simples nous ont permis d'améliorer considérablement le rapport signal sur bruit dans les données.
Dans cet article, nous utilisons les mêmes données pour démontrer l'utilité des plates-formes multivariées dans JMP . Dans l'analyse spectrale, les statistiques multivariées sont largement utilisées car on essaie de manière itérative différentes étapes de prétraitement et évalue l'impact sur les données. Nous nous concentrons sur l'apprentissage non supervisé, ou l'analyse exploratoire des données, dans un premier temps. Ensuite, nous démontrons comment l'explorateur de données fonctionnelles (FDE) peut être utilisé pour construire des modèles de calibrage multivariés. Enfin, nous introduisons une méthode de prétraitement plus avancée - la correction de signal multiplicative étendue - et montrons comment cela peut encore améliorer notre modèle d'étalonnage multivarié.
Méthodes multivariées
Analyse en composantes principales
La première méthode exploratoire que nous démontrons est l'analyse en composantes principales (ACP). Fait intéressant, lorsqu'une PCA est effectuée sur les spectres bruts, les sous-groupes connus peuvent être identifiés dans le tracé des scores sans nécessiter de prétraitement (Figure 1).Rappelez-vous de la partie 1 que les échantillons sont des mélanges de gluten et d'amidon et que les couleurs indiquent la fraction de gluten. Bien qu'il y ait une bonne séparation entre les groupes, il y a encore une quantité considérable de variation pour les spectres avec la même fraction de gluten, ce qui causera des problèmes pour l'étalonnage multivarié plus tard. Cette erreur s'améliore considérablement à la fin de cet article, une fois que nous avons trouvé le flux de travail de prétraitement optimal.
Figure 1. Les parcelles de score et de chargement pour le modèle PCA. Le tracé de chargement indique un degré élevé de corrélation entre les longueurs d'onde, comme prévu. Les couleurs indiquent la fraction de gluten présente dans chaque échantillon de 0 (bleu) à 1 (rouge). Les valeurs propres indiquent que la variation dans cet ensemble de données peut être expliquée par 2 composantes principales.
Carte de contrôle multivariée pilotée par le modèle
En règle générale, un certain type d'analyse des valeurs aberrantes est effectué pour identifier et supprimer les valeurs aberrantes influentes du modèle. JMP fournit des outils d'analyse des valeurs aberrantes au sein de la plate-forme PCA. Cependant, avec JMP 15 est venu le diagramme de contrôle multivarié piloté par modèle (MDMCC), qui est un outil plus complet pour l'analyse des valeurs aberrantes qui permet une enquête plus approfondie sur l'analyse des causes profondes et la comparaison des spectres pour les différences.
Figure 2.Le graphique Model Driven Multivariate Control identifie deux spectres (13 et 14) comme valeurs aberrantes selon le J 2 et graphiques SPE . Les graphiques de proportion de contribution moyenne montrent les longueurs d'onde avec la plus grande contribution au signal hors contrôle.
Pour les spectres de cette analyse, MDMCC identifie deux spectres (13 et 14), comme valeurs aberrantes en fonction de leur T dérivé de l'ACP 2 et graphiques SPE (Figure 2).Le T 2 graphique indique que ces points sont éloignés des données dans le plan du modèle, tandis que le graphique SPE indique que les points sont éloignés du plan du modèle. Une autre façon de conceptualiser cela est que ces spectres sont 1) éloignés des spectres moyens et 2) mal ajustés dans le modèle PCA. Étant donné que ces deux conditions sont remplies, les points sont des valeurs aberrantes potentiellement influentes, ce qui signifie qu'ils peuvent tirer le plan du modèle PCA vers eux lorsque le modèle est ajusté. S'il s'agit de données vraiment erronées, il existe un potentiel pour un modèle PCA médiocre. Notez qu'il existe d'autres points que 13 et 14 qui sont des valeurs aberrantes dans le T 2 graphique, mais pas dans le graphique SPE. Étant donné que ces points sont éloignés des spectres moyens, mais correspondent toujours au modèle PCA, ils sont moins susceptibles d'être des valeurs aberrantes influentes. Pour voir une bonne illustration qui distingue T 2 et les valeurs aberrantes de SPE, voir la figure 4 de ce papier .
Pour mieux comprendre pourquoi les points 13 et 14 sont des valeurs aberrantes, nous construisons des graphiques à barres de proportion de contribution moyenne pour le T 2 et graphiques SPE (Figure 3).Ceux-ci montrent les longueurs d'onde avec la plus grande contribution au statut de valeur aberrante dans les deux graphiques. Vous pouvez également survoler des barres individuelles pour afficher des cartes de contrôle univariées pour une longueur d'onde spécifique.
Pour cet exemple, il est utile de tracer les spectres dans Graph Builder pour mieux comprendre pourquoi les observations sont aberrantes (Figure 3). Une anomalie notable est que ces deux spectres ont des absorbances anormalement grandes à des longueurs d'onde plus longues.
Si nous décidons que ces valeurs aberrantes sont suspectes, il est facile de réajuster le modèle sans les valeurs aberrantes. Pour ce faire, activez le recalcul automatique dans le rapport MDMCC, sélectionnez les observations aberrantes dans la carte de contrôle T2 ou SPE, puis utilisez le clic droit >> Lignes >> Exclure la ligne.
Figure 3. Vue Graph Builder pour les spectres 13 et 14 tels que sélectionnés dans MDMCC via une liaison dynamique. Ce graphique montre comment les deux spectres sélectionnés pourraient être perçus comme des valeurs aberrantes lorsqu'ils sont comparés directement au reste des données.
Le diagramme de score pour MDMCC peut également être utilisé pour comparer des sous-groupes (Figure 4). Le groupe A est le sous-groupe "rouge" supérieur et le groupe B est le sous-groupe "bleu" inférieur. Le diagramme de contribution du score relatif montre où il y a des différences significatives entre les deux sous-groupes par longueur d'onde.
Figure 4. Comparaison de groupe entre les spectres avec 0% et 100% de gluten. Les longueurs d'onde avec la plus grande contribution absolue dans le graphique à barres montrent la plus grande différence entre les groupes.
Explorateur de données fonctionnelles
La plate-forme PCA de JMP est un bon outil à usage général, mais n'a pas été conçue pour les données ayant une forme fonctionnelle comme les spectres. Heureusement, dans JMPPro , il existe un outil spécialement conçu pour les données fonctionnelles. La plate-forme Functional Data Explorer (FDE) de JMP Pro peut être utilisée pour une analyse plus approfondie des données spectrales. FDE est utilisé pour analyser les données de courbe sur un certain continuum, pour les spectres NIR, le continuum est la longueur d'onde. Étant donné que tous les spectres sont mesurés sur la même grille équidistante, nous pouvons ajuster un modèle PCA fonctionnel direct, qui effectue une PCA fonctionnelle sans ajuster une fonction de base (Figure 5). Notez que nous n'avons pas exclu les valeurs aberrantes que nous avons identifiées dans la section précédente (13 et 14) du modèle FDE. Bien que l'on puisse choisir d'exclure ces valeurs aberrantes, nous les incluons dans l'ajustement car dans une section ultérieure, nous comparerons à un modèle FDE adapté aux données prétraitées où ces observations ne sont plus des valeurs aberrantes (voir Figure 14).
Dans la figure 5, les valeurs propres correspondant aux composants principaux fonctionnels (fPC) montrent combien de variation est expliquée par chaque fPC. Dans le cas de ces données, la variation est caractérisée par les deux premiers fPC, comme c'était le cas avec le PCA. Vous voyez également une courbe moyenne associée aux fPC. Si vos données suivent exactement la fonction moyenne, tous les fPC seraient nuls. Si la valeur fPC est positive, la forme de la fonction varie de la moyenne dans une forme similaire à la fonction propre correspondante, tandis qu'une fPC négative indique l'effet inverse. Les fonctions propres sont comparables à un tracé commun utilisé dans l'analyse PCA des données spectrales appelé tracé des charges spectrales, où les charges sont classées par longueur d'onde.
Figure 5. Les résumés d'ajustement du modèle PCA fonctionnel direct. Deux composantes principales fonctionnelles expliquent 100 % de la variation des données.
Les spectres individuels sont ajustés et le tracé de score résultant est illustré à la figure 6. Une fonctionnalité pratique de la plate-forme des composants principaux fonctionnels est la possibilité de survoler les points dans les tracés de score et de voir les graphlets pour les spectres correspondants. Ceci est très utile dans cet exemple, car le diagramme de score organise les données en sous-groupes de spectres similaires, puis l'infobulle montre les différences dans la forme fonctionnelle. Cela peut être utilisé pour découvrir les différences entre les sous-groupes sans s'appuyer sur des analyses plus sophistiquées.
Figure 6. Le diagramme de score pour l'ajustement du modèle FDE. Les différences entre les sous-groupes peuvent être explorées en survolant les points du graphique des scores, révélant la forme fonctionnelle des spectres.
Le fPC Profiler permet une interprétation plus facile des dimensions du score pour les fPC individuels (Figure 7). Le déplacement de l'un des curseurs fPC montre l'effet sur la fonction prédite du déplacement le long d'une des directions fPC, avec les autres valeurs fPC fixes.
Figure 7. Les fonctions propres (A) et le fPC Profiler (BD) pour l'ajustement du modèle FDE. Le profileur fPC avec les fPC réglés sur leurs valeurs moyennes (B), fPC2 réglé sur sa valeur minimale (C) et fPC2 réglé sur sa valeur maximale (D). Lorsque la valeur de fPC2 est positive, la forme des spectres varie de la moyenne dans une forme similaire à la fonction propre correspondante, tandis qu'une fPC négative indique l'effet inverse.
Conception fonctionnelle des expériences (étalonnage multivarié)
Étant donné que ces données proviennent d'une expérience conçue, une analyse DOE fonctionnelle est pertinente (Figure 8). Le profileur FDOE permet de prédire la forme fonctionnelle des spectres au niveau des fractions d'amidon et de gluten non observées dans les données expérimentales. Dans l'analyse des spectres, cela s'appelle un modèle d'étalonnage multivarié. Étant donné que l'amidon et le gluten sont des proportions de mélange dont la somme est égale à 1, nous appliquons une contrainte de mélange dans le profileur.
Souvent, il est souhaitable de construire l'inverse de ce modèle, dans lequel les facteurs expérimentaux (les proportions des constituants, dans ce cas) sont prédits en fonction des spectres. De manière déroutante, cela est également appelé étalonnage multivarié. Pour plus de clarté, nous adoptons la terminologie de Brereton et appelons cela l'étalonnage multivarié inverse. Pour s'adapter à ces types de modèles, il est possible de générer les principaux composants fonctionnels et de les fournir à n'importe quelle plate-forme de modélisation prédictive dans JMP. Cela permet d'adapter des modèles flexibles, tels que des réseaux de neurones, aux résumés de fonctions. Ces modèles peuvent être capables de modéliser les non-linéarités et les dépendances mieux que PLS. Nous illustrerons une telle approche dans le prochain billet.
Figure 8. Le profileur DOE fonctionnel. Une contrainte linéaire a été appliquée à l'amidon et au gluten pour qu'ils totalisent 1. Les spectres sont prédits à des combinaisons de facteurs expérimentaux non observés dans les données d'origine.
Classification hiérarchique
Le clustering hiérarchique est un autre outil d'apprentissage automatique non supervisé populaire dans l'analyse spectrale. L'objectif du clustering hiérarchique est d'identifier des sous-groupes dans les données, où les différences sont faibles au sein des clusters et importantes entre les clusters. Dans les sections précédentes, nous avons identifié des sous-groupes mais nous l'avons fait de manière subjective. Le regroupement hiérarchique fournit un critère objectif pour définir ces sous-groupes.
Le dendrogramme de cluster montre une hiérarchie de clustering qui va des pointes, où chaque spectre est dans son propre cluster, à la racine, dans laquelle tous les spectres sont dans un cluster. Le dendrogramme montre comment les clusters sont fusionnés de manière itérative par l'algorithme de clustering. La longueur des branches internes est proportionnelle à la différence entre clusters, où la différence entre clusters est définie selon un critère de liaison.
Le clustering hiérarchique dans JMP est une plate-forme riche, avec de nombreuses fonctionnalités utiles pour l'analyse spectrale que nous n'avons pas le temps de couvrir ici. Nous fournissons le rapport dans le journal ci-joint afin que vous puissiez découvrir les fonctionnalités par vous-même. Certaines fonctionnalités qui méritent d'être vérifiées sont la sélection interactive du nombre de clusters, la sortie des affectations de clusters, la possibilité de sélectionner et de mettre en évidence des clusters dans le dendrogramme et la possibilité de lancer des tracés parallèles pour les clusters. Il convient également de noter que le clustering hiérarchique a d'excellentes performances pour les problèmes à n grand et à grand p.
Figure 9. Regroupement hiérarchique des spectres bruts (à gauche) et des spectres prétraités selon la partie 1 de cette série (à droite). Les données brutes montrent un regroupement beaucoup plus dispersé des spectres individuels, ce qui entraîne un sous-groupement médiocre, tandis que les données prétraitées montrent un sous-groupement mieux défini. On peut enregistrer les désignations de cluster individuelles et les utiliser comme entrée dans un processus de modélisation si on le souhaite.
Prétraitement avancé
Correction de signal multivariée étendue
Cette section présente un diagramme de diagnostic utile appelé diagramme des effets de dispersion et une puissante méthode de prétraitement appelée correction de dispersion multiplicative étendue (EMSC). Le diagramme des effets de dispersion est simple à créer dans JMP, et un exemple est fourni dans le journal joint. L'EMSC aura besoin de certaines connaissances JSL pour reproduire. Nous présentons l'EMSC car il fonctionne bien pour ces données, et la plateforme Fit Model est un outil pédagogique utile pour enseigner la méthode. En outre, nous avons l'intention de fournir de nombreuses méthodes de prétraitement telles que l'EMSC dans la plate-forme FDE dans une future version de JMP, alors restez à l'écoute pour cela.
La figure 10 montre le graphique des effets de dispersion, qui est utile lors de la sélection des méthodes de prétraitement. Il existe des modèles dans ces tracés qui indiquent différentes sources de bruit, et vous pouvez utiliser ces informations pour sélectionner les méthodes de prétraitement appropriées pour vos données. Dans les diagrammes des effets de dispersion, les décalages de l'ordonnée à l'origine indiquent un décalage de ligne de base constant ou un effet additif. Une méthode de pré-traitement comme la 1 St Le filtre dérivé Savitzky Golay (SG) - que nous avons présenté dans le précédent article de blog - supprime ces effets. Les effets de diffusion multiplicatifs se produisent lorsque les spectres présentent une grande variation à certaines longueurs d'onde seulement. Ceux-ci apparaissent sous la forme de changements de pente, ou "éventail", dans le diagramme des effets de dispersion. Certaines méthodes de prétraitement qui peuvent supprimer les effets multiplicatifs sont la correction de dispersion multiplicative (MSC) et la variable normale standard. Nous avons montré la variable normale standard dans le post précédent. Dans cet article, nous vous présentons le MSC. Les effets chimiques apparaissent également comme un modèle distinct dans ces parcelles. Fait intéressant, ceux-ci apparaissent sous forme de boucles !
Figure 10. Tracé des effets de dispersion pour les spectres bruts (A) et 1 St dériver les données filtrées SG (B). Une fois les effets additifs supprimés par le filtre SG, les effets multiplicatifs subsistent. Une méthode de prétraitement qui supprime les effets multiplicatifs sera nécessaire pour ces données.
Le graphique des effets de dispersion pour les données brutes suggère fortement un effet additif (figure 10A). Il peut également y avoir des effets multiplicatifs, mais il est difficile de le dire car l'effet additif est si dominant. Donc, nous supprimons d'abord l'effet additif en appliquant un 1 St dérivez le filtre SG sur les données comme nous l'avons fait dans le post précédent. Dans le post précédent, nous avons tracé les spectres pré-traités dans Graph Builder et montré que les effets multiplicatifs subsistaient. Les effets multiplicatifs sont également apparents dans le graphique des effets de dispersion - notez l'éventail considérable (Figure 10B). Il y a donc des effets à la fois additifs et multiplicatifs dans les données. L'EMSC peut supprimer les deux sources de bruit en une seule étape.
Dans leur article original, Martens et al. a présenté l'EMSC et a montré comment cette méthode pouvait améliorer les méthodes de prétraitement plus simples, telles que celles présentées dans notre article précédent. Nous construisons jusqu'à l'EMSC, mais il est plus facile de commencer par la correction de diffusion multiplicative (MSC). Le MSC vise à corriger les diverses sources de bruit dans les données en faisant en sorte que les données ressemblent davantage à un spectre de référence. Comme il n'y a souvent pas de bonne norme disponible, le spectre moyen est fréquemment utilisé. Pour chaque spectre, une régression distincte est effectuée. Laisser X = {x 1 , …, X p } un vecteur d'absorbances pour un spectre donné et X * = {x * 1 , …, X * p } le spectre de référence. Le modèle est
Et le spectre est corrigé comme suit :
Un problème avec le MSC est qu'il ne tient pas compte de la relation qui existe entre les effets de diffusion et la longueur d'onde. L'EMSC résout ce problème en incorporant une relation polynomiale dans le modèle. Typiquement, une relation quadratique est supposée pour la longueur d'onde. Un autre problème avec le MSC est qu'en régressant chaque spectre sur le spectre moyen, les effets chimiques réels qui présentent un intérêt peuvent être supprimés. Si les échantillons sont connus pour être un mélange d'un petit nombre de composants chimiques - et que des spectres de référence purs sont disponibles pour chaque composant - l'EMSC peut être étendu davantage en incorporant des informations préalables sur la composition chimique dans le modèle. Dans les données de Marten et al., il y a du gluten pur ( X g ) et de l'amidon pur ( X s ) échantillons dans les données. Comme dans Marten et al. papier, nous avons choisi l'échantillon 1 et l'échantillon 93 comme spectres de référence. Le modèle EMSC modifiera le spectre de référence en fonction de la composition chimique estimée, ce qui préserve mieux le vrai signal chimique dans les données.
m = ( X g + X s )/2 et k = ( X g - X s ) et je = {l 1 , …, l p } est le vecteur des longueurs d'onde.La m et k les termes du modèle sont exprimés de cette manière pour simplifier l'équation de correction. Les spectres corrigés sont calculés comme suit :
Pour effectuer l'EMSC dans JMP, nous devrons d'abord créer des colonnes pour le X g et X s spectres de référence. Pour ce faire, nous créons des sous-ensembles de la table de données pour créer des tables pour les spectres de référence, puis rejoignons les tables de référence à la table d'origine. Nous le faisons avec les étapes suivantes :
- Utilisez Rows >> Row Selection >> Select Where pour sélectionner toutes les lignes correspondant à l'un des spectres de référence.
- Utilisez Sous-ensemble pour créer un tableau contenant uniquement les spectres de référence.
- Reliez les tables à la table d'origine, en utilisant la longueur d'onde comme colonne correspondante.
Ensuite, nous créons le k et m colonnes, ce qui peut être fait à l'aide de colonnes de formules qui fonctionnent sur le X g et X s Colonnes. Nous sommes alors prêts à estimer le modèle EMSC. Cela peut être fait dans le modèle d'ajustement à l'aide des options illustrées à la figure 11. Pour effectuer la correction EMSC, nous devons extraire les coefficients des termes du modèle et les enregistrer dans les colonnes du tableau de données. Nous devons utiliser un script jsl pour cela, mais le script est assez simple. Enfin, nous effectuons la correction EMSC en utilisant la formule illustrée à la figure 12.
Figure 11. Ajuster le dialogue de lancement du modèle pour le modèle EMSC.
Figure 12. Formule de colonne pour la correction EMSC.
Le résultat final est illustré à la figure 13. Les spectres sont remarquablement exempts d'effets de dispersion et sont une représentation beaucoup plus précise des véritables spectres sous-jacents.
Figure 13. Spectres avant et après les étapes de prétraitement appliquées dans ce blog. (Haut) Avant pré-traitement, (Bas) après correction EMSC.
Modèle d'étalonnage multivarié final
Les spectres sont maintenant prêts pour notre modèle final d'étalonnage multivarié en FDE. Nous effectuons un DOE fonctionnel en utilisant la méthode décrite dans la section FDE. Le modèle résultant nous permet de prédire avec précision la forme spectrale d'une combinaison donnée de proportions de mélange. Un exemple de ces prédictions est illustré à la figure 14.
Figure 14. DOE fonctionnel des spectres corrigés EMSC avant et après le pré-traitement. Une contrainte linéaire a été appliquée à l'amidon et au gluten pour qu'ils totalisent 1. Notez les grands changements dans la forme spectrale après le prétraitement. Étant donné que les effets de dispersion ont été supprimés des spectres, nous pouvons obtenir des estimations plus précises de la forme spectrale prédite pour des combinaisons de facteurs non observées dans les données.
Conclusions et futurs articles
Nous avons présenté plusieurs plates-formes multivariées dans JMP qui sont utiles pour identifier des modèles dans vos données spectrales. Nous nous sommes concentrés sur les analyses de sous-groupes et les analyses de valeurs aberrantes courantes dans l'analyse spectrale. L'utilité de FDE pour l'analyse des données spectrales était pleinement visible lorsque nous avons démontré les nombreux outils exploratoires disponibles. Surtout, la conception fonctionnelle des expériences permet de construire facilement des modèles d'étalonnage multivariés. Nous avons démontré comment la plate-forme Fit Model de JMP peut être utilisée pour créer un modèle étendu de correction multiplicative du signal (EMSC), qui élimine considérablement le bruit dans nos données. En créant des modèles EMSC à partir de zéro dans Fit Model, nous acquérons plus de contrôle et une meilleure compréhension du processus de création de modèles.
Dans le prochain article, nous aborderons les modèles multivariés supervisés. Nous adoptons la terminologie de Brereton et nous y référons en tant que modèles d'étalonnage multivariés inverses. Ceux-ci prédiront les facteurs expérimentaux en fonction des spectres. Nous construirons des modèles dans les plateformes Partial Least Squares et Generalized Regression. Nous montrerons également comment les composants principaux fonctionnels peuvent être produits à partir de FDE et fournis à n'importe quel modèle prédictif dans JMP, permettant la construction de modèles d'étalonnage plus complexes.
