Dans nos deux articles de blog précédents, Jeremy Ash ( @JeremyAshJMP ) et j'ai présenté JMP capacités d'analyse spectrale et de visualisation en analysant un ensemble de données de spectroscopie populaire de Martens et al. 1 Nous avons montré différentes façons de visualiser les données spectrales et quelques étapes de prétraitement cela nous a permis d'améliorer considérablement le rapport signal sur bruit dans les données pour une analyse et une modélisation plus poussées.
Dans ce troisième segment de la série de blogs, nous montrons plusieurs façons de modéliser les données spectrales dans JMP.Les moindres carrés partiels (PLS) sont l'outil le plus courant pour analyser les données spectrales, et le PLS peut être utilisé à la fois avec JMP et JMPPro . JMP Pro propose également une régression pénalisée Elastic Net, une modélisation de réseau neuronal et des méthodes d'arbre de décision avancées telles que Bootstrap Forest.
Les techniques Bootstrap Forest et Elastic Net permettent de trouver rapidement et facilement les longueurs d'onde les plus importantes des composés individuels ainsi que les longueurs d'onde qui définissent les composants dans les mélanges. Ces techniques de modélisation peuvent être utilisées avec des données brutes ou des données traitées. Dans cet article, Jeremy et moi montrons les différences entre la modélisation des données brutes et les données prétraitées pour montrer l'amélioration globale de la capacité prédictive après le prétraitement. Afin de clarifier la comparaison globale des méthodes, la même colonne de validation à deux niveaux a été utilisée avec 20 % des données comme ensemble de validation pour toutes les analyses.
Méthodes de modélisation
Moindres carrés partiels
Les moindres carrés partiels sont la méthode standard d'analyse des spectres. PLS gère à la fois les données larges et hautes et est particulièrement efficace pour gérer les facteurs hautement corrélés. Cette capacité est de bon augure pour les spectres car les données spectrales ont souvent des absorbances fortement corrélées, ce qui fait que chaque longueur d'onde successive dépend de la longueur d'onde qui la précède immédiatement. En raison de cette dépendance, PLS est souvent utilisé pour analyser des données spectrales brutes avec de très bons résultats. Cependant, comme indiqué ci-dessus, le prétraitement améliore suffisamment le modèle prédictif résultant pour justifier de consacrer du temps et des efforts au prétraitement des données. N'oubliez pas que les données d'échantillon sont un groupe de mélanges de gluten et d'amidon, et dans le cas du PLS, cela fait un très bon travail de développement d'un modèle qui prédit bien les ratios de gluten et d'amidon avec tous les futurs échantillons.
Le modèle PLS a été construit avec deux facteurs latents parce que l'analyse en composantes principales précédente utilisait deux composantes principales. Aussi, Q 2 ne s'améliore pas beaucoup au-delà de deux facteurs, et l'ajout de plusieurs facteurs rend l'interprétation du modèle plus difficile.
Figure 1. Configuration et sortie du modèle des moindres carrés partiels.
Figure 1. Configuration et sortie du modèle des moindres carrés partiels.
Figure 2. Modèle des moindres carrés partiels avec données brutes.
Figure 3. Modèle des moindres carrés partiels avec données prétraitées.
Vous trouverez ci-dessous une comparaison du tracé réel par prédit pour les deux modèles PLS. Celui de gauche est pour les données brutes, et celui de droite utilise les données pré-traitées. Comme vous pouvez le voir, il y a une amélioration significative dans le modèle utilisant les données prétraitées.
Figure 4. Comparaison du modèle des moindres carrés partiels avec les données brutes et prétraitées.
Régression généralisée (Gen Reg)
Les techniques de régression généralisée se trouvent dans JMPPro . Gen Reg vous donne au moins deux choses que vous n'obtiendrez pas des moindres carrés ordinaires. La première est qu'avec Gen Reg, vos données n'ont pas besoin d'être distribuées normalement. Vous avez des options pour de nombreux types de distributions. Une autre différence est que Gen Reg inclut la technique de régression pénalisée et gère très bien les données hautement corrélées. Gen Reg fournit Ridge, Lasso et Elastic Net. Elastic Net est un bon compromis pour la modélisation des données spectrales, car vous pouvez ajuster la pénalité Elastic Net Alpha (ENA) pour éviter de sous-ajuster un modèle en rejetant de nombreux facteurs hautement corrélés comme importants pour le modèle. La valeur par défaut de 0,99 ENA a été utilisée pour construire un modèle initial. Ce modèle semblait plutôt épars et potentiellement sous-ajusté. Une option avancée dans Gen Reg a été utilisée pour analyser la plage de valeurs alpha pour voir s'il y avait un meilleur modèle. Cette analyse a fourni un meilleur ajustement en utilisant une valeur ENA de 0,55. Vous pouvez voir la différence d'ajustement pour les deux valeurs ENA dans les chemins de solution ci-dessous.
Figure 5 – Chemins de la solution Elastic Net pour les données brutes.
Figure 6 - Statistiques d'ajustement pour Gen Reg avec les données brutes.
Figure 7 - Chemins de solution Elastic Net pour les données prétraitées.
Figure 8 - Statistiques d'ajustement pour Gen Reg avec des données prétraitées.
Sans entrer dans plus de détails, l'ajustement des données brutes a utilisé 10 longueurs d'onde lorsque l'Elastic Net Alpha (ENA) était de 0,99 et 37 longueurs d'onde lorsque l'ENA était de 0,55.
Les données prétraitées ont un résultat significativement différent. En utilisant à nouveau Elastic Net, 22 longueurs d'onde significatives ont été trouvées en utilisant un ENA de 0,99 et 53 longueurs d'onde significatives en utilisant un ENA de 0,55. Alors qu'un grand nombre, 37 et 53 de longueurs d'onde significatives identifiées avec ENA de 0,55, les deux résultats sont inférieurs aux modèles PLS par une large marge. La vérification des statistiques d'ajustement pour les deux ensembles de modèles montre que les données prétraitées ont le meilleur modèle prédictif global. Cependant, si vous n'utilisiez que des données brutes, vous seriez toujours en mesure de proposer un modèle prédictif raisonnablement bon.
Figure 9 – Comparaison des modèles pour Gen Reg avec les données brutes et prétraitées.
Une comparaison des modèles PLS et ELN utilisant des données traitées montre que les modèles ELN ne sont que légèrement meilleurs sur la base de R 2 . Cependant, les modèles ELN sont plus simples et plus faciles à interpréter.
Figure 10 – Comparaison des techniques de modélisation PLS et ELN pour les données traitées.
Cela signifie-t-il que vous devez utiliser les modèles Elastic Net pour toutes vos analyses spectrales ? Vous devriez le considérer comme un candidat viable, mais cela dépend vraiment de la ou des plateformes de modélisation dont vous disposez et si l'interprétabilité du modèle est souhaitable en plus des performances de prédiction.
Plus d'options de modélisation
Modèles de réseaux neuronaux
À des fins de démonstration, vous pouvez également utiliser des modèles de réseaux de neurones, qui dans ce cas montrent des ajustements extrêmement bons mais sont des modèles très complexes.
Cependant, le Prediction Profiler de JMP permet aux utilisateurs d'interpréter même les modèles non linéaires les plus complexes. Le profileur peut être écrasant lorsque toutes les longueurs d'onde sont utilisées pour la prédiction. Pour simplifier le modèle de réseau neuronal, vous pouvez fournir les longueurs d'onde sélectionnées avec Gen Reg dans la boîte de dialogue du modèle.
Figure 11 – Comparaison des ajustements du réseau neuronal pour les données brutes et prétraitées.
Dans les deux cas, les données ont été ajustées avec une couche cachée et trois nœuds avec une fonction d'activation de tangente hyperbolique en utilisant une colonne de validation fixe de 20 % pour la validation croisée.
Forêt d'amorçage
L'utilisation d'une approche Bootstrap Forest donne les longueurs d'onde les plus significatives pour un ensemble de spectres donné. C'est aussi une indication claire que le prétraitement donne un bien meilleur modèle. La différence est basée sur la Validation R 2 pour chaque ensemble de données. La validation R 2 pour les données brutes est de 0,805, et pour les données traitées la Validation R 2 est de 0,987. Les modèles ci-dessous ont été ajustés en utilisant un pourcentage fixe de 20 % des données comme ensemble de validation pour éviter une sélection aléatoire de l'ensemble de validation.
Figure 12 – Comparaison des ajustements de la forêt bootstrap pour les données brutes et prétraitées.
Prise en charge de la régression vectorielle
La modélisation de la régression vectorielle de support (SVR) est également disponible dans JMP Pro et constitue une autre bonne alternative pour l'analyse des données spectrales. SVR est un algorithme d'apprentissage automatique puissant et flexible basé sur les limites utilisé pour créer des modèles prédictifs pour une réponse continue. Dans le cas de notre ensemble de données, SVR montre également une amélioration significative lors de l'analyse des données traitées.
Figure 13 - Comparaison des ajustements du modèle SVR pour les données brutes et prétraitées.
Il existe d'autres techniques de modélisation dans JMP et JMP Pro que vous pouvez utiliser pour modéliser les données spectrales. un futur article de blog.
1) " Diffusion de la lumière et absorbance de la lumière séparées par une correction de signal multiplicative étendue. Application à l'analyse en transmission proche infrarouge de mélanges de poudres " Chimie analytique 1er février 2003;75(3):394-404
