L'analyse des données spectrales s'apparente au décryptage d'un arc-en-ciel : c'est magnifique, mais plein de surprises. La forte corrélation entre les données spectrales pose des défis uniques, rendant inefficaces de nombreuses techniques conventionnelles.
Dans cette présentation, nous identifions ces défis et explorons des méthodes avancées adaptées au traitement de ces données. Plus précisément, nous nous penchons sur trois techniques puissantes : l’analyse en composantes principales (ACP), la régression des moindres carrés partiels (PLS) et l’analyse des données fonctionnelles (ADF). En comparant ces méthodes, nous mettons en lumière leurs atouts, leurs limites et leurs applications pratiques, offrant ainsi des pistes pour choisir la meilleure approche d’analyse de données spectrales fortement corrélées. Nous vous montrons comment transformer vos données en un véritable tableau de réussite, même si votre vision des données a évolué.
Merci d'être venus consulter notre affiche sur le décodage des arcs-en-ciel, qui présente les méthodes les plus efficaces et les plus simples d'analyse des données spectrales. Cette affiche s'appuie sur un article de recherche utilisant la spectroscopie de réflexion dans le proche infrarouge pour analyser les sols arctiques. Nous allons examiner trois techniques d'analyse spectrale : l'analyse en composantes principales, la régression des moindres carrés partiels et l'analyse fonctionnelle des données. Nous comparerons ensuite ces techniques et leurs résultats, et vous expliquerons leurs performances respectives.
Sur cette page principale, nous avons notre spectre, les trois techniques d'analyse et nos conclusions. Commençons par examiner le spectre. On y observe certaines difficultés liées à l'analyse des données spectrales. Notre carte de couleurs multivariée de corrélation révèle des données très fortement corrélées. De ce fait, certaines techniques d'analyse classiques sont inapplicables. Il est donc nécessaire d'adopter une approche différente, utilisant une technique capable de gérer efficacement les données fortement corrélées.
Ici, nous observons notre spectre dans le proche infrarouge. On peut voir quelles longueurs d'onde sont fortement, faiblement ou même négativement corrélées à deux réponses différentes que nous étudions : la matière organique solide (MOS) et l'ergostérol. On constate que les différentes longueurs d'onde présentent des corrélations à des degrés divers. La première technique que nous avons examinée est l'analyse en composantes principales. Thomas.
Merci, Peter. Oui, je vais vous présenter une analyse en composantes principales (ACP) de ces spectres. L'ACP est une méthode exploratoire particulièrement adaptée à l'étude de données fortement corrélées, complexes et multivariées, comme le sont les données spectrales. C'est souvent la première méthode que l'on utilise, car elle est très simple. Elle permet d'explorer les données, c'est-à-dire de déceler des tendances, des valeurs aberrantes, et de naviguer dans les régions spectrales pour identifier les parties qui influencent les résultats intéressants du modèle.
En ACP, on décompose les données brutes en composantes principales. Celles-ci sont extraites selon un principe mathématique appelé agilité orthogonale. L'orthogonalité signifie que le calcul n'est pas d'origine chimique, ce qui peut parfois rendre l'interprétation des scores et des chargements un peu complexe. Cependant, une représentation visuelle des scores et des chargements est disponible, comme illustré par les trois graphiques présentés sur cette diapositive. Les deux graphiques supérieurs, à gauche, représentent les deux premières composantes principales sous forme de nuage de points. À droite, on trouve les composantes 3 et 4.
En ACP, ces composantes sont extraites à partir des variants. On constate qu'elles expliquent une part décroissante de la variance dans les données brutes. La composante 1 explique près de 87 % de la variation. C'est très fréquent dans les données spectrales, car le spectre présente une forme relativement uniforme, avec de légères variations qui renferment l'information chimique. Si l'on colore le premier graphique de scores vers la gauche en fonction de la matière organique solide, on observe un gradient, indiquant la présence de cette matière organique solide dans le spectre.
On peut faire la même chose pour le composant 3 par rapport au composant 4. On constate alors la présence d'ergostérol avec un gradient, situé entre les composants 3 et 4. Cela ne nous explique pas la différence observée. Pour cela, il faut consulter le graphique des chargements. En traçant ces chargements en fonction de l'axe des longueurs d'onde, on observe que plus les valeurs absolues sont élevées ou faibles, plus les régions correspondantes sont importantes pour décrire la différenciation des échantillons dans le graphique des scores.
L'ACP permet d'obtenir une vue d'ensemble très claire des regroupements ou des clusters. Il est parfois difficile de repérer les valeurs aberrantes, mais un gradient apparaît nettement. Cela signifie que nous pensons que nos spectres contiennent des informations chimiques. C'est important, car bien souvent, nous souhaitons exploiter nos données au-delà de la simple exploration. Nous voulons aussi élaborer des modèles prédictifs, comme le permettront les deux technologies suivantes.
L'ACP est donc un excellent choix en première intention pour déterminer si les modèles prédictifs ont des chances de succès ou d'échec. Voici quelques avantages et inconvénients de l'ACP : c'est une technique très puissante pour les données spectrales. Elle est très facile à comprendre et offre d'excellentes possibilités d'interprétation visuelle.
On pourrait dire, en revanche, que nous extrayons toutes les données en fonction de la variance. Si la variance n'est pas liée à la chimie, il pourrait être difficile de déterminer ce qui se passe réellement dans nos spectres. Mais ici, comme vous pouvez le constater, la variance était bien liée à la chimie. Passons maintenant à la méthode suivante, plus ciblée. Bill.
Merci, Thomas. La technique suivante que nous souhaitions aborder est l'analyse par les moindres carrés partiels (PLS). Cette méthode est très courante pour l'analyse des données spectrales. Associée à l'analyse en composantes principales (ACP), elle vous permettra de mieux comprendre les mécanismes chimiques en jeu et d'identifier les longueurs d'onde les plus importantes pour l'analyse spectrale de vos échantillons. Vous pourrez ainsi tirer des enseignements de vos expériences. À gauche, vous trouverez les résultats suivants : comparez le T² de Vanderbilt (ou Q²) avec le R² cumulé et le Q² cumulé afin de déterminer le nombre optimal de facteurs latents.
Dans ce cas précis, le meilleur modèle que nous avons obtenu comportait 14 facteurs latents, mais six facteurs latents suffisent pour un excellent modèle, comme l'indique la ligne noire qui s'étend le long de l'axe des abscisses. Nous avons ensuite comparé ce résultat aux données de l'article où les auteurs utilisaient également des carrés partiels. Globalement, nous avons constaté que JMP était très performant pour l'analyse des données spectrales. Il est important de déterminer le nombre optimal de facteurs latents à l'aide d'une méthode comme l'analyse en composantes principales. Celle-ci permet d'obtenir le meilleur ajustement global pour des facteurs fortement corrélés.
Ensuite, à droite, vous pouvez voir les résultats obtenus. Le premier graphique en haut, les courbes vectorielles des coefficients de régression, indique les longueurs d'onde les plus importantes pour chaque matériau. La ligne bleue, légèrement en retrait, représente le modèle ou les raies spectrales originales. Ce sont les données issues des spectres initiaux. Les lignes verte et rouge, quant à elles, représentent les variations des coefficients spectraux déterminées pour chaque spectre, tant pour le SOM que pour l'ergostérol.
En bas à droite figure la comparaison des données obtenues, c'est-à-dire les données réelles et les données prédites. On constate que JMP a globalement obtenu d'excellents résultats, tant pour l'ergostérol que pour le SOM. L'un des avantages de la PLS est qu'elle permet de générer d'excellents modèles prédictifs. De plus, contrairement à l'ACP, elle ne fournit aucune information sur la variable y globale, ce qui en fait une méthode non supervisée.
Cette méthode PLS est davantage une méthode supervisée, et vous en tirerez des enseignements. Vous comprendrez le « pourquoi » ou ce que vous essayez de prédire. Elle permet de créer de bons modèles prédictifs, est largement utilisée et particulièrement performante pour l'analyse des données spectrales. Les modèles eux-mêmes peuvent être très gourmands en ressources de calcul. En effet, lors de la construction d'un modèle PLS, toutes les données sont utilisées, mais il est possible de réduire le nombre de variables à un moment donné. Enfin, les modèles finaux peuvent être, dans ce cas précis, très volumineux. Je laisse la parole à Pete pour qu'il nous parle de la FDA.
Merci, Bill. Très bien. La dernière technique que nous avons abordée est l'analyse des données fonctionnelles. Elle est similaire aux deux premières que nous avons vues. Le principe de base est de déterminer la forme spectrale moyenne, ici représentée par la ligne rouge sur ce graphique, également affiché ci-dessous.
Il s'agit ici de la forme moyenne de toutes les données spectrales. Nous examinons ensuite les différences par rapport à cette forme moyenne et les extrayons pour obtenir ce que nous appelons ici des fonctions de forme. On peut considérer ces fonctions de forme comme des composantes principales fonctionnelles. Tout comme Thomas l'a expliqué avec la composante principale définissant la variance, le principe est le même, mais au lieu d'expliquer la variance des données, nous expliquons la variance de la forme.
Ce modèle présente une forme moyenne, puis quatre formes qui expliquent les écarts par rapport à cette moyenne. Tout comme pour Thomas, la première composante explique près de 87 % de la variance, et ce pourcentage diminue ensuite. Des résultats très similaires à ceux obtenus avec l'ACP. L'un des avantages, comme l'a également évoqué Bill, est que l'analyse fonctionnelle des données (AFD) nous permet d'identifier une réponse, un « pourquoi », que nous cherchons à comprendre. C'est ce qu'on appelle l'apprentissage supervisé.
Ici, vous pouvez observer nos deux réponses, puis l'allure de notre spectre pour chaque niveau. Plus bas, vous trouverez les résultats de notre modèle : nous extrayons les composantes de forme et créons un modèle pour déterminer nos deux réponses, à savoir le SOM et l'ergostérol. L'avantage de cette technique est qu'elle nous a permis de créer un modèle hautement prédictif, certes moins performant que la PLS dans ce cas précis, mais la visualisation claire obtenue en fait une technique très facile à interpréter.
Vous pouvez observer l'allure attendue de mon spectre en fonction des différents niveaux de ma réponse. L'un des inconvénients est que cette technique est moins répandue que d'autres. La PLS et l'ACP sont largement utilisées. Elle est moins documentée et moins bien comprise. Une brève explication est nécessaire pour en saisir le fonctionnement, et elle requiert un modèle de substitution, intermédiaire permettant de générer les composantes de forme. Un outil comme une ondelette ou une spline AP est nécessaire pour ajuster les données et extraire ces composantes.
Ces modèles peuvent être gourmands en ressources de calcul et il est difficile de comprendre le modèle de substitution intermédiaire. Je voulais revenir à notre diapositive d'introduction et vous montrer nos résultats. Comme Bill l'a mentionné, l'article a utilisé la technique PLS, et les résultats que nous avons obtenus sont présentés ici : notre erreur quadratique moyenne et notre coefficient de détermination (R²). Ils ont produit des modèles assez performants, mais comme vous pouvez le constater, même avec l'ACP, nous avons obtenu des résultats similaires. La PLS semble, dans ce cas précis, avoir donné les meilleurs résultats. L'analyse des données fonctionnelles se situe entre les deux, avec l'avantage d'une bonne interprétabilité.
Merci. Thomas, Bill, un dernier mot ?
Pas de ma part. Merci, Peter.
Non. Merci à vous, Peter et Bill.
Merci, Thomas.
