De nombreux instruments et capteurs génèrent des données continues. Analyser et comprendre ces données « courbes » peut s'avérer complexe, surtout lorsqu'il s'agit d'analyser l'ensemble du continuum. Plusieurs techniques chimiométriques existent, mais pour l'analyse de données courbes, elles consistent essentiellement à analyser les données point par point plutôt que la courbe entière ou un groupe de courbes simultanément.
L'analyse des données fonctionnelles est une méthode récente qui s'est imposée comme une approche de pointe pour l'analyse des données de courbes. Cette présentation s'appuie sur des études de cas portant sur des données chromatographiques et spectrales, démontrant l'intérêt d'analyser les données sur le continuum en complément des méthodes chimiométriques plus traditionnelles. Certaines des techniques d'analyse chimiométrique les plus récentes de JMP Pro 18 Functional Data Explorer sont mises en avant.
Bonjour à tous. Je m'appelle Bill Worley, et aujourd'hui, nous allons parler d'analyse fonctionnelle des données (FDA) et plus précisément d'une étude de cas sur son utilisation. Nous verrons comment, où et comment elle est utilisée. Je tiens à remercier d'emblée toutes les personnes qui ont contribué à cette présentation ; vous trouverez leurs noms ci-dessous. Je remercie tout particulièrement Tom Donnelly et Chris Gottwalt, ainsi que Pete Hersh, qui ont grandement contribué à sa réalisation.
Pour vous donner un peu de contexte, nous ne nous contentons pas d'analyser les données fonctionnelles ; nous souhaitons également y intégrer une technologie appelée technologie d'analyse des processus (PAT). La PAT est largement utilisée dans l'industrie pharmaceutique dans le cadre de sa démarche qualité intégrée, notamment pour réduire les délais de production grâce à des mesures en ligne, en continu et hors ligne. Il s'agit d'un processus continu.
Tout cela permet d'éviter les rebuts et les déchets, ainsi que tout retraitement éventuel. Cela permet également des tests de mise en production en temps réel et des tests d'acceptation en production (PAT) grâce à l'analyse des données fonctionnelles (FDAA). Cette technologie d'analyse des processus, associée à l'analyse des données fonctionnelles, est et devrait être applicable à tous les secteurs d'activité. Je pense que ce n'est qu'une partie de… Vous en apprendrez davantage au fil de la présentation. Mais comment cela s'intègre, ou comment cela peut s'intégrer.
Voici une autre idée de ce que sont les données fonctionnelles. Nous souhaitons explorer les courbes et les formes, et en extraire les caractéristiques pour une analyse plus approfondie. Il ne s'agit pas d'examiner les données point par point. Une grande partie de nos données est continue, et nous devons capturer la complexité des courbes sous forme de valeurs numériques. Nous voulons ensuite analyser les relations entre ces courbes et d'autres variables.
Où trouver des données fonctionnelles ? Comme je l’ai mentionné précédemment, de nombreuses données sont intrinsèquement fonctionnelles. On peut citer les flux de données de séries temporelles provenant de capteurs issus de processus de fabrication, les spectres et les mesures effectuées sur une plage de températures. JMP Pro facilite la résolution de nombreux problèmes de ce type grâce aux données fonctionnelles.
L'analyse fonctionnelle des données (AFD) utilise les composantes principales fonctionnelles (CPF) pour décomposer les données en scores CPF et en composantes de forme. Il s'agit d'une réduction de dimension étroitement liée à l'analyse en composantes principales classique. Les scores ou poids CPF sont des quantités scalaires expliquant la variation d'une fonction à l'autre. Les composantes de forme expliquent la variation longitudinale (temps, distance, longueur d'onde, etc.). On ajuste des modèles avec les scores CPF et on les regroupe. On peut ensuite les représenter graphiquement comme n'importe quelles autres données continues.
Pour les données fonctionnelles, nous avons ajusté les scores FPC en fonction des facteurs DOE, et nous avons utilisé le score FPC multiplié par les composantes de forme comme formules intermédiaires. Enfin, nous avons utilisé le score FPC modélisé multiplié par les composantes de forme comme formule de prédiction finale.
Comment traiter les données fonctionnelles ? J’en ai déjà parlé. Mais avec JMP Pro, vous pouvez convertir un groupe de points discrets en un ensemble de composantes principales fonctionnelles en quelques clics seulement.
En ajustant une spline, une ondelette ou un modèle direct à chaque ensemble de données fonctionnelles, et en décrivant les courbes à l'aide des composantes principales fonctionnelles (CPF), vous obtenez rapidement de nouvelles perspectives et une meilleure compréhension de votre procédé ou produit. Ci-dessous, nous présentons un ensemble de courbes et le modèle utilisé pour ajuster ces données. Les données fonctionnelles sont ensuite représentées par leurs composantes principales, par lot. Dans ce cas précis, il s'agit d'un ajustement par spline.
Mais le cœur de la présentation d'aujourd'hui portera sur l'analyse, ou plutôt la réanalyse, de données spectrales RMN d'un mélange de trois alcools, à l'aide de l'analyse fonctionnelle des données (FDAA). Voici l'article original d'où proviennent ces données. Je tiens à féliciter leurs auteurs pour cette publication. Nous pourrons ensuite réanalyser ces données.
Les données originales contiennent l'analyse quantitative des spectres RMN avec Chemometrics. S'y ajoute la superposition des spectres RMN d'un mélange de trois alcools : pentanol, butanol et propanol. Notre objectif est de pouvoir les analyser séparément afin de prédire la composition de tous les mélanges possibles.
Pour mieux comprendre les méthodes de modélisation spectrale, il existe de nombreuses méthodes multivariées. La réduction de dimension est importante et peut être réalisée grâce à l'analyse en composantes principales. On peut également citer la mise à l'échelle multidimensionnelle et l'explorateur de données fonctionnelles.
Le clustering est également essentiel. Il permet de mieux comprendre les regroupements présents. Ensuite, pour une analyse des valeurs aberrantes, on peut utiliser des cartes de contrôle multivariées. Mais pour construire des modèles prédictifs à partir de ces données, il faudra recourir à des méthodes comme les moindres carrés partiels ou la régression pénalisée. L'analyse fonctionnelle des données, les forêts bootstrap et d'autres réseaux de neurones, comme les machines à vecteurs de support, offrent de nombreuses possibilités.
Mais je souhaite faire une comparaison directe de certaines de ces méthodes avec celle-ci. L'analyse en composantes principales, pour commencer, si vous regardez ces données. Comme vous pouvez le voir sur le graphique, nous avons des points à 8, 20 et 18. Ce sont nos concentrations respectives de propanol, butanol et pentanol.
On obtient une sorte de diagramme ternaire, mais il faut un grand nombre de composantes principales pour expliquer au moins 85 % de la variance. On en compte environ 18. Les données restent fortement corrélées. On pourrait alors enregistrer les composantes principales dans le tableau de données et effectuer une régression par composantes principales. C'est un peu long pour arriver à une réponse, mais c'est faisable.
Une autre plateforme non fonctionnelle que nous pouvons envisager est celle des moindres carrés partiels. Dans ce cas, nous pouvons obtenir un modèle très performant, du moins en ce qui concerne le butanol, le pentanol et le propanol, avec cinq facteurs latents au lieu de 18 composantes principales.
Les composantes principales et les facteurs latents sont identiques, mais avec des carrés partiels. On peut au moins expliquer le pourquoi, ou comprendre les variations du pourquoi, ce qui est impossible avec les composantes principales.
Ce que cela montre ici, c'est le pourcentage de variation expliquée. Avec le modèle plus simple à cinq facteurs, nous n'expliquons qu'environ 28 % de la variation de X, alors qu'avec deux facteurs latents, nous parvenons à expliquer très rapidement environ 98 % de la variation, voire un peu plus.
Ce graphique ci-dessus vous montre où nous pourrions réduire le nombre de variables. Le propanol, le butanol et le pentanol sont représentés en couleur, chacun avec sa longueur d'onde respective. La ligne à 0,8 sert de repère, de seuil, à partir duquel on pourrait réduire le nombre de variables et simplifier considérablement le modèle. Si on le souhaitait. Mais encore une fois, il s'agit d'une représentation non fonctionnelle. On analyse les données point par point. Tous ces modèles seront extrêmement volumineux.
Nous pouvons ensuite nous intéresser à l'analyse fonctionnelle des données par ondelettes. Avec ce modèle, nous obtenons un excellent ajustement aux données. Le meilleur modèle est celui qui présente le score AICc ou BIC le plus faible. Comme vous pouvez le constater, nous expliquons environ 86 % de la variance, soit presque autant qu'avec les composantes principales, mais avec cinq composantes principales fonctionnelles de moins.
Un modèle déjà plus simple. Si l'on compare les graphiques des valeurs réelles et prédites, la fonction ondelettes explique très bien la variation observée. Maintenant, à droite du graphique des scores, on obtient une structure presque ternaire. On y trouve le pentanol, le butanol et, pardon, le propanol, le butanol et le pentanol.
Le pentanol est un peu plus difficile à expliquer. Il présente des pics qui se chevauchent avec d'autres données, ce qui fait qu'il n'est pas facilement discernable des autres sur le graphique des scores, mais nous obtenons tout de même un résultat acceptable.
Une autre option pour l'analyse des mélanges est la résolution de courbes multivariées. Nous examinons ici les données. Globalement, il s'agit d'une résolution de courbes multivariées utilisant l'ensemble des données de validation. Ces données de validation sont constituées de pentanol (ou de propanol), de butanol et de pentanol. Le reste des données correspond à des mélanges de ces trois alcools. Nous les utilisons comme données d'entraînement pour prédire, ou plutôt pour vérifier si nous pouvons prédire, les données des alcools purs.
Nous obtenons de bons résultats, surtout pour le propanol. Pour les deux autres, c'est peut-être moins bon, mais nous savons quelles composantes principales fonctionnelles sont associées à quelles autres dans ce cas précis.
Donc, le propanol est la troisième composante principale fonctionnelle. Le butanol est la deuxième composante principale fonctionnelle. Le pentanol est la première composante principale fonctionnelle. Nous obtenons un résultat plutôt satisfaisant. Mais si vous regardez les graphiques de diagnostic ci-dessous… Oui, nous nous en sortons bien. Cependant, comme nous avons utilisé les mélanges eux-mêmes pour essayer de prédire la mauvaise proportion des matériaux purs, nous observons une sorte de graphique ternaire, mais les trois autres composantes n'y figurent pas. Je vous montrerai dans un instant ce que cela donne lorsque nous procédons dans l'autre sens.
En résumé, nous souhaitons mettre en œuvre une approche appelée plan d'expériences fonctionnel, ou DOE fonctionnel. Dans cet exemple de mélange d'alcools, la composante principale fonctionnelle 3 (FPC 3) est fortement corrélée à la proportion de propanol. Cela nous permet d'interpréter les résultats. Par ailleurs, comme mentionné précédemment, la FPC 1 est fortement corrélée au pentanol et la FPC 2 au butanol. Ce type de corrélation n'est pas systématique avec les composantes principales fonctionnelles et les facteurs.
Dans ce cas précis, nous en avons obtenu, mais nous ne mélangeons pas les FPC, nous mélangeons les alcools. C'est sur ce point que nous voulons concentrer nos efforts. C'est pourquoi la planification d'expériences fonctionnelle est si importante. Nous allons modéliser ces scores en fonction des composantes ou facteurs. Ce modèle sera alors facile à manipuler et à utiliser concrètement pour prédire l'impact des composantes ou facteurs sur les spectres.
Comme nous l'avons déjà mentionné, les scores FPC sont des pondérations, des quantités scalaires qui expliquent la variation d'une fonction à l'autre, tandis que les composantes de forme expliquent la variation longitudinale, les différences temporelles, etc. Longueur d'onde.
Pour la planification d'expériences fonctionnelle (DOE), nous modélisons les scores FPC en fonction de la DOE. Ensuite, nous effectuons les mêmes calculs que précédemment. Au final, nous obtenons un profileur de DOE fonctionnel. C'est grâce à lui que nous pouvons comparer les spectres obtenus pour différentes proportions de butanol, de propanol et de pentanol.
D'accord. Nous y reviendrons dans la démo, qui devrait commencer bientôt. Je vais m'éclipser un instant pour mettre cela de côté. Bien, je travaille sur un projet JMP. Voici les données : 23 spectres RMN par lot. Voilà leur identifiant. Ensuite, nous avons les différentes proportions de propanol, de butanol et de pentanol. Enfin, nous avons mille colonnes de données de longueur d'onde.
Les données sont très vastes et très fortement corrélées. Il faudra en tenir compte lors de certaines analyses. Bien. La première chose que nous allons faire, c'est de revenir à l'analyse en composantes principales fonctionnelles, et non à l'analyse en composantes principales classique.
Permettez-moi d'élargir un peu la vue pour que vous puissiez mieux comprendre. Si l'on observe le graphique des scores (ici), le nuage de points (ici), on constate à nouveau une forte corrélation entre les valeurs des données. Si l'on regarde les différents points (l'étoile, les étoiles, le losange et l'étoile ici), on constate qu'il s'agit de nos matériaux purs. Cela nous indique que nous sommes toujours face à un diagramme ternaire, alors qu'ici, nous observons des mélanges.
Mais encore une fois, si l'on regarde ici, il faut descendre à 80 ou à 18 valeurs propres pour expliquer environ 86 % de la variation. D'accord. Cela représente encore beaucoup de facteurs qu'il nous faudra réintégrer et effectuer une régression par composantes principales lorsque nous serons prêts. Une fois ces données enregistrées dans le tableau.
Si vous vous souvenez bien, nous avons parlé des moindres carrés partiels. Dans ce cas précis, on constate qu'on peut obtenir une très bonne explication de la variable Y, en prédisant les concentrations de pentanol, de butanol et de propanol avec cinq facteurs latents. Certes, on n'explique pas encore parfaitement la variation de X, mais on peut l'améliorer en ajoutant d'autres facteurs latents pour se rapprocher du modèle d'analyse en composantes principales. Cependant, je pense qu'avec ce premier modèle, on réalise tout de même un gain de temps considérable.
Si l'on regarde le T de Van der Voet, on constate qu'il est inutile d'aller au-delà de cinq facteurs latents, car c'est à partir de ce seuil que sa valeur atteint 1. Tout modèle supérieur à 0,1 peut être considéré comme bon. On pourrait même descendre à deux, trois ou quatre facteurs, mais nous retiendrons cinq pour l'instant.
Très bien. Si l'on observe le graphique de la pression quadratique moyenne ci-dessous, on constate à nouveau que cinq facteurs suffisent. Il s'agit de notre pression quadratique moyenne la plus faible, mais toutes les valeurs suivantes sont également assez basses. Cela donne une idée de la qualité de l'ajustement. C'est très positif, car les données sont très resserrées sur ces graphiques de scores, ces graphiques de scores z. C'est un autre indice que nous avons un modèle plutôt bon.
Nous expliquons ici, vous savez, 98 % de la variation, voire presque 99 %, avec seulement deux facteurs latents. Mais nous pouvons toujours en utiliser davantage si nous atteignons les 100 %. C'est excellent. Enfin, ce dernier point concerne à nouveau le VIP. Nous avons évoqué la possibilité de l'utiliser pour la sélection de variables. Nous pourrions éliminer une grande partie de ces données tout en obtenant un modèle toujours très performant.
Il s'agit de l'analyse en composantes principales. La méthode des moindres carrés partiels est une autre façon d'analyser des données qui ne proviennent pas d'une plateforme non fonctionnelle. Si nous passons à une plateforme fonctionnelle, comme Functional Data Explorer, je vais d'abord vous montrer comment visualiser les données brutes. Nous venons d'effectuer l'analyse, sans aucun prétraitement. Nous avons simplement importé les données, puis ajusté le modèle (voir ci-dessous).
Il s'agit de données de résolution de courbes multivariées non contraintes. Les données pourraient être négatives, mais pour l'instant, les résultats sont satisfaisants. Prenons l'exemple du propanol de ce lot : les résultats sont acceptables. Ils ne sont pas excellents, mais acceptables. Nous n'avons ni ensemble de validation ni ensemble d'entraînement. Nous n'avons utilisé aucun de ces ensembles pour le moment, mais nous pensons que les résultats seront satisfaisants si l'on considère ces données telles quelles.
Si l'on compare les graphiques des valeurs réelles et prédites, on constate peu de différences. La dispersion est assez importante, notamment sur le graphique des résidus par rapport aux valeurs prédites. Il serait judicieux d'améliorer ce modèle. Malgré cela, si l'on regarde encore ici, on retrouve le propanol, le butanol et le pentanol. On obtient une sorte de diagramme ternaire, imparfait, mais avec un peu d'imagination, on peut y voir une forme triangulaire.
Nous sommes en train d'analyser ces informations. L'analyse est plutôt concluante. Ensuite, nous procédons à l'analyse par ondelettes, comme nous l'avons montré précédemment, et les résultats sont excellents. En fait, pour analyser des données de courbes comme celles-ci, les ondelettes sont vraiment une excellente solution.
Le seul problème avec les ondelettes, c'est que c'est presque exactement comme l'analyse en composantes principales. Il faut réexporter les données et ensuite effectuer une sorte de régression généralisée, surtout avec les données que vous allez utiliser, comme on le voit ici.
Voici quelques scores possibles. Il va falloir réexaminer ces données : nous avons de nombreuses composantes principales fonctionnelles. Mais si vous regardez à nouveau le graphique des scores, on observe un triangle assez net. Un bon graphique ternaire. Nous sommes plutôt satisfaits de la qualité de notre analyse des données.
L'explorateur de données fonctionnelles que je vous ai montré précédemment est maintenant actif. Vous pouvez observer les variations : si je sélectionne 100 % de propanol, les deux autres valeurs passent à zéro. Vous verrez alors la courbe correspondante. C'est également un bon outil pour comprendre l'allure des courbes ou pour les comparer. L'utilisation de la fonction ondelettes ou de toute autre fonction du profileur DOE fonctionnel est une méthode efficace pour comparer ces courbes.
Enfin, et surtout, voici la résolution de courbe multivariée. Elle n'accepte que les données positives. Si l'on regarde plus haut, on constate que le résultat est parfait pour le propanol. En fait, les deux autres courbes, plus bas, sont moins performantes. On explique 93 % de la variation avec le butanol et environ 83 % avec le pentanol. Ces valeurs devraient être de 100 %. Les modèles sont corrects, sans plus.
Lorsque nous avons ajouté des fonctionnalités de validation, si nous examinons les données de validation maintenant que nous utilisons… Ici, nous utilisons les matières premières pures pour tenter de prédire les pourcentages des autres alcools. On observe à nouveau des différences. Mais si nous regardons en arrière… enfin, je vous montrerai la comparaison dans un instant. Si nous regardons ces données, il s'agit de notre premier lot. Ce n'est pas mal du tout. La comparaison entre la prédiction et le résultat obtenu est plutôt bonne. Le résultat réel est assez proche de la réalité. D'accord.
Que l'on s'intéresse à tout cela ou non, retenez simplement que nous comparons les résultats réels aux prévisions. Il nous reste du chemin à parcourir, mais nous nous en sortons plutôt bien. Pas mal. Ensuite, nous avons le profileur DOE fonctionnel. Là encore, nous pouvons l'explorer, simuler différents scénarios et comparer les courbes. Voilà.
Enfin, et c'est le dernier point, nous utilisons les données brutes comme données d'entraînement. Elles nous servent à prédire ce qui se passe dans les autres données. Nous avons obtenu de bons résultats. Si l'on regarde la première ligne, les pourcentages sont presque exacts. Je crois que c'était 0,8, 0,1 et 0,1. Pas mal. Parfait.
Revenons à la présentation PowerPoint pour terminer. Je me permets de le répéter. L'essentiel, c'est que vous disposez de nombreuses options pour analyser vos données. L'Explorateur de données fonctionnelles est un outil très puissant. Comme je le disais, en comparant les valeurs réelles aux valeurs prédites, on obtient ceci. Essayons de le représenter graphiquement. Comme vous pouvez le constater, nous avons obtenu un résultat satisfaisant.
Ce modèle-ci, en particulier. Il y en a d'autres, même le suivant, qui est plutôt bon dans l'ensemble, avec une bonne concordance entre les valeurs réelles et les valeurs prédites. Le modèle est bon. Il faut encore l'améliorer un peu. Mais il est vraiment très bon. Surtout si vous effectuez des mesures en ligne, que ce soit en continu ou en différé. Plus vous collectez de données, meilleur sera votre modèle. D'accord.
Points clés. L'analyse fonctionnelle des données par ondelettes peut être combinée à la planification d'expériences de mélanges. Elle permet de prédire les spectres RMN et presque tous les spectres souhaités, ainsi que les données chromatographiques, en fonction des composants et des proportions de la formulation. À partir de ces informations, vous obtiendrez le modèle FDA/DOE et pourrez ainsi prédire la signification des spectres.
Ensuite, en utilisant l'une des techniques de chimie analytique mentionnées précédemment, et en considérant un mélange inconnu comme cible et le modèle de mélange FDA-DOE, on peut minimiser l'erreur intégrée par rapport à la cible afin de prédire les proportions des composants de la formulation. C'est ce que nous avons fait dans le second cas.
Voilà. Il y a encore une chose. Voyons si je peux supprimer ce pointeur. Et voilà. Un dernier point à retenir. L'analyse des données fonctionnelles décompose les données longitudinales fortement corrélées, comme les spectres ou toute donnée de courbe, en deux parties. Nous en avons parlé : les fonctions de forme expliquent la variation longitudinale, et les scores FPC expliquent la variation d'une fonction à l'autre.
Vous combinez ces informations avec celles-ci. Ensuite, en utilisant vos méthodes de conception d'expériences et toute méthode d'apprentissage automatique de votre choix, notamment dans ce cas l'exploration ou l'analyse fonctionnelle des données, vous pouvez améliorer votre capacité de prédiction en exploitant ces informations issues du flux de données original du capteur : flux de données, courbes ou spectres. D'accord.
Enfin, et surtout, vous voudrez communiquer et partager ces données. Dès leur réception, vous devrez mettre à jour vos données de processus, vos données analytiques, vos mesures et vos données en flux continu, puis les partager avec d'autres personnes. C'est là que JMP Live entre en jeu.
Pour conclure, je tiens à vous remercier. N'oubliez pas qu'avec Functional Data Explorer et Process Analytical Technology Data, vous pouvez progresser considérablement vers l'obtention d'un modèle prédictif performant pour vos données, notamment pour les mélanges. Merci à tous.
