Chris Gotwalt, responsable scientifique des données chez JMP, et Ryan Parker, développeur statistique senior chez JMP, ont présenté un tutoriel pour développeurs (via ZOOM) sur ce sujet le 8 décembre (de 11h à 12h30, heure de l'Est des États-Unis). Ouvert à tous, il sera particulièrement utile aux utilisateurs de JMP ou JMP Pro qui maîtrisent les principes de base de la modélisation prédictive, ont déjà utilisé JMP Pro pour la modélisation prédictive et doivent modéliser des données courbes ou spectrales. Découvrez comment, pourquoi et quand utiliser ces techniques, ainsi que les statistiques qui les sous-tendent. Un temps de questions-réponses est prévu. Voir la vidéo .
Dans cet article de blog, Sr. Analytics Software Tester @Mark_Bailey et j'explique quelques nouvelles fonctionnalités dans JMP Pro 17. L'équipe de développement de JMP a travaillé d'arrache-pied pour intégrer au logiciel une nouvelle capacité d'analyse chimiométrique. La plupart des nouvelles fonctionnalités sont centrées sur Functional Data Explorer. Désormais, en quelques clics de souris, vous pouvez prétraiter vos données de courbe, enregistrer les données prétraitées dans une nouvelle table pour une analyse multivariée plus poussée et effectuer une analyse fonctionnelle de ces données sur une seule plateforme. Nous nous concentrerons sur l'analyse des données spectrales dans cet article, mais veuillez noter que cette plateforme analyse pratiquement toutes vos données chimiométriques avec des résultats exceptionnels.
Un grand merci à @clay_barker , @Ryan Parker , et @chris_gotwalt1 pour intégrer cette capacité d'analyse chimiométrique dans une seule plate-forme.
Prétraitement
Le prétraitement des données spectrales ne pourrait pas être beaucoup plus facile qu'avec FDE. Il y a un nouvel onglet Spectral où vous trouverez plusieurs outils de prétraitement, y compris Standard Normal Variate (SNV), Multiplicative Scatter Correction (MSC), Savitzky-Golay lissage avec 1ère et 2ème capacité de dérivée et Correction de la ligne de base.
Figure 1. Capture d'écran de la nouvelle fonctionnalité de prétraitement intégrée à FDE
Nous démontrons la nouvelle capacité d'analyse chimiométrique de JMP Pro à l'aide d'un ensemble de données proche infrarouge de Dyrby et al., Spectroscopie appliquée Vol 56, Numéro 5, 2002.
Prétraitement initial
Pour cet ensemble de données, les étapes de prétraitement initiales étaient SNV suivies d'une correction de base. La correction de la ligne de base était un modèle quadratique sur l'ensemble de la fonction. Vous pouvez voir dans les images ci-dessous comment le prétraitement a fonctionné pour atténuer la plupart des variations dans les données.
Utilisez une seule méthode de prétraitement ou utilisez-les en combinaison pour tirer le meilleur parti de la normalisation de vos données. L'une des combinaisons les plus courantes observées dans de nombreux articles scientifiques consiste à prendre la 1ère dérivée de Savitzky-Golay, puis à prendre le SNV pour une dernière étape. Cette combinaison fonctionne bien, mais n'hésitez pas à essayer plusieurs combinaisons pour voir ce qui fonctionne le mieux pour vos données.
Figure 2. Données NIR de la tablette avant et après le prétraitement
Enregistrez les données prétraitées en tant que nouveau tableau empilé pour d'autres étapes d'analyse multivariée. Vous devez transposer les données au format large pour toute analyse supplémentaire.
Modélisation en ondelettes
Nous avons précédemment montré comment utiliser les B-Splines et les P-Splines en FDE pour modéliser les données spectrales. Avec JMP Pro 17, une nouvelle fonctionnalité de modélisation par ondelettes est ajoutée, principalement pour les données chimiométriques. Vous trouverez la nouvelle bascule de modèle Wavelet sous le triangle rouge (Functional Data Explorer > Models > Wavelets).
Figure 3. Modèles associés à FDE dans JMP Pro 17
La modélisation par ondelettes est bien meilleure pour ajuster les données de courbe avec de nombreux pics que l'une ou l'autre des méthodes splines.
La sortie du modèle Wavelet, comme illustré ci-dessous, correspond rapidement aux données des 310 lots. Le résultat suggère qu'un modèle Symlet 4 correspond le mieux à toutes les données parmi 15 autres algorithmes basés sur les critères d'information bayésiens (BIC). Le modèle avec le BIC le plus bas est le meilleur.
Figure 4. Sélection du modèle d'ondelettes et meilleur ajustement basé sur le BIC
Étant donné que FDE trouve le meilleur modèle pour la forme de la courbe d'intérêt, vous voyez que les composants principaux fonctionnels (FPC) sont maintenant appelés fonctions de forme.
Figure 5. Nouvelle désignation de fonction de forme pour les données FDE
Vous pouvez également voir que le diagramme des valeurs propres montre toujours dans quelle mesure les fonctions de forme individuelles expliquent la variation de forme.
À ce stade, vous souhaiterez enregistrer les résumés de fonctions dans un nouveau tableau. Cliquez sur le triangle rouge pour les résumés de fonctions et sélectionnez Enregistrer les résumés. Les composantes principales fonctionnelles seront enregistrées avec les coefficients d'ondelettes dans ce nouveau tableau avec vos variables supplémentaires. Nous reviendrons sur ce tableau dans la section Modélisation prédictive.
Une nouvelle fonction Control Chart Builder représente également graphiquement les résumés de fonctions par les FPC pour chaque ID d'échantillon.
Figure 6. Générateur de cartes de contrôle intégré à FDE.
Comme précédemment, vous pouvez limiter le nombre de composants utilisés pour définir la forme à l'aide de l'outil de sélection de modèle FPCA. Cette réduction contribuera à simplifier votre modèle lorsque la plupart des variations s'expliquent par un plus petit nombre de composants de forme que celui indiqué dans le modèle d'origine.
Figure 7. Outil de sélection de modèle de composant principal fonctionnel (fonction de forme)
Analyse DOE des ondelettes
La dernière nouvelle fonction est Wavelets DOE Analysis, qui se trouve dans le menu du triangle rouge pour Wavelets (Wavelets on Reduce Grid (404)).
Les transformations sont très rapides avec des données sur une grille. La grille réduite garantit que les nombres d'onde sont régulièrement espacés, sans point décimal. JMP développe la grille réduite pour vous, mais vous pouvez contrôler la régularité de la grille si vous le souhaitez.
Figure 8. Option de sélection DOE d'ondelettes.
Pour ces données, nous voulons voir quelle courbe ou ensemble de courbes émule le mieux un pourcentage d'API donné. Les coefficients d'ondelettes sont rapidement analysés à l'aide de la plate-forme de régression généralisée. Le Wavelet DOE Profiler résultant est utilisé pour trouver la longueur d'onde ou les longueurs d'onde définies qui définissent les différences entre les différents niveaux de pourcentage. Étant donné que les coefficients représentent les longueurs d'onde et les résolutions, ils sont utilisés pour construire un modèle plus interprétable que ce qui aurait pu être possible avec les FPC.
Figure 9. Wavelet DOE Energy Graphic et FDOE Profiler.
Dans l'image ci-dessus, le tableau Énergie montre les différences les plus significatives pour tous les coefficients. Le coefficient pour Res 2 à la longueur d'onde 8175 a l'énergie la plus élevée, représentant environ 27% de l'énergie totale des longueurs d'onde actives. En prime, les coefficients représentent directement des longueurs d'onde ou des pics spécifiques dans les données de la courbe.
Construire un modèle prédictif à partir des coefficients d'ondelettes
Le nouveau tableau récapitulatif est utile pour l'analyse statistique et la modélisation prédictive. Les FPC peuvent être utilisés pour construire un modèle prédictif, ou une autre option consiste à construire un modèle prédictif basé sur un sous-ensemble des données de coefficients d'ondelettes à l'aide de la plate-forme de régression généralisée. Comme vous pouvez le voir dans la marge du tableau ci-dessous, il y a une colonne pour les 512 coefficients d'ondelettes. Vous n'aurez probablement besoin que d'un petit sous-ensemble de tous les coefficients pour construire un bon modèle prédictif.
Figure 10. Tableau des résumés des modèles d'ondelettes (512 coefficients).
Le modèle de régression généralisée ci-dessous montre l'ajustement en utilisant toutes les données de coefficients d'ondelettes comme variables d'ajustement. La pénalisation Elastic Net a été utilisée avec Elastic Net Alpha de 0,56 pour inclure autant de longueurs d'onde essentielles que possible, mais pour éviter le surajustement en utilisant les 512 coefficients Wavelet du modèle.
Figure 11. Ajustement du modèle de régression généralisé.
Essayez les nouvelles techniques avec vos propres ensembles de données ou demandez-nous une démonstration. Merci encore à notre excellente équipe de développement, et nous attendons avec impatience vos commentaires sur ces améliorations révolutionnaires du logiciel.
