Construction de modèles prédictifs pour les données corrélées et de grande dimension
La vidéo a été mise à jour en août 2024.
La multicolinéarité se caractérise par une forte corrélation entre des variables supposément indépendantes utilisées pour estimer une variable dépendante, rendant impossible la détermination de la contribution de chaque variable indépendante à la variation de la variable dépendante. Une multicolinéarité élevée dans votre jeu de données signifie que tout modèle que vous construirez sera presque certainement surajusté, à moins d'utiliser des techniques pour atténuer ce problème. Plusieurs techniques de modélisation permettent d'améliorer la probabilité de construire un bon modèle prédictif en limitant la multicolinéarité. Parmi celles-ci figurent l'analyse en composantes principales (ACP) et la méthode des moindres carrés partiels (PLS), toutes deux disponibles dans JMP, ainsi que la régression généralisée, disponible dans JMP Pro en tant qu'option « Modèle à ajuster ».
Découvrez comment :
- Effectuez une analyse en composantes principales (ACP) pour utiliser un petit nombre de composantes afin de modéliser un ensemble de données en limitant la variabilité et en atténuant la multicolinéarité.
L'ACP compare les variables entre elles, et non à la sortie.
L'ACP extrait des combinaisons linéaires des variables qui contribuent à expliquer la plus grande part possible de la variabilité afin de réduire le nombre de variables importantes.
- Les meilleurs ensembles de données pour l'analyse en composantes principales (ACP) sont soit hauts, soit larges, et peuvent être les deux.
- N'interprète pas les variables comme des entrées ou des sorties ; travaille avec une seule matrice.
- Extraire les combinaisons linéaires de variables qui expliquent le plus de variabilité possible
- Tout commence avec la première composante principale et l' algorithme se poursuit jusqu'à ce que 100 % de la variation soit expliquée. Idéalement, ce nombre est bien inférieur à celui de votre ensemble initial de variables.
- Chaque composante principale successive explique autant de variation que possible et est orthogonale aux vecteurs de chargement des composantes principales précédemment extraites.
- Examiner et interpréter les graphiques récapitulatifs et les valeurs propres
- Enregistrez les composantes principales dans un tableau de données et effectuez une régression par composantes principales à l'aide de Graphique > Profiler ( Rappel : cochez la case Développer les valeurs intermédiaires).
- Utilisez la méthode des moindres carrés partiels pour ajuster des modèles linéaires basés sur des facteurs, à savoir des combinaisons linéaires des variables explicatives (X).
- Ces facteurs sont obtenus de manière à tenter de maximiser la covariance entre les X et la ou les réponses (Y).
- La PLS exploite les corrélations entre les X et les Y pour révéler les structures latentes sous-jacentes.
- La méthode PLS donne de bons résultats dans les situations où l'utilisation des moindres carrés ordinaires (OLS) ne produit pas de résultats satisfaisants, notamment lorsqu'il y a plus de variables X que d'observations ; des variables X fortement corrélées ; un grand nombre de variables X ; et plusieurs variables Y et de nombreuses variables X.
- La méthode PLS peut être utilisée lorsque le nombre de prédicteurs est supérieur au nombre d'observations.
- La méthode PLS est largement utilisée pour la modélisation de données multidimensionnelles dans des domaines tels que la spectroscopie, la chimiométrie, la génomique, la psychologie, l'éducation, l'économie, les sciences politiques et les sciences de l'environnement.
- Découvrez comment utiliser JMP PLS pour deux algorithmes d'ajustement de modèle disponibles : les moindres carrés partiels itératifs non linéaires (NIPALS) et une « modification statistiquement inspirée de PLS » (SIMPLS).
- Pour une réponse unique, les deux méthodes donnent le même modèle ; pour des réponses multiples, il existe de légères différences.
- PLS utilise le test T2 de van der Voet et la validation croisée pour vous aider à choisir le nombre optimal de facteurs à extraire.
- Interprétez le graphique de la racine carrée moyenne de la somme des carrés des résidus prédits (PRESS), qui indique le nombre de facteurs présentant la valeur PRESS la plus faible. Ce modèle correspond au moins bon des meilleurs modèles obtenus pour ces données.
- Utilisez le graphique d'importance de la variance (VIP) pour identifier les facteurs à supprimer.
- Interpréter les graphiques de variation en pourcentage
- Le test statistique T2 de van der Voet permet de déterminer si un modèle avec un nombre différent de facteurs diffère significativement du modèle avec la valeur PRESS minimale.
- Il est courant d'extraire le plus petit nombre de facteurs pour lesquels le niveau de signification de van der Voet dépasse 0,10.
- Utilisez les techniques avancées de régression pénalisée de JMP Pro Generalized Regression, particulièrement adaptées aux données fortement corrélées et/ou non normalement distribuées, ainsi qu'à la sélection de variables.
- Construire un modèle LASSO, interpréter les résultats et comprendre certaines de ses limitations.
- Construisez un modèle Elastic Net et interprétez-le pour des données fortement corrélées, et comprenez certains de ses avantages par rapport à LASSO.
- Utilisez la régression généralisée de JMP Pro pour les données spectrales de grande dimension.
- Examiner et interpréter les cartes de contrôle multivariées issues du modèle PCA, les graphiques récapitulatifs des corrélations et les valeurs propres.
- Examiner et interpréter les résultats PLS
- Interpréter la régression généralisée Elastic Net, y compris le R² généralisé
- Utilisez la régression généralisée de JMP Pro pour les ensembles de données très volumineux et interprétez les résultats.
Remarque : le fichier .jmpprj joint contient des scripts permettant d’exécuter les analyses de la démo.
Réponses aux questions posées par Bill Worley (@Bill_Worley ) et Scott Allen (@scott_allen ) lors du webinaire en direct :
Q : Que voulait-il dire lorsqu'il a affirmé que les données préférées pour l'ACP sont hautes et larges ?
A : On peut considérer les données « hautes » comme un tableau comportant de nombreuses lignes et peu de colonnes ; les données « larges » comportent de nombreuses colonnes et moins de lignes (moins d’observations). La méthode PLS, quant à elle, est souvent utilisée lorsque le nombre de facteurs est supérieur au nombre d’observations.
Q : Si vous avez des variables fortement corrélées et que l'un des algorithmes suggère une variable plutôt qu'une autre, comment sélectionnez-vous la variable à conserver ou celle à ne pas utiliser ?
A : Le facteur d'inflation de la variance (VIF) permet d'identifier les valeurs fortement corrélées. Il indique simplement le degré de corrélation entre ces valeurs et d'autres variables. On peut ainsi repérer les facteurs fortement corrélés et constater que la suppression d'un seul d'entre eux influence le VIF. Il est ensuite possible d'utiliser une analyse multivariée pour mieux comprendre quelles variables sont fortement corrélées.
Q : Est-il préférable d'utiliser le BIC plutôt que l'AIC dans les régressions généralisées ?
A : Cela dépend de l'objectif de votre modèle. Le BIC pénalise davantage les modèles comportant plus de paramètres que l'AICc. Par conséquent, il conduit généralement à des modèles avec moins de paramètres.
Q : L'utilisateur a-t-il la possibilité de choisir le modèle à utiliser plutôt que le modèle sélectionné par JMP ?
A : Vous pouvez effectuer une comparaison de modèles et examiner les meilleurs résultats de validation ou de test. Vous pouvez également utiliser des outils : Elastic Net Alpha et JMP proposent trois options pour vous présenter le meilleur des trois modèles. L’exécution de ces outils peut prendre un certain temps si vous avez un grand volume de données.
Q : Comment utiliseriez-vous ces techniques pour des données de séries temporelles ?
A : Les données de séries temporelles s'analysent de préférence à l'aide des outils Séries temporelles ou FDE de JMP. Voir les informations sur Séries chronologiques et une vidéo sur l'analyse données courbes.
Questions abordées lors des webinaires précédents sur ce sujet :
Q : La formule Pred Y1 provient-elle d'une régression PCA ?
R : Oui, les formules de prédiction pour Y1 et Y2 ont été générées par une analyse de régression des composantes principales. Lorsque vous créez le profil avec ces formules, vous pouvez cocher une case pour afficher les effets individuels plutôt que les composantes principales.
Q : En PLS, est-il nécessaire de spécifier les interactions ou les relations entre les variables sont-elles prises en compte dans le modèle sous-jacent (par exemple, NIPALS) ?
A : Pour la PLS, vous devez spécifier les effets du modèle que vous souhaitez tester, notamment les interactions et autres termes. Dans JMP standard, vous pouvez effectuer une analyse PLS uniquement avec les effets principaux. Dans JMP Pro, vous pouvez effectuer une analyse PLS avec d'autres effets du modèle, tels que les interactions ou les polynômes, en utilisant l'option PLS dans le menu « Ajuster le modèle ».
Q : L'ensemble de données sur le gluten est-il également associé à une forte multicolinéarité ?
A : Oui. Chaque longueur d'onde dépend de la suivante, il y a donc beaucoup de colinéarité d'une longueur d'onde à l'autre.
Q : Est-il possible de dire si la PLS ou la régression généralisée est généralement supérieure avec des données fortement autocorrélées, ou cela dépend-il simplement du jeu de données ? J’avais tendance à penser que la PLS était meilleure, mais il semble que ce ne soit pas forcément le cas.
A : Cela dépend de la situation, qui peut être quelque peu dépendante des données. Les deux méthodes donnent de bons modèles très proches l'un de l'autre.
Q : Laquelle de ces options de modélisation serait la plus adaptée à la prédiction inverse ?
A : Avec un grand volume de données, il peut être difficile de trouver les bons paramètres. Toutes les options conviennent pour la prédiction inverse.
Q : Pourriez-vous m'expliquer comment vous avez enregistré les formules ACP dans le tableau ? Je ne sais enregistrer que les coordonnées elles-mêmes.
A : À partir du triangle rouge, enregistrez la formule dans le tableau de données.
Q : Si j'utilise le modèle PLS pour l'optimisation avec Prediction Profiler, l'optimisation respectera-t-elle la corrélation entre les variables, ou si le contrôle d'extrapolation est activé, la corrélation entre les variables sera-t-elle prise en compte ?
A : En PLS, vous pouvez effectuer une sélection de variables, puis utiliser les résultats pour construire un modèle avec les variables importantes. Ensuite, utilisez l'option « Créer un modèle avec des variables importantes » et relancez l'exécution. Si vous enregistrez ces modèles dans une table de données, ils seront volumineux et contiendront toutes les variables.
Q : Un examen des modèles serait-il utile ?
A : Oui. Cela prendra un certain temps. Sélectionnez « Méthodes supplémentaires ». Sachez qu'en sélectionnant cette option, le modèle passera par Elastic Net. Il passera également par la régression Ridge et prendra du temps si vous utilisez la validation croisée K-folds. Enfin, dans les sections « Régression généralisée » et « Sélection de modèles PLS », vous pouvez ajouter des interactions à deux facteurs ; le modèle sera ajusté avec et sans ces interactions.
gail_massari_1-1731005860636.jpeg
Ressources
- Documentation JMP sur la régression généralisée modélisation
-
Documentation JMP et exemple de séquence d'utilisation des composantes principales pour réduire la dimensionnalité de vos données. L'objectif est d'obtenir un petit nombre de combinaisons linéaires indépendantes ( principales). L'analyse en composantes principales ( ACP) est une technique de réduction de dimension, ainsi qu'un outil d'analyse exploratoire des données. Elle consiste à extraire les composantes d'un ensemble de variables mesurées qui capturent autant que possible la variabilité des variables originales.
- Documentation JMP et exemple de séquence pour l'utilisation des moindres carrés partiels (PLS) afin de développer des modèles exploitant les corrélations entre les variables explicatives (Y) et les variables explicatives (X). La méthode PLS ajuste des modèles linéaires basés sur des facteurs, à savoir des combinaisons linéaires des variables explicatives ( X ). Ces facteurs sont obtenus de manière à maximiser la covariance entre les variables explicatives. X et la ou les réponses ( Y ). La PLS exploite les corrélations entre les X et le Y s pour révéler les structures latentes sous-jacentes.
