La multicolinéarité est l'existence d'un degré de corrélation si élevé entre des variables supposées indépendantes utilisées pour estimer une variable dépendante que la contribution de chaque variable indépendante à la variation de la variable dépendante ne peut être déterminée.Une multicolinéarité élevée dans votre ensemble de données signifie que tout modèle que vous créez sera presque certainement surajusté, à moins que vous n'utilisiez des techniques pour atténuer ce problème.Il existe plusieurs techniques de modélisation qui peuvent être utilisées pour améliorer la probabilité de construire un bon modèle prédictif en limitant la multicolinéarité.Il s'agit notamment de l'analyse en composantes principales et des moindres carrés partiels, tous deux disponibles dans JMP, et de la régression généralisée, disponible dans JMP Pro en tant qu'option d'ajustement du modèle.
Découvrez comment :
- Effectuer une analyse en composantes principales (ACP) pour utiliser un petit nombre de composantes pour modéliser un ensemble de données en limitant la variabilité et en atténuant la multicolinéarité
- Les meilleurs ensembles de données pour l'analyse PCA sont grands ou larges. Peut être les deux
- N'interprète pas les variables comme des entrées ou des sorties - traite dans une seule matrice
- Extraire des combinaisons linéaires de variables qui expliquent autant de variabilité que possible
- Tout commence par la 1ère Composante Principale et la L'algorithme continue jusqu'à ce que 100 % de la variation soit expliquée. J'espère que c'est un nombre beaucoup plus petit que votre ensemble de variables d'origine
- Chaque PC successif explique autant de variation que possible et est orthogonal aux vecteurs de chargement du précédent extrait
- Examiner et interpréter les graphiques récapitulatifs et les valeurs propres
- Enregistrez les composants principaux dans la table de données et effectuez une régression des composants principaux à l'aide de Graph> Profiler ( Rappel : cochez la case Développer les valeurs intermédiaires)
- Utilisez les moindres carrés partiels pour ajuster des modèles linéaires basés sur des facteurs, à savoir des combinaisons linéaires des variables explicatives (X)
- Ces facteurs sont obtenus d'une manière qui tente de maximiser la covariance entre les X et la réponse ou les réponses (Y).
- PLS exploite les corrélations entre les X et les Y pour révéler les structures latentes sous-jacentes
- PLS fonctionne bien dans les situations où l'utilisation des moindres carrés ordinaires (OLS) ne produit pas de résultats satisfaisants, y compris lorsqu'il y a plus de variables X que d'observations ; variables X fortement corrélées ; un grand nombre de variables X ; et plusieurs variables Y et de nombreuses variables X.
- PLS peut être utilisé lorsque les prédicteurs sont plus nombreux que les observations
- Le PLS est largement utilisé dans la modélisation de données de grande dimension dans des domaines tels que la spectroscopie, la chimiométrie, la génomique, la psychologie, l'éducation, l'économie, les sciences politiques et les sciences de l'environnement.
- Découvrez comment utiliser JMP PLS pour deux algorithmes d'ajustement de modèle disponibles : les moindres carrés partiels itératifs non linéaires (NIPALS) et une "modification de PLS d'inspiration statistique" (SIMPLS)
- Pour une réponse unique, les deux méthodes donnent le même modèle ; pour les réponses multiples, il y a de légères différences
- PLS utilise le test T2 de van der Voet et la validation croisée pour vous aider à choisir le nombre optimal de facteurs à extraire.
- Interprétez le tracé Root Mean PRESS (somme résiduelle des carrés prévue), qui indique le nombre de facteurs avec la valeur PRESS la plus faible, ce modèle étant le moindre des meilleurs modèles que vous obtiendrez pour les données
- Utilisez le diagramme d'importance de la variance (VIP) pour localiser les facteurs à supprimer
- Interpréter les diagrammes de variation en pourcentage
- Les tests statistiques de van der Voet T2 pour déterminer si un modèle avec un nombre différent de facteurs diffère significativement du modèle avec la valeur PRESS minimale
- Une pratique courante consiste à extraire le plus petit nombre de facteurs pour lesquels le niveau de signification de van der Voet dépasse 0,10
- Utiliser les techniques avancées de régression pénalisée JMP Pro Generalized Regression particulièrement efficaces pour les données fortement corrélées et/ou non distribuées normalement et la sélection de variables
- Construisez le modèle LASSO, interprétez les résultats et comprenez certaines de ses limites.
- Construire un modèle Elastic Net et interpréter des données hautement corrélées et comprendre certains des avantages par rapport à LASSO
- Utilisez la régression généralisée de JMP Pro pour les données spectrales de grande dimension
- Examiner et interpréter les graphiques de contrôle multivariés pilotés par le modèle PCA, les graphiques récapitulatifs PCA sur les corrélations et les valeurs propres
- Examiner et interpréter les résultats PLS
- Interpréter la régression généralisée Elastic Net, y compris le R-carré généralisé
- Utilisez JMP Pro Generalized Regression pour les données très larges et interprétez les résultats
Remarque : le fichier .jmpprj joint inclut des scripts pour exécuter les analyses à partir de la démo.
Réponses aux questions de Bill Worley @Bill_Worley et Scott Allen @scott_allen au webinaire en direct :
Q : La formule Pred Y1 provient-elle de la régression PCA ?
R : Oui, les formules de prédiction pour Y1 et Y2 ont été générées par une analyse de régression des composantes principales. Lorsque vous construisez le profileur avec ces formules de prédiction, vous pouvez cocher une case qui vous permet de voir les effets individuels au lieu des composants principaux.
Q : Quels seraient vos principaux critères pour éliminer les variables dans l'exemple de l'ACP ?
R : Voir la vidéo ci-dessous pour une approche.
Q : Dans PLS, est-il nécessaire de spécifier les interactions ou les relations entre les variables sont-elles prises en compte dans le modèle sous-jacent (par exemple, NIPALS) ?
R : Pour PLS, vous devez spécifier les effets de modèle dont vous souhaitez tester les interactions ou d'autres termes. Dans JMP standard, vous pouvez exécuter une analyse PLS avec les effets principaux uniquement. Dans JMP Pro, vous pouvez exécuter PLS avec d'autres effets de modèle, tels que des interactions ou des polynômes, en utilisant la personnalité PLS dans Ajuster le modèle.
Q : L'ensemble de données sur le gluten est-il également associé à une grande multicolinéarité ?
R : Oui. Chaque longueur d'onde dépend de la suivante, il y a donc beaucoup de colinéarité d'une longueur d'onde à l'autre.
Q : Est-il possible de dire si le PLS ou la régression généralisée sont généralement supérieurs avec des données hautement corrélées ou est-ce simplement dépendant de l'ensemble de données ? J'étais gentil en pensant que PLS était meilleur, mais cela ne semble pas nécessairement le cas.
R : Cela dépend de la situation, qui peut dépendre quelque peu des données. Les deux donnent de bons modèles très proches l'un de l'autre.
Q : Laquelle de ces options de modélisation serait la meilleure pour la prédiction inverse ?
R : Avec des données étendues, vous pourriez avoir du mal à obtenir les bons paramètres. Toutes les options seraient acceptables pour la prédiction inverse.
Q : Pourriez-vous expliquer comment vous avez enregistré les formules PCA dans la table. Je sais seulement comment enregistrer les coordonnées elles-mêmes.
R : À partir du triangle rouge, enregistrez la formule dans le tableau de données.
Q : Si j'utilise le modèle PLS pour l'optimisation avec Prediction Profiler, l'optimisation respectera-t-elle la corrélation entre les variables, ou si le contrôle d'extrapolation est activé, la corrélation entre les variables sera-t-elle prise en compte ?
R : Dans PLS, vous pouvez effectuer une sélection de variables, puis utiliser les résultats pour créer un modèle avec les variables importantes. Ensuite, utilisez Make Model with VIP et relancez. Si vous enregistrez ces modèles dans une table de données, ils sont volumineux et contiennent toutes les variables.
Q : La sélection de modèles serait-elle utile ?
R : Oui,. Cela prendra du temps. Sélectionnez Méthodes supplémentaires.Sachez qu'en sélectionnant cela, il passera par Elastic Net. Il passera également par Ridge Regression et prendra du temps si vous avez des plis en K et une validation croisée. Et, dans Generalized Regression et PLS Model Screening, vous pouvez ajouter des interactions bidirectionnelles et cela s'adaptera avec et sans les interactions bidirectionnelles.
Ressources
