La vidéo a été mise à jour en août 2024.
La multicolinéarité est l'existence d'un degré de corrélation si élevé entre des variables supposées indépendantes utilisées pour estimer une variable dépendante que la contribution de chaque variable indépendante à la variation de la variable dépendante ne peut pas être déterminée. Une multicolinéarité élevée dans votre ensemble de données signifie que tout modèle que vous créez sera presque certainement surajusté, à moins que vous n'utilisiez des techniques pour atténuer ce problème. Il existe plusieurs techniques de modélisation qui peuvent être utilisées pour améliorer la probabilité de créer un bon modèle prédictif en limitant la multicolinéarité. Il s'agit notamment de l'analyse des composantes principales et des moindres carrés partiels, qui sont tous deux disponibles dans JMP, et de la régression généralisée, qui est disponible dans JMP Pro en tant qu'option d'ajustement du modèle.
Découvrez comment faire :
- Effectuer une analyse des composants principaux (ACP) pour utiliser un petit nombre de composants pour modéliser un ensemble de données en limitant la variabilité et en atténuant la multicolinéarité
L'ACP compare les variables entre elles, et non pas à la sortie
L'ACP extrait des combinaisons linéaires des variables qui aident à expliquer la variabilité, autant de variabilité que possible pour réduire le nombre de variables importantes
- Les meilleurs ensembles de données pour l'analyse PCA sont soit hauts, soit larges et peuvent être les deux.
- N'interprète pas les variables comme des entrées ou des sorties - traite dans une seule matrice
- Extraire des combinaisons linéaires de variables qui expliquent autant de variabilité que possible
- Tout commence avec la première composante principale et l' algorithme continue jusqu'à ce que 100 % de la variation soit expliquée. Espérons que ce nombre soit bien inférieur à celui de votre ensemble de variables d'origine
- Chaque PC successif explique autant de variation que possible et est orthogonal aux vecteurs de chargement des PC précédemment extraits.
- Examiner et interpréter les graphiques récapitulatifs et les valeurs propres
- Enregistrez les composants principaux dans la table de données et effectuez une régression des composants principaux à l'aide de Graphique > Profiler ( Rappel : cochez la case Développer les valeurs intermédiaires)
- Utiliser les moindres carrés partiels pour ajuster des modèles linéaires basés sur des facteurs, à savoir des combinaisons linéaires de variables explicatives (X)
- Ces facteurs sont obtenus d’une manière qui tente de maximiser la covariance entre les X et la ou les réponses (Y).
- PLS exploite les corrélations entre les X et les Y pour révéler les structures latentes sous-jacentes
- La méthode PLS fonctionne bien dans les situations où l’utilisation des moindres carrés ordinaires (MCO) ne produit pas de résultats satisfaisants, notamment lorsqu’il y a plus de variables X que d’observations ; des variables X fortement corrélées ; un grand nombre de variables X ; et plusieurs variables Y et de nombreuses variables X.
- Le PLS peut être utilisé lorsque les prédicteurs sont plus nombreux que les observations
- Le PLS est largement utilisé dans la modélisation de données de grande dimension dans des domaines tels que la spectroscopie, la chimiométrie, la génomique, la psychologie, l’éducation, l’économie, les sciences politiques et les sciences de l’environnement.
- Découvrez comment utiliser JMP PLS pour deux algorithmes d'ajustement de modèle disponibles : les moindres carrés partiels itératifs non linéaires (NIPALS) et une « modification d'inspiration statistique de PLS » (SIMPLS)
- Pour une réponse unique, les deux méthodes donnent le même modèle ; pour des réponses multiples, il existe de légères différences
- PLS utilise le test T2 de van der Voet et la validation croisée pour vous aider à choisir le nombre optimal de facteurs à extraire.
- Interpréter le graphique de la moyenne des racines PRESS (somme résiduelle prédite des carrés), qui montre le nombre de facteurs avec la valeur PRESS la plus basse, ce modèle étant le moins bon des meilleurs modèles que vous obtiendrez pour les données
- Utilisez le graphique d'importance de la variance (VIP) pour localiser les facteurs à supprimer
- Interpréter les courbes de variation en pourcentage
- Les tests statistiques T2 de van der Voet permettent de déterminer si un modèle avec un nombre différent de facteurs diffère significativement du modèle avec la valeur PRESS minimale
- Une pratique courante consiste à extraire le plus petit nombre de facteurs pour lesquels le niveau de signification de van der Voet dépasse 0,10
- Utilisez les techniques avancées de régression pénalisée de JMP Pro Generalized Regression qui sont particulièrement adaptées aux données hautement corrélées et/ou non distribuées normalement et à la sélection de variables
- Construisez le modèle LASSO, interprétez les résultats et comprenez certaines de ses limites.
- Créez un modèle Elastic Net et interprétez-le pour obtenir des données hautement corrélées et comprenez certains des avantages par rapport à LASSO
- Utilisez la régression généralisée JMP Pro pour les données spectrales à haute dimension
- Examiner et interpréter les graphiques de contrôle multivariés pilotés par modèle PCA, les graphiques récapitulatifs PCA sur les corrélations et les valeurs propres
- Examiner et interpréter les résultats du PLS
- Interpréter la régression généralisée du réseau élastique, y compris le R-carré généralisé
- Utilisez la régression généralisée JMP Pro pour des données très larges et interprétez les résultats
Remarque : le fichier .jmpprj ci-joint inclut des scripts pour exécuter les analyses à partir de la démo.
Questions répondues par Bill Worley @Bill_Worley et Scott Allen @scott_allen lors du webinaire en direct :
Q : Que voulait-il dire lorsqu’il a déclaré que les données préférées pour l’ACP sont hautes et larges ?
R : Vous pouvez considérer les données « hautes » comme un tableau de données comportant de nombreuses lignes et peu de colonnes ; les données « larges » comportent de nombreuses colonnes et moins de lignes (moins d'observations). La méthode PLS, en revanche, est souvent utilisée lorsque le nombre de facteurs est supérieur au nombre d'observations.
Q : Si vous avez des variables fortement corrélées et que l’un des algorithmes suggère l’une ou l’autre, comment sélectionnez-vous la variable à conserver ou celle à ne pas utiliser ?
R : Le facteur d'inflation de la variance (VIF) est un moyen de déterminer les valeurs fortement corrélées. Le VIF vous donne simplement une indication du degré de corrélation entre ces valeurs et d'autres variables. Vous pouvez trouver des facteurs fortement corrélés et, en en supprimant un, vous aurez un impact sur le VIF. Utilisez ensuite l'analyse multivariée pour mieux comprendre quelles variables sont fortement corrélées. Voir la vidéo :
Q : Est-il préférable d’utiliser BIC plutôt qu’AIC dans les régressions généralisées ?
R : Cela dépend de l'objectif de votre modèle. Le BIC pénalise davantage les modèles avec plus de paramètres que l'AICc. Cela conduit donc généralement à des modèles avec moins de paramètres.
Q : L'utilisateur a-t-il la possibilité de choisir le modèle à utiliser plutôt que le modèle JMP sélectionné ?
R : Vous pouvez exécuter une comparaison de modèles et examiner les meilleurs résultats de validation ou de test. Vous pouvez également utiliser les outils : Supprimer Elastic Net Alph et JMP passe en revue trois options pour vous montrer le meilleur des trois modèles. L'exécution de ces options peut prendre un certain temps si vous avez beaucoup de données.
Q : Comment utiliseriez-vous ces techniques pour les données de séries chronologiques ?
R : Les données de séries chronologiques sont mieux analysées à l'aide des outils Séries chronologiques ou EDF de JMP. Consultez les informations sur les séries chronologiques et une vidéo sur l'analyse des données courbes.
Questions répondues lors des webinaires précédents sur ce sujet :
Q : La formule Y1 de Pred est-elle issue de la régression PCA ?
R : Oui, les formules de prédiction pour Y1 et Y2 ont été générées par une analyse de régression des composantes principales. Lorsque vous créez le profileur avec ces formules de prédiction, vous pouvez cocher une case qui vous permet de voir les effets individuels au lieu des composantes principales.
Q : Quels seraient vos principaux critères pour éliminer les variables dans l’exemple de l’ACP ?
R : Voir la vidéo ci-dessous pour une approche.
Q : Dans PLS, est-il nécessaire de spécifier les interactions ou les relations entre les variables sont-elles prises en compte dans le modèle sous-jacent (par exemple, NIPALS) ?
R : Pour PLS, vous devez spécifier les effets de modèle pour lesquels vous souhaitez tester les interactions ou d'autres termes. Dans JMP standard, vous pouvez exécuter une analyse PLS avec les effets principaux uniquement. Dans JMP Pro, vous pouvez exécuter PLS avec d'autres effets de modèle, comme les interactions ou les polynômes, en utilisant la personnalité PLS dans Ajuster le modèle.
Q : L’ensemble de données sur le gluten est-il également associé à une grande multicolinéarité ?
R : Oui. Chaque longueur d'onde dépend de la suivante, il y a donc une forte colinéarité d'une longueur d'onde à l'autre.
Q : Est-il possible de dire si la méthode PLS ou la régression généralisée est généralement supérieure avec des données hautement autocorrélées ou si cela dépend simplement de l'ensemble de données ? Je pensais que la méthode PLS était meilleure, mais il semble que ce ne soit pas nécessairement le cas.
R : Cela dépend de la situation, qui peut dépendre dans une certaine mesure des données. Les deux donnent de bons modèles très proches l'un de l'autre.
Q : Laquelle de ces options de modélisation serait la meilleure pour la prédiction inverse ?
R : Avec des données étendues, vous pourriez avoir du mal à obtenir les bons paramètres. Toutes les options seraient acceptables pour la prédiction inverse.
Q : Pourriez-vous nous expliquer comment vous avez enregistré les formules PCA dans le tableau. Je ne sais comment enregistrer que les coordonnées elles-mêmes.
A : À partir du triangle rouge, enregistrez la formule dans le tableau de données.
Q : Si j'utilise le modèle PLS pour l'optimisation avec Prediction Profiler, l'optimisation respectera-t-elle la corrélation entre les variables, ou si le contrôle d'extrapolation est activé, la corrélation entre les variables sera-t-elle prise en charge ?
R : Dans PLS, vous pouvez effectuer une sélection de variables, puis utiliser les résultats pour créer un modèle avec les variables importantes. Ensuite, utilisez Créer un modèle avec VIP et réexécutez. Si vous enregistrez ces modèles dans une table de données, ils sont volumineux et contiennent toutes les variables.
Q : Le filtrage des modèles serait-il utile ?
R : Oui. Cela prendra un certain temps. Sélectionnez des méthodes supplémentaires. Sachez qu'en sélectionnant cette option, l'opération passera par Elastic Net. Elle passera également par Ridge Regression et prendra du temps si vous avez des K-folds et une validation croisée. Et, dans la régression généralisée et le criblage de modèles PLS, vous pouvez ajouter des interactions à 2 voies et cela s'adaptera avec et sans les interactions à 2 voies.
Ressources
