526288_fr-FR

liliconcom

Régression multiple avec variables corrélées

Salut tout le monde,

 

J'ai besoin d'aide en ce qui concerne la régression multiple et j'apprécierais vraiment toute aide ! Merci d'avance

 

Voici un problème en bref -

• J'ai des Y continus et 16 X
• Lorsque j'exécute une analyse multivariée, je peux voir que certains termes sont corrélés. Dites, X1 et X2 sont corrélés, je ne peux en utiliser qu'un seul
• De même, j'ai beaucoup de ces paires
• Cependant, je veux choisir arbitrairement X1 sur X2. Donc, ce que je fais en ce moment, c'est d'exécuter la régression d'abord avec X1 puis avec X2. Ensuite, je compare les modèles avec ces termes. Mais le nombre de combinaisons que j'aurais besoin d'exécuter est tout simplement trop grand, extrêmement long à faire manuellement et sujet aux erreurs.
• Je voulais vérifier s'il existe un moyen plus intelligent de résoudre ce problème.
• Je sais que cela peut être résolu en écrivant un script pour l'exécuter dans une sorte de boucle et mettre en évidence les meilleurs modèles sur la base de -
  • R2, valeur adj. R2 et
  • VIF
• Cependant, n'ont pas les connaissances nécessaires pour écrire des scripts.
• D'autres conseils, astuces seraient également formidables! (je n'ai pas JMP Pro)

Au plaisir de vous entendre.

 

Cordialement,

 

Vipul

BICHEAutreScriptRe : Régression multiple avec variables corrélées

Merci beaucoup @David_Burnham ! Très reconnaissant pour vos commentaires, c'était très utile. Très appréciée.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Merci @statman pour partager vos pensées. C'était très utile. Très appréciée

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Merci encore Victor. C'était une rétroaction très utile. J'ai essayé l'approche Stepwise Regression et PCA et cela nous a déjà beaucoup aidés.

 

Merci une fois de plus.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Salut @vipul ,

Différents modèles conduiront à différentes approches et façons de traiter la multicolinéarité.
Considérant X1 et X2 comme une paire de prédicteurs fortement corrélés parmi d'autres prédicteurs, les modèles réagiront différemment :

• Avec une approche de régression pas à pas (ou arbre de décision), le modèle supprimera le ou les prédicteurs hautement corrélés du modèle et ne conservera que le ou les plus informatifs. Dans votre cas, vous vous retrouverez avec seulement X1 ou X2 (selon celui qui vous donnera la meilleure modélisation/performance).
• Avec une approche Random Forest (ou Predictor Screening pour JMP), plusieurs arbres de décision seront construits, avec un sous-ensemble de prédicteurs pour chaque arbre. Cela signifie que X1 et X2 seront testés dans un nombre égal de sous-ensembles de prédicteurs, ils auront donc la même chance d'être repris dans le modèle. Selon celui qui apporte le plus d'informations, l'un des deux prédicteurs aura une importance de caractéristique (contribution au modèle) plus élevée que l'autre, mais les deux peuvent être pris en compte dans le modèle.
• Avec une approche PLS/PCA, vous réduisez le nombre de prédicteurs à un plus petit sous-ensemble de prédicteurs non corrélés, de sorte que vous conservez la plupart des informations sur les prédicteurs (en fonction du nombre de composants principaux que vous conservez). Vos entrées sont transformées/combinées et non corrélées (un nouveau X' peut être créé comme une combinaison de X1 et X2).

 

La méthode que vous choisirez dépend des performances que vous pouvez avoir avec les modèles, mais plus important encore, dépend de la connaissance du domaine que vous avez sur le sujet. Différentes modélisations peuvent conduire à différentes explications et différentes hypothèses sur la signification ou l'importance de différents prédicteurs, de sorte que la connaissance du domaine doit vous guider pour sélectionner le modèle le plus approprié/raisonnable.

 

En espérant que cela vous aide,

Re : Régression multiple avec variables corrélées

David a donné quelques plates-formes à essayer. La combinaison n'est pas une procédure statistique, mais une procédure technique/scientifique.

Laissez-moi vous donner un exemple hypothétique :

Imaginez que vous essayez de déterminer quels facteurs ont un effet sur la distance à laquelle un projectile peut être lancé à l'aide d'un élastique (Y = distance). Deux des nombreuses variables d'intérêt (masse du projectile, géométrie du projectile, angle de lancement, courants d'air ambiant, technique de largage, etc.) sont :

1. X1 = Longueur de l'élastique est étiré et

2. X2 = "Spring Constant" qui varie en modifiant la largeur de l'élastique

 

Ces deux variables apparaissent corrélées dans un jeu de données et ont toutes deux un effet direct sur la quantité d'énergie fournie au système (hypothèse) Considérons-les colinéaires. Au lieu de les traiter comme des variables indépendantes dans une expérience, on pourrait les combiner en un facteur dont les niveaux consistent en :

- = courte longueur d'étirement et bande de largeur étroite

+ = grande longueur d'étirement et bande de largeur épaisse

Et puis ce "facteur combiné" comparé à beaucoup d'autres dans une expérience. Si ce facteur semble significatif, des expériences ultérieures peuvent être menées pour mieux comprendre comment gérer le plus efficacement l'énergie dans le système (cela devient une nouvelle variable de réponse).

Re : Régression multiple avec variables corrélées

Pour votre information, la procédure que vous décrivez pour ajuster un à la fois sur tous les X est effectuée automatiquement par le Dépistage des réponses plate-forme trouvée sous Analyser> Dépistage.

Re : Régression multiple avec variables corrélées

Vous aimerez peut-être aussi consulter le Variables de grappe utilitaire sous Analyser>Clustering.Les X qui sont corrélés seront placés dans le même cluster.Ensuite, pour chaque cluster, vous pouvez sélectionner une « variable représentative » à inclure dans une régression.Il existe même une option "lancer le modèle d'ajustement" dans le triangle rouge.

Re : Régression multiple avec variables corrélées

Salut @statman ,

Merci d'avoir pris le temps de partager votre point de vue. Pourriez-vous peut-être expliquer comment vous combinez plusieurs X corrélés ?

 

Merci encore d'avance.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Salut @Victor_G

 

Merci d'avoir pris le temps de répondre. Je vais m'assurer d'utiliser le module de filtrage des prédicteurs tout de suite. En espérant que cela donne des pistes.

 

Cependant, pensez-vous que cela résoudra le problème de multicolinéarité puisque (disons) X1 et X2 apparaîtront à nouveau comme les prédicteurs les plus probables, n'est-ce pas ?

Re : Régression multiple avec variables corrélées

Voici mes réflexions : Il n'y a pas de procédures statistiques choisir quels facteurs inclure dans votre étude lorsque la multicolinéarité est présente. La décision doit être prise par le SME (Subject Matter Expert). Les choses qui peuvent influencer cela incluent:

1. Facilité ou coût de gestion des X

2. Base scientifique (hypothèses) pour l'inclusion ou non (je suggère que celles-ci soient prédites plutôt que développées après l'obtention des données)

3. Impact sur les autres Y

Maintenant, il y a d'autres choses que vous pouvez faire :

1. Combinez les x corrélés en un seul X

2. Développer des variables de réponse alternatives

3. Essayez différentes transformations (par exemple, PCA) bien que cela puisse obscurcir les relations scientifiques

4. Exécutez des expériences sur les facteurs

Re : Régression multiple avec variables corrélées

Bonjour @vipul ,

 

Peut-être que l'utilisation de la personnalité "Stepwise" dans la plate-forme "Fit Model" correspond à votre besoin, car JMP essaiera d'utiliser des variables qui tendent à créer un modèle avec un minimum de BIC/AICc, ou avec un seuil de p-value. En cliquant sur le triangle rouge de la plateforme, il y a aussi l'option de tester "Tous les modèles possibles", où vous devez spécifier le plus grand nombre de termes (facteurs) dans vos modèles, et le nombre de meilleurs modèles à voir. Ensuite, JMP fournira un tableau avec tous les modèles testés, avec le nombre de termes dans chaque modèle, R², RMSE, AICc et BIC, et vous pourrez exécuter n'importe lequel des modèles testés si vous en trouvez qui sont suffisamment intéressants.

 

Cependant, je ne pense pas que ce soit une bonne idée avec le problème de multicolinéarité dans votre ensemble de données. Si vous avez JMP et un ensemble de données avec des variables fortement corrélées, vous pouvez essayer ces options, selon si vous êtes intéressé par l'explicabilité et/ou la prévisibilité :

• Utilisez "Sélection des prédicteurs" (dans Analyse -> Sélection) pour trouver les variables les plus importantes pour votre réponse. Sélectionnez les n plus importantes (vous pouvez faire varier le seuil n, le nombre de variables importantes que vous souhaitez conserver en fonction de l'expertise du domaine ou d'un seuil arbitraire comme "Je veux les 5 meilleurs prédicteurs"), cliquez sur "Copier la sélection", puis exécutez votre modèle de régression (Fit Model) avec les variables que vous avez copiées.
• Utilisez l'analyse en composantes principales pour réduire vos 16 X initiaux à un ensemble inférieur de variables indépendantes, contenant la plupart des informations initiales. Essayez ensuite un modèle de régression avec vos composants principaux au lieu des X d'origine.
• Utilisez les moindres carrés partiels (Analyze -> Multivariate -> Partial Least Squares) pour créer un modèle avec des variables corrélées.

 

Je pense que ces options peuvent être plus robustes/fiables que d'essayer d'adapter tous les modèles possibles et de choisir le ou les meilleurs en fonction de R² ou d'autres mesures, car l'approche originale que vous avez mentionnée supprimera certains des X corrélés qui peuvent encore contenir de la valeur information.
Il existe de nombreuses autres options possibles, mais disponibles dans JMP Pro (avec des techniques de modèles de régression pénalisés par exemple).

 

Je pense que ces trois premières options peuvent déjà vous être utiles