526288_fr-FR

liliconcom

Régression multiple avec variables corrélées

Salut tout le monde,

 

J'ai besoin d'aide concernant la régression multiple et j'apprécierais vraiment toute aide ! Merci d'avance

 

Voici un problème en un mot –

• J'ai des Y et 16 X continus
• Lorsque j'exécute une analyse multivariée, je peux voir que certains termes sont corrélés. Disons que X1 et X2 sont corrélés, je ne peux en utiliser qu'un seul
• De même, j'ai beaucoup de ces paires
• Cependant, je souhaite choisir arbitrairement X1 plutôt que X2. Donc, ce que je fais en ce moment, c'est d'exécuter la régression d'abord avec X1 puis avec X2. Ensuite, je compare les modèles avec ces termes. Mais le nombre de combinaisons que j'aurais besoin d'exécuter est tout simplement trop important, cela prend énormément de temps à faire manuellement et est sujet aux erreurs.
• Je voulais vérifier s'il existe un moyen plus intelligent de résoudre ce problème.
• Je sais que cela peut être résolu en écrivant un script pour exécuter cela dans une sorte de boucle et mettre en évidence les meilleurs modèles sur la base de –
  • R2, ajuster la valeur R2 et
  • VIF
• Cependant, vous n’avez pas les connaissances nécessaires pour écrire des scripts.
• D'autres conseils, astuces seraient également formidables ! (Je n'ai pas JMP Pro)

Au plaisir de vous entendre.

 

Cordialement,

 

Vipul

Automatisation et scriptsConception d'expériencesRe : Régression multiple avec variables corrélées

Merci beaucoup @David_Burnham ! Très reconnaissant pour vos commentaires, ils ont été très utiles. Très appréciée.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Merci @statman pour partager vos réflexions. Cela a été très utile. Très appréciée

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Merci encore Victor. Ce fut un retour très utile. J'ai essayé l'approche Stepwise Regression et PCA et cela nous a déjà beaucoup aidé.

 

Merci une fois de plus.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Salut @vipul ,

Différents modèles conduiront à différentes approches et manières de gérer la multicolinéarité.
Considérant X1 et X2 comme une paire de prédicteurs fortement corrélés entre autres prédicteurs, les modèles réagiront différemment :

• Avec une approche de régression pas à pas (ou arbre de décision), le modèle supprimera le ou les prédicteurs hautement corrélés du modèle et ne conservera que le ou les plus informatifs. Dans votre cas, vous vous retrouverez avec seulement X1 ou X2 (selon celui qui vous offrira la meilleure modélisation/performance).
• Avec une approche Random Forest (ou Predictor Screening pour JMP), plusieurs arbres de décision seront construits, avec un sous-ensemble de prédicteurs pour chaque arbre. Cela signifie que X1 et X2 seront testés dans un nombre égal de sous-ensembles de prédicteurs, ils auront donc la même chance d'être pris en compte dans le modèle. Selon celui qui apporte le plus d'informations, l'un des deux prédicteurs aura une importance de caractéristique (contribution au modèle) plus élevée que l'autre, mais les deux peuvent être pris en compte dans le modèle.
• Avec une approche PLS/PCA, vous réduisez le nombre de prédicteurs à un sous-ensemble plus petit de prédicteurs non corrélés, de sorte que vous conservez la plupart des informations sur les prédicteurs (en fonction du nombre de composants principaux que vous conservez). Vos entrées sont transformées/combinées et non corrélées (un nouveau X' peut être créé comme une combinaison de X1 et X2).

 

La méthode que vous choisirez dépend des performances que vous pouvez obtenir avec les modèles, mais plus important encore, dépend des connaissances du domaine que vous possédez sur le sujet. Différentes modélisations peuvent conduire à différentes explications et différentes hypothèses sur la signification ou l'importance de différents prédicteurs. La connaissance du domaine doit donc vous guider dans la sélection du modèle le plus approprié/raisonnable.

 

J'espère que cela vous aidera,

Re : Régression multiple avec variables corrélées

David a donné quelques plates-formes à essayer. La combinaison n’est pas une procédure statistique, mais une procédure technique/scientifique.

Laissez-moi vous donner un exemple hypothétique :

Imaginez que vous essayiez de déterminer quels facteurs ont un effet sur la distance à laquelle un projectile peut être lancé à l'aide d'un élastique (Y = distance). Deux des nombreuses variables d'intérêt (masse du projectile, géométrie du projectile, angle de lancement, courants d'air ambiants, technique de largage, etc.) sont :

1. X1 = Longueur pendant laquelle l'élastique est étiré et

2. X2 = "Spring Constant" qui varie en changeant la largeur de l'élastique

 

Ces deux variables apparaissent corrélées dans un ensemble de données et ont toutes deux un effet direct sur la quantité d'énergie fournie au système (hypothèse). Considérons-les colinéaires. Au lieu de les traiter comme des variables indépendantes dans une expérience, on pourrait les combiner en un seul facteur dont les niveaux sont les suivants :

- = courte longueur de bande extensible et largeur étroite

+ = longue longueur de bande extensible et largeur épaisse

Et puis ce « facteur combiné » comparé à bien d’autres dans une expérience. Si ce facteur semble significatif, des expériences ultérieures peuvent être menées pour mieux comprendre comment gérer le plus efficacement possible le problème. énergie dans le système (cela devient une nouvelle variable de réponse).

Re : Régression multiple avec variables corrélées

Pour info, la procédure que vous décrivez pour ajuster un à la fois sur tous les X est effectuée automatiquement par le Dépistage des réponses plate-forme trouvée sous Analyse> Dépistage.

Re : Régression multiple avec variables corrélées

Vous aimeriez peut-être aussi regarder le Variables de cluster utilitaire sous Analyse> Clustering.Les X corrélés seront placés dans le même cluster.Ensuite, pour chaque cluster, vous pouvez sélectionner une « variable représentative » à inclure dans une régression.Il existe même une option « modèle d'ajustement de lancement » à partir du triangle rouge.

Re : Régression multiple avec variables corrélées

Salut @statman ,

Merci d'avoir pris le temps de partager votre point de vue. Pourriez-vous peut-être s'il vous plaît expliquer comment vous combinez plusieurs X corrélés ?

 

Merci encore d'avance.

 

Cordialement,

 

Vipul

Re : Régression multiple avec variables corrélées

Salut @Victor_G

 

Merci d'avoir pris le temps de répondre. Je serai sûr d'utiliser le module de sélection de prédicteurs immédiatement. En espérant que cela donne des pistes.

 

Cependant, pensez-vous que cela résoudra le problème de multicolinéarité puisque (disons) X1 et X2 réapparaîtront comme les prédicteurs les plus probables, n'est-ce pas ?

Re : Régression multiple avec variables corrélées

Voici mes réflexions : il n'y a pas de procédures statistiques choisir quels facteurs inclure dans votre étude en cas de multicolinéarité. La décision doit être prise par le SME (Subject Matter Expert). Les éléments qui peuvent influencer cela incluent :

1. Facilité ou coût de gestion des X

2. Base scientifique (hypothèses) pour l'inclusion ou non (je suggère que celles-ci soient prédites plutôt que développées une fois les données obtenues)

3. Impact sur les autres Y

Maintenant, vous pouvez faire d'autres choses :

1. Combinez les x corrélés en un seul X

2. Développer des variables de réponse alternatives

3. Essayez différentes transformations (par exemple, PCA), même si cela peut obscurcir les relations scientifiques

4. Exécutez des expériences sur les facteurs

Re : Régression multiple avec variables corrélées

Bonjour @vipul ,

 

Peut-être que l'utilisation de la personnalité "Stepwise" dans la plateforme "Fit Model" correspond à votre besoin, puisque JMP essaiera d'utiliser des variables qui tendent à créer un modèle avec un BIC/AICc minimum, ou avec un seuil de valeur p. En cliquant sur le triangle rouge de la plateforme, il y a aussi l'option pour tester "Tous les modèles possibles", où vous devez spécifier le plus grand nombre de termes (facteurs) dans vos modèles, et le nombre de meilleurs modèles à voir. Ensuite, JMP fournira un tableau avec tous les modèles testés, avec le nombre de termes dans chaque modèle, R², RMSE, AICc et BIC, et vous pourrez exécuter n'importe lequel des modèles testés si vous en trouvez certains suffisamment intéressants.

 

Cependant, je ne pense pas que cela puisse être une bonne idée compte tenu du problème de multicolinéarité dans votre ensemble de données. Si vous disposez de JMP et d'un ensemble de données avec des variables hautement corrélées, vous pouvez essayer ces options, selon si vous êtes intéressé par l'explicabilité et/ou la prévisibilité :

• Utilisez « Dépistage des prédicteurs » (dans Analyse -> Dépistage) pour trouver les variables les plus importantes pour votre réponse. Sélectionnez les n les plus importantes (vous pouvez faire varier le seuil n, le nombre de variables importantes que vous souhaitez conserver en fonction de l'expertise du domaine ou d'un seuil arbitraire comme "Je veux les 5 meilleurs prédicteurs"), cliquez sur "Copier la sélection", puis exécutez votre modèle de régression (Fit Model) avec les variables que vous avez copiées.
• Utilisez l'analyse en composantes principales pour réduire vos 16 X initiaux à un ensemble inférieur de variables indépendantes, contenant la plupart des informations initiales. Essayez ensuite un modèle de régression avec vos composantes principales au lieu des X d'origine.
• Utilisez les moindres carrés partiels (Analyser -> Multivarié -> Moindres carrés partiels) pour créer un modèle avec des variables corrélées.

 

Je pense que ces options peuvent être plus robustes/fiables que d'essayer d'adapter tous les modèles possibles et de choisir le(s) meilleur(s) en fonction de R² ou d'autres mesures, car l'approche originale que vous avez mentionnée supprimera certains des X corrélés qui peuvent encore contenir de la valeur. information.
Il existe de nombreuses autres options possibles, mais disponibles dans JMP Pro (avec des techniques de modèles de régression pénalisés par exemple).

 

Je pense que ces trois premières options peuvent déjà vous être utiles