Modèle : un VIF élevé est-il un problème dans tous les cas ?Voici la situation : j'essaie de construire un modèle pour exprimer un Y particulier en utilisant 25 paramètres dans X. Toutes les données de mes paramètres X sont données par la même technologie unique, qui analyse 1 échantillon en utilisant 25 fréquences (my X), comme un balayage de fréquence pour obtenir un maximum d'informations. En d'autres termes, pour chaque donnée Y unique, j'aurai 25 X.
Mais le problème est que lorsque je construis des modèles, j'obtiens des VIF énormes car mes paramètres X sont intrinsèquement colinéaires car ce ne sont que des fréquences de la même technologie donc ils évoluent de la même façon...
Et si je fais comme j'ai appris, c'est-à-dire en supprimant chaque paramètre un par un en fonction du VIF le plus élevé, je me retrouve avec une seule fréquence restante, ce qui enlève tout l'intérêt de la technologie de balayage.
Dans ce cas particulier, le modèle est-il vraiment biaisé par ces colinéarités ou peut-on s'y fier ?
@alexbeck peut être?
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?@martindemel pouvez-vous vous en occuper après votre retour de vacances ?
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Bien ! Je vais essayer tout ça et voir ce que je peux trouver. Merci beaucoup !Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Absolument. Tout dans le modèle est tout à fait correct : les valeurs aberrantes étaient en contrôle avec les résidus studentisés, Adj. R2 est très fin etc... Juste les VIF sont fousRe : Modèle : Un VIF élevé est-il un problème dans tous les cas ?J'ai oublié de le mentionner mais quand je parle de VIF élevé, je voulais dire des dizaines de centaines et de milliers... Si ma variance n'est toujours pas si élevée, puis-je tolérer de telles valeurs ?
Le PLS a été mentionné précédemment en effet, je vais essayer ça !
Malheureusement je n'ai pas JMP Pro...Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Je n'ai aucune idée de ce qui se passerait si cet outil Functional Data Explorer, je le découvrirai merci beaucoup pour cette astuce !
En effet, sur l'ensemble de mes 25 fréquences, seules quelques-unes sont vraiment pertinentes pour expliquer mon Y, et donc lors de la modélisation j'ai utilisé le pas à pas pour supprimer celles qui ne sont pas significatives. Si je ne le fais pas, j'obtiendrai un modèle avec genre 18 paramètres non significatifs et seulement 6 significatifs... Cela a-t-il vraiment du sens ?
Je vais aussi vérifier PLS en effet c'est une bonne idée, merci pour votre aide!Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Je suis désolé si c'était assez clair, réessayons:
Il ne s'agit pas exactement de 25 niveaux de X, mais de 25 X différents issus de la même technologie. La techno scanne différentes fréquences et pour chacune, elle donnera une valeur, qui est mon X.
Et quand je parle de VIF élevé, je parle de dizaines de centaines et de milliers ...Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Il y a beaucoup de techniques que vous pourriez utiliser dans cette situation.Les modèles régularisés comme la régression de crête ou les réseaux de neurones peuvent assez bien surmonter la colinéarité.Vous pouvez également utiliser des techniques de réduction de la dimensionnalité comme les composants principaux et effectuer une régression sur les scores des composants.
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Comme l'indique Mark, les «règles empiriques» doivent toujours être utilisées avec prudence. Dans la construction d'un modèle approprié, il y a un certain nombre de techniques utilisées (par exemple, évaluer les hypothèses ( NID(0, s 2 )) , R-carré-R-carré Adj, test des valeurs aberrantes, analyse des résidus, etc.) dont VIF n'est qu'un.
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?J'ai vu une "règle générale" commune pour VIF : en dessous de 10, c'est bien, au-dessus de 10, c'est mal. Cette règle est malheureusement inutile et ne doit pas être suivie.
En général, un VIF tolérable dépend de la taille relative de l'estimation du paramètre et de la variance de la réponse. Si vos changements de réponse sont énormes et que votre variance est faible, vous pouvez tolérer un VIF très important. D'un autre côté, si vos changements de réponse sont petits et que votre variance est grande, alors un petit VIF peut être trop.
Je me demande si vous pourriez utiliser une autre méthode de régression. Par exemple, PLS est très efficace lorsque les X sont le domaine de certains spectres, comme la longueur d'onde ou le poids moléculaire. Ces X sont fortement corrélés. Le modèle de régression PLS exploite ces informations au lieu de vous pénaliser avec la colinéarité.
Si vous disposez de JMP Pro, vous pouvez également traiter le X comme des données fonctionnelles et enregistrer les principaux composants fonctionnels. Ces FPC seraient utilisés à la place de X dans votre modèle de régression de Y.
Qu'en penses-tu?
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Il semble que vous souhaitiez en fait utiliser l'explorateur de données fonctionnelles. Pour chaque Y vous disposez d'une plage de fréquences qui définit un profil. C'est exactement ce que l'explorateur de données fonctionnel est censé analyser.
Cependant, si vous souhaitez utiliser la régression, les VIF élevés ne sont pas vraiment un problème si vous ne supprimez AUCUN terme du modèle complet (le modèle avec tous les X dans le modèle) et que vous souhaitez simplement utiliser le modèle pour la prédiction.
Puisqu'il semble que vous soyez plus intéressé par les fréquences les plus importantes (en supprimant les termes non significatifs avec des VIF élevés), vous courez toujours le risque que les VIF élevés causent des problèmes. Votre approche est probablement la meilleure si vous vous en tenez à la régression, mais rappelez-vous que les VIF élevés signifient que la variance des estimations des paramètres est gonflée. Cela signifie également que les estimations des paramètres sont terriblement instables. La suppression d'un X du modèle pourrait modifier considérablement les estimations des paramètres et les tests de signification des autres paramètres. Le modèle avec lequel vous vous retrouvez n'est peut-être pas le meilleur.
Si vous avez vraiment besoin d'identifier les caractéristiques importantes de ces profils, veuillez consulter l'explorateur de données fonctionnelles. Si ce n'est pas une option, vous devriez envisager d'utiliser une technique de modélisation conçue pour gérer la multicolinéarité. PLS ou PCR ne sont que deux de ces techniques.
Re : Modèle : Un VIF élevé est-il un problème dans tous les cas ?Je ne pense pas comprendre complètement le problème. On dirait que vous avez 25 niveaux d'un X (fréquence).... vous créez donc un modèle avec un seul X dans le modèle ? Vous auriez de nombreux degrés de liberté pour estimer un modèle non linéaire plutôt complexe, mais il n'y a qu'un seul prédicteur dans l'équation.
Les VIF élevés (> 10 excessifs, > 5 doivent être évalués) ne sont qu'une indication que votre modèle doit être réévalué (l'utilité des modèles peut être surestimée). Oui, c'est une mesure de multicolinéarité, mais les valeurs élevées n'indiquent pas nécessairement ce qui est colinéaire. Cela nécessite généralement une expertise en la matière pour comprendre et compenser de manière appropriée.
