Vous êtes submergé par trop de variables dans la modélisation prédictive?Dans les problèmes de régression, nous devons souvent choisir un ensemble de variables prédictives parmi ce qui peut être un très grand ensemble de prédicteurs candidats. Lors de la construction de notre modèle, nous voulons trouver un ensemble significatif de prédicteurs donnant des prévisions précises. Les méthodes classiques telles que la sélection directe et la régression de tous les sous-ensembles ne répondent pas toujours à cet objectif.
La régression par le moindre angle (LARS) et les méthodes de régression pénalisées telles que l’opérateur de retrait et de sélection au moins absolu (LASSO) et Elastic Net sont des approches plus récentes et plus prometteuses de la sélection variable. Les packages R «lars» et «elasticnet» fournissent des outils pour adapter plusieurs de ces nouvelles techniques. La documentation fournie avec les packages constitue un bon point de départ pour en savoir plus sur les méthodes elles-mêmes. Utilisation de la nouvelle fonctionnalité d'intégration R dans JMP 9 pour appeler ces paquets, nous pouvons présenter les résultats et construire des graphiques JMP . Vérifiez Complément de régression pénalisé (connexion SAS gratuite requise pour l’accès et le téléchargement), ce qui ne fait que cela.
Lorsque vous installez le complément de régression pénalisée, vous disposez de trois outils différents pour adapter ces modèles. Ils apparaissent sous l’en-tête «R Add-ins». LASSO avec validation croisée utilise la validation croisée pour choisir le paramètre de réglage LASSO et vous permet de voir comment les estimations de paramètre changent lorsque vous ajustez le paramètre de réglage. L'outil «Comparaison de la méthode de régression pénalisée» nous permet de comparer les solutions LASSO, LARS et Forward Stagewise. Les résultats de ces trois méthodes sont parfois presque identiques. Enfin, «Elastic Net avec validation croisée» présente la solution Elastic Net et utilise la validation croisée pour choisir la meilleure combinaison de paramètres de réglage. Elastic Net est délicat car il comporte deux paramètres de réglage, mais j’ai trouvé que la possibilité de voir la solution changer en fonction des paramètres de réglage était très utile.
Voyons maintenant un exemple d'utilisation de LASSO avec une validation croisée. En utilisant l'ensemble de données sur le diabète inclus dans le package «lars», nous obtenons les résultats dans la capture d'écran ci-dessous. Avec ces données, nous essayons de modéliser la progression du diabète en utilisant l'âge, le sexe, l'indice de masse corporelle, la pression artérielle et plusieurs mesures de sérum sanguin.
Le graphique a l'air un peu étrange, mais il contient beaucoup d'informations. Il nous montre comment les estimations de paramètres changent en fonction du paramètre de réglage. Lorsque vous déplacez le curseur pour augmenter le paramètre de réglage, le rapport d'estimation du paramètre s'affiche à droite, ce qui permet de voir à quel moment chaque variable entre dans le modèle.
L'indice de masse corporelle est la première variable à entrer dans le modèle. Nous constatons également que l'âge est la dernière variable à entrer, ce qui suggère que l'âge pourrait ne pas jouer un rôle important dans la progression du diabète. Le complément nous permet d’examiner les résultats de la validation croisée, ce qui peut nous aider à choisir le paramètre de réglage. Une fois que nous sommes satisfaits du paramètre de réglage, nous pouvons enregistrer les valeurs prédites dans notre table de données.
Clay Barker a écrit: Benjamin et Anders: Je suis désolé que vous soyez ... Argile barker a écrit:
Benjamin et Anders: Je suis désolé que vous ayez des problèmes. Malheureusement, le problème sera difficile à cerner. Étant donné que le complément appelle R, le problème peut provenir de l'installation de R, des packages R appelés ou du complément. Voici quelques suggestions qui pourraient vous aider:
1. Assurez-vous qu'il ne manque pas de valeurs dans votre ensemble de données. Le complément n'étant pas destiné à être une plate-forme pleinement opérationnelle, je n'ai pas pu prendre en charge les valeurs manquantes. Donc, imputer les valeurs manquantes avant d'appeler le complément.
2 Pour les mêmes raisons que # 1, le complément ignore les états de ligne (comme les lignes exclues).
3 Le complément est uniquement conçu pour faire les moindres carrés. Si vous souhaitez adopter une approche similaire en matière de régression logistique, une interface similaire à R pourrait être construite pour appeler le package glmnet afin d'ajuster les modèles linéaires généralisés pénalisés.
Y a-t-il d'autres utilisateurs JMP qui ont des suggestions?
Anders a écrit: J'ai le même problème que Benjamin. Presque... Anders a écrit:
J'ai le même problème que Benjamin. J'ai presque jeté mon ordinateur par la fenêtre. Ce complément ne fonctionne pas pour moi. Pour aggraver les choses, il n'y a pas de documentation sanglante sur la façon de faire fonctionner ce complément! Très frustré parce que je dois faire une régression logistique et avoir un très grand nombre de variables et que je veux éviter Stepwise.
Gabriel Andraos a écrit: Cher Clay. Merci pour ce clair p ... Gabriel Andraos a écrit:
Chère Clay. Merci pour cette présentation claire. En quoi ces techniques sont-elles meilleures que l’utilisation de la plate-forme de partition dans JMP 9.0 pour sélectionner les variables les plus prédictives?
Meilleur,
Clay Barker a écrit: Bonjour Gabriel, c'est une très bonne question ... Argile barker a écrit:
Bonjour Gabriel, c'est une très bonne question. En général, nous ne pouvons pas vraiment dire quelle technique fonctionnera le mieux pour un ensemble de données particulier. Il est donc probablement intéressant d’essayer les deux techniques et de comparer les résultats. L'utilisation de quelque chose comme LARS ou LASSO pour créer votre modèle de prédiction présente l'avantage de permettre une interprétation plus facile du modèle linéaire résultant.
Benjamin a écrit: Clay, Merci d'avoir créé cela. J'ai inst ... Benjoin a écrit:
Argile,
Merci d'avoir créé cela. J'ai installé R et les packages requis (lars et elasticnet) et vérifié que R reconnaît la commande lars. Je vois aussi votre complément dans JMP 9.0.0 et la boîte de dialogue appropriée s'ouvrira. Cependant, après la sélection des données et leur exécution, rien ne se passe - la boîte de dialogue se ferme et je vérifie que le processeur ne fait rien. J'ai déjà essayé avec et sans R et après avoir redémarré JMP. Des suggestions?
Merci!
Benjoin
