Formation et Validation R2 en Lasso/Filet ElastiqueChers tous,
J'utilise la validation croisée k fois en combinaison avec des modèles de régression pénalisés (lasso, filet élastique) et je souhaite examiner les valeurs R2 (moyennes) des ensembles d'entraînement/validation pour vérifier le surajustement et la variance expliquée. J'ai déjà cherché parmi les nombreuses options, mais je ne trouve pas cela. Y a-t-il un moyen de montrer cela ? Ce serait formidable si cela pouvait être affiché dans le tableau récapitulatif, afin que je puisse l'utiliser pour la sélection du modèle.
Merci, Markus
macOSModélisation prédictive et apprentissage automatiqueRe: Formation et Validation R2 en Lasso/Filet ElastiqueMerci, mais bien sûr, je connais la plateforme de sélection de modèles, mais elle exécute des modèles simplifiés et ne propose pas les options des modèles complets. Par exemple, je suppose que le modèle neuronal dans le filtrage de modèles est plutôt simple avec seulement quelques unités cachées.
Lorsque je souhaite effectuer une validation croisée imbriquée avec un modèle neuronal plus complexe à 2 couches, par exemple, cela ne peut pas être fait avec le filtrage du modèle, n'est-ce pas ?
Il y a aussi d'autres choses qui peuvent être faites uniquement dans la boucle interne. Par exemple, l’imputation est souvent effectuée uniquement au sein de la boucle interne, car il serait injuste d’utiliser l’ensemble de l’échantillon, y compris l’échantillon test indépendant, pour l’imputation.
Par conséquent, je recherche un script avec lequel une validation croisée imbriquée peut être effectuée. Je pourrais alors, par exemple, insérer l'imputation uniquement dans la boucle interne.
Re: Formation et Validation R2 en Lasso/Filet ElastiqueSalut @MarkusJH ,
Bienvenue dans la Communauté !
Pour répondre à votre question, une option pourrait être d'utiliser la plateforme « Model Screening » disponible dans le menu « Analyser », « Modélisation prédictive ».
Une fois dans la plateforme "Model Screening", vous pouvez désélectionner les méthodes autres que "Régression généralisée" et "Méthodes supplémentaires" (effectuées ici sur le jeu de données Titanic), et spécifier si vous souhaitez inclure 2 interactions de facteurs ou des termes quadratiques dans le modèle. Vous pouvez également spécifier le nombre de plis pour la validation croisée et une graine aléatoire si vous souhaitez des résultats reproductibles :
Une fois l'analyse terminée, vous pouvez voir les résultats de validation sous forme de résumé à travers les plis. Ce tableau récapitulatif peut vous aider à sélectionner le(s) modèle(s) les plus appropriés (vous pouvez sélectionner le(s) modèle(s) que vous souhaitez voir plus en détail (ou cliquer sur « Sélectionner le dominant ») puis cliquer sur « Exécuter la sélection » pour ouvrir le plateforme de Régression Généralisée pour avoir plus de détails sur le(s) modèle(s) sélectionné(s) :
Et vous pouvez également consulter les résultats individuels par plis (si besoin) en ouvrant le menu "Formation" et "Validation" (ici sur "Formation", l'identifiant des plis est visible dans la dernière colonne pour chaque type de modèle formé) :
J'espère avoir compris votre question et que cette réponse vous aidera.
Si j'ai mal compris quelque chose et que ce n'est pas ce à quoi vous vous attendiez, pourriez-vous fournir plus de détails sur la plateforme que vous utilisez actuellement, quelles informations possédez-vous déjà et lesquelles manquent ?
Ré: Formation et validation des R2 dans Lasso/Elastic net... ou une autre chose que l'on veut faire dans la boucle interne serait la sélection d'hyperparamètres, par exemple le nombre d'unités cachées.
Bien entendu, à la fin de la boucle interne, il doit y avoir un critère qui définit le meilleur modèle, qui est ensuite soumis à la validation croisée de la boucle externe.
Ré: Formation et validation des R2 dans Lasso/Elastic netJ'ai posé une question similaire à JMP sur la régression Elastic Net et sur la façon dont je pourrais obtenir une certaine forme de R-carré et la réponse a été qu'elle n'est pas donnée pour les méthodes de validation KFold ou Leave-One-Out, uniquement pour AICc et BIC. Je pense donc que vous devez le calculer manuellement vous-même. Je pense que c'est assez ennuyeux car SAS peut le faire.
Ré: Formation et validation des R2 dans Lasso/Elastic net@MarkusJH
Vous pouvez comparer les valeurs R2 sur k plis à l'aide de la plateforme de comparaison de modèles dans le menu Analyser > Modélisation prédictive. Suivez ces étapes :
- Créez une colonne K Fold à l'aide de l'utilitaire Créer une colonne de validation et sélectionnez « Créer une colonne K Fold » (en bas à gauche de la fenêtre de dialogue).
- Lancez Gen Reg et chargez votre colonne KFold comme rôle de validation.
- Exécutez votre modèle de régression (Elastic Net, Lasso, etc.) et assurez-vous que la colonne de validation est sélectionnée comme méthode de validation.
- Lorsque vous êtes satisfait du modèle, enregistrez la formule de prédiction dans la table de données.
- Pour afficher la valeur R2 pour chaque pli, lancez Comparaison de modèles à partir du menu Analyser > Modélisation prédictive
- Chargez votre colonne de formule enregistrée en tant que Y et la colonne de validation KFold en tant que groupe
- Le rapport résultant vous montrera les mesures d'ajustement pour chaque pli dans la colonne :
