validation croisée à l'aide de la qualité d'ajustement k-foldJ'utilise l'ajustement Lasso avec validation croisée (avec un seul attribut) ou K-fold. Veuillez m'indiquer la meilleure façon d'afficher le R carré et d'autres indicateurs de qualité d'ajustement (par exemple, l'AIC) dans le résultat. Il serait utile de disposer de ces informations pour l'ensemble d'entraînement et l'ensemble de validation (moyenne de tous les attribut hold-out).
Modélisation prédictive et apprentissage automatiqueRe : validation croisée à l'aide de la qualité d'ajustement k-foldSalut @daniel_s ,
Bienvenue dans la Communauté !
Pour obtenir des métriques de performance de votre régression LASSO sur les plis individuels et en moyenne, je pense qu'il est plus simple de lancer la régression généralisée depuis la plateforme de criblage de modèles , en cochant uniquement les options « Régression généralisée » et « Méthodes supplémentaires », en spécifiant le type de termes qui peuvent entrer dans le modèle (par exemple en introduisant des interactions et des effets quadratiques), le nombre de plis et la graine pour la reproductibilité (si nécessaire) :
Une fois la plateforme lancée, vous aurez une nouvelle fenêtre ouverte avec toutes les informations sur les plis individuels et le résumé :
J'espère que cette réponse vous aidera,
Re : validation croisée à l'aide de la qualité d'ajustement k-foldMerci. C'est utile. Je suppose que je sélectionnerais ensuite le meilleur pli et que j'exécuterais la sélection, ce qui permettrait d'obtenir les résultats de l'ajustement au lasso, le meilleur pli K étant utilisé comme validation.
Re : validation croisée à l'aide de la qualité d'ajustement k-foldSalut @daniel_s ,
Après avoir lancé votre modèle LASSO avec validation croisée K-folds, il existe en effet plusieurs manières de procéder avec les résultats :
- Choisissez le modèle LASSO le plus performant sur le « meilleur » pli de validation : Non recommandé car cela ressemblerait à du « cherry picking » et non à une « évaluation honnête » et à une procédure de sélection : il s'agit plutôt de sélectionner les bonnes données pour le modèle, au lieu d'adapter le bon modèle à vos données, vous risquez donc de sur-adapter vos données de validation.
- Après avoir évalué la cohérence et la robustesse des résultats, réentraînez le modèle sur l'ensemble des données : cette approche peut sembler logique, car une fois que vous avez vérifié la robustesse de votre modèle et la similarité de ses résultats sur tous les plis, vous pourriez être tenté d'utiliser l'ensemble des données pour l'améliorer. Cela peut être une option viable si vous êtes certain que les paramètres du modèle (par exemple, les termes inclus et la valeur de pénalité) peuvent rester identiques entre l'ajustement avec les données de validation croisée et l'ajustement avec l'ensemble des données, afin de garantir que votre modèle ne sera pas sur-ajusté sur l'ensemble des données. Cette approche présente l'inconvénient de perdre de vue la validation du modèle. Ainsi, en cas de problème avec les données de test, il est difficile de déboguer le modèle sans données de validation.
- Créer une moyenne de vos K modèles : c'est mon approche préférée (si possible). Une fois vos K modèles créés, vous pouvez les exécuter et enregistrer leur formule de prédiction en utilisant « Publier la formule de prédiction » pour stocker vos modèles dans le dépôt de formules .
Une fois la formule du modèle dans le dépôt de formules, cliquez sur le triangle rouge à côté de « Dépôt de formules » et sélectionnez « Comparaison de modèles ». Cela créera un bref résumé des performances de votre modèle. En cliquant sur le triangle rouge à côté de « Comparaison de modèles », vous pourrez créer une moyenne de modèle :
Cette option créera une nouvelle formule dans votre table de données, qui correspond à l'équation moyenne de vos K modèles (dans mon cas, l'équation/modèle moyen de mes 5 modèles croisés individuels) :
Vous pouvez ensuite comparer une fois de plus les performances de vos K modèles individuels et de votre modèle moyen en utilisant la même plateforme de comparaison de modèles.
Notez que cette approche peut s'avérer difficile à mettre en œuvre si vous disposez d'un grand nombre de plis et/ou si les modèles utilisés sont complexes (comme les réseaux de neurones). Pour les modèles simples comme les modèles de régression et les modèles de base du Machine Learning (arbres de décision, SVM, kNN, etc.), cette approche permet d'éviter le surapprentissage et de garantir la robustesse et les propriétés de généralisation, sans perte de données lors de la validation.
Vous pouvez en savoir plus sur la validation croisée dans les articles suivants :
VALIDATION CROISÉE - MÉTHODE DE LA COLONNE DE VALIDATION
r2 k-fold
Je recommande également vivement la playlist « Making Friends with Machine Learning » de Cassie Kozyrkov pour en savoir plus sur l'entraînement, la validation et les tests des modèles : Se faire des amis grâce à l'apprentissage automatique - YouTube
J'espère que cette réponse vous aidera et répondra à vos questions,
Re : validation croisée à l'aide de la qualité d'ajustement k-foldMerci ! Vos idées étaient parfaitement adaptées à ma stratégie d'apprentissage automatique.
Re : validation croisée à l'aide de la qualité d'ajustement k-foldPour compléter mon analyse, si j'utilise un modèle moyen à partir d'un modèle à K plis, comme décrit ci-dessus, j'aimerais examiner l'importance de chaque variable indépendante du modèle. J'utiliserais généralement un VIF. Pourriez-vous m'indiquer comment procéder avec la formule de la moyenne ?
Merci.
Re : validation croisée à l'aide de la qualité d'ajustement k-foldSalut @daniel_s
Je ne suis pas sûr de vous suivre, les valeurs VIF sont utiles pour évaluer le degré de colinéarité entre vos variables, mais elles ne reflètent pas l'importance de ces variables sur la réponse.
Vous pouvez comparer les estimations des paramètres à partir de la formule du modèle moyen pour comparer l’importance des facteurs.
Vous pouvez également charger la formule moyenne dans le Profileur (disponible dans le menu Graphique, cochez « Développer la formule intermédiaire » pour vous assurer que votre réponse sera liée à vos prédicteurs d'origine), et utiliser l'option « Évaluer l'importance des variables » pour calculer les importances des variables (en termes d'effets principaux et d'effets totaux) en fonction des indices de Sobol.
J'espère que cette réponse vous aidera,
Re : validation croisée à l'aide de la qualité d'ajustement k-foldMerci ! J’ai encore beaucoup à apprendre, et votre réponse me donne l’occasion de continuer.
