Sélection de variables et forêt BootstrapBonjour,
J'ai effectué une analyse forestière Bootstrap avec un résultat catégorique avec 230 fonctionnalités, dont beaucoup sont hautement corrélées. Il y a une énorme différence de performance entre ma formation (AUC 0,98) et mon ensemble de validation (0,68). Étant donné que les données sont hautement dimensionnelles et que de nombreuses variables sont corrélées, une réduction des variables est nécessaire. Puis-je utiliser GenReg avec Lasso ou d’autres techniques pénalisées à cette fin ?. Mes données ne sont pas vraiment distribuées normalement. C'est l'une des raisons pour lesquelles j'ai préféré utiliser un modèle Tree.
Merci d'avance,
Lu
Modélisation prédictive et apprentissage automatiqueRe : Sélection de variables et forêt BootstrapPour moi, avoir 1 050 boîtiers et 230 fonctionnalités est une invitation au surajustement.Votre différence spectaculaire entre les performances sur les données de formation et de validation correspond à ce que j'attendrais d'un surajustement.D'après mon expérience, les paramètres par défaut des plates-formes de modèles JMP permettent généralement d'éviter le problème, mais vos données constituent peut-être un cas extrême.Vous pouvez essayer de forcer les modèles d'arbre de manière à éviter un ajustement excessif (par exemple, vous pouvez augmenter la taille minimale de division pour forcer un arbre plus simple).En fin de compte, je pense que vous devrez réduire l'ensemble des fonctionnalités d'une manière ou d'une autre - la clé est de trouver les fonctionnalités qui sont susceptibles d'être les plus importantes - et d'être sûr que vous disposez du bon ensemble (corrélations entre les 230 fonctionnalités pourraient rendre cela difficile).Vous pouvez également essayer une analyse des composants principaux pour réduire le nombre de fonctionnalités.
Re : Sélection de variables et forêt Bootstrap@Lu : Lorsque j'ai parlé de stratifier la réponse à travers les niveaux de réponse catégorique, je ne faisais pas référence aux pourcentages de répartition pour la taille des ensembles de données de formation, de validation et de test. Ce que je recommande, c'est lorsque vous sélectionnez la colonne de réponse comme colonne de stratification, puis sous la fenêtre « Sélectionner la méthode », sélectionnez « Colonne de validation stratifiée ». Cela force à se rapprocher le plus possible d'une proportion égale de chaque niveau de réponse catégorielle dans les ensembles de formation, de validation et, éventuellement, de test. Parfois, les gremlins de la sélection aléatoire pure créeront un DÉSÉQUILIBRE significatif dans les niveaux de la réponse, ce qui rendra la validation du modèle potentiellement plus difficile. Voici un peu plus de documentation :
https://www.jmp.com/support/help/en/15.2/#page/jmp/launch-the-make-validation-column-platform.shtml
En ce qui concerne les moindres carrés partiels, les avantages, eh bien, je ne suis pas sûr qu'il y ait des avantages évidents. Mais une chose pour laquelle PLS est TRÈS doué, c'est la création de variables latentes pour vos prédicteurs multicolinéaires, qui peuvent à leur tour être utilisées à des fins de modélisation. Il s'agit donc simplement d'un traitement mathématique différent des prédicteurs par rapport à Lasso, Elastic Net ou à l'une des méthodes basées sur les arbres. Consultez la documentation JMP pour cette approche :
https://www.jmp.com/support/help/en/15.2/#page/jmp/partial-least-squares-models.shtml
Ma recommandation générale est d'essayer de nombreuses méthodes de modélisation différentes... à la fois linéaires et non linéaires, y compris celles mentionnées par @Mark_Bailey , puis exportez les résultats de chaque modèle vers les plateformes Formula Depot ou Model Comparison et voyez quel modèle fonctionne le mieux.
Il n’existe pas de méthode unique adaptée à tous les problèmes. Alors essayez-en plusieurs et j’espère que vous trouverez quelque chose qui fonctionne.
Re : Sélection de variables et forêt BootstrapVous pouvez également utiliser la plateforme Predictor Screening. Il utilise une forêt d'amorçage pour collecter les contributions variables, qui peuvent être utilisées pour sélectionner des variables pour un modèle. La forêt bootstrap devrait éviter en grande partie la colinéarité.
Re : Sélection de variables et forêt BootstrapMerci pour la réponse,
La taille de l'ensemble de données est de 1050 cas avec 1 Y catégorique (légèrement déséquilibré 45/55). Les 230 caractéristiques que j'ai mentionnées sont des variables (X), pas la réponse. Certains d’entre eux sont catégoriques, la plupart numériques. J'ai utilisé la méthode stratifiée Formation/validation/test (60/20/20) pour la formation et la validation des modèles.
Quel est l’avantage du PLS par rapport au Lasso et Elastic Net ?
Salutations,
Lu
Re : Sélection de variables et forêt BootstrapLes méthodes Lasso et Elastic Net peuvent être utiles en cas de multicolinéarité entre les variables prédictives. Ce qui n'est pas clair à 100 % pour moi, c'est lorsque vous dites : "...230 fonctionnalités...", s'agit-il de niveaux de réponse catégoriques ? Ou votre ensemble de variables prédictives ?
Vous souhaiterez peut-être lire la documentation de JMP Pro concernant ces méthodes :
https://www.jmp.com/support/help/en/15.2/#page/jmp/overview-of-the-generalized-regression-personality.shtml#ww349714
Vous pouvez également essayer les moindres carrés partiels.
Vous ne mentionnez pas la taille de votre ensemble de données. Avec une réponse catégorique, un petit ensemble de données peut parfois être très sensible à la structure des ensembles de données de formation, de validation et, éventuellement, de test. Avez-vous stratifié chacun selon les niveaux de réponse ? Il s'agit d'une bonne pratique généralement reconnue pour la création d'ensembles de données de formation, de validation et de test.
