Variance partielle des paramètres des moindres carrésEspérons que cette question a du sens. Je fais une régression logistique avec N = 2000 observations et p = 160 covariables. Il existe une structure de corrélation évidente dans la matrice de conception et je peux le voir simplement en regardant les VIF lorsque je fais une régression logistique simple. J'ai ensuite fait du PLS et obtenu un ensemble de coefficients différent, bien qu'il en reste 160 car le PLS ne fait pas de réduction variable. Existe-t-il un endroit dans le rapport PLS pour trouver les variances du nouvel ensemble de coefficients afin de voir qu'ils sont réduits? Est-il logique que je veuille les examiner, car je pourrais échanger des biais contre la variance.
Re: Variance partielle des moindres carrésMerci Peter,
Une chose qui me préoccupe est la grande différence entre les modèles lorsque le lasso adaptatif est sélectionné. Vous pouvez voir dans le modèle adaptatif que la valeur Scaled-LogLikelihood n'a pas de minimum bien défini. Un autre problème est que vous avez modélisé Y = 0 et que vous obtenez 59 termes dans le modèle. Si vous ciblez Y = 1, vous obtenez un modèle complètement différent avec 71 termes. Je ne comprends pas ça. Sans le jeu adaptatif, peu importe que je cible 0 ou 1, les modèles sont les mêmes, sauf que les termes ont des signes différents. Puisque je trouve les résultats adaptatifs difficiles à comprendre, et encore moins à expliquer à mes clients, je reste fidèle au lasso à la vanille.
Avec le lasso à la vanille, nous pouvons obtenir des performances raisonnables dans les matrices de confusion avec un seuil de 0,1522. Je dis raisonnable en ce sens que la sensibilité et la spécificité requises sont peut-être réunies.
Cela dit, il reste encore à savoir si nous devons faire de la régularisation. Même la régression logistique à la vanille fait que les 2 AUC sont assez proches. Mais nous ne voudrions pas utiliser LR car nous savons qu'il existe une corrélation sérieuse. Donc, sans preuve significative de surajustement, je passerais à PLS afin de régler uniquement le problème de corrélation. Mais comme JMP modélise la cible de manière continue, nous n'obtenons pas toutes les matrices ROC, AUC et de confusion dans le rapport. Je peux les obtenir en appliquant le logit au prédicteur linéaire et je pense que c'est légitime ... et cela renvoie à ma question initiale sur la façon de traiter les résultats de PLS pour la comparaison de modèles lorsque les autres modèles sont basés strictement sur la transformation logit du prédicteurs linéaires.
En passant, j'apprécie énormément votre plongée dans ces questions car ma propre compréhension approfondie de ce que je fais est très importante pour moi.
J'ai inclus le même tableau de données avec quelques modèles supplémentaires.
Re: Variance partielle des moindres carrésUne technique couramment utilisée pour vérifier le surajustement lorsque vous avez suffisamment d'observations consiste à diviser le jeu de données d'origine en une formation, une validation et éventuellement un groupe de test à l'aide de la sous-plateforme Make Validation de la collection de la plateforme Predictive Modeling. Pour les problèmes de classification, il est recommandé de créer un échantillon stratifié sur le Y afin de disposer de proportions égales de tous les niveaux de réponse dans chaque groupe de formation, de validation et de test facultatif. Vous avez un déséquilibre assez important entre les niveaux 1 et 0 pour votre réponse. Donc, vous voudrez peut-être essayer quelques scénarios où la balance est plus proche de 50/50? Une fois que vous avez ajusté le modèle, examinez les courbes ROC pour chaque groupe ... si les AUC associées à chaque groupe sont raisonnablement proches ... alors il n'y a pas de preuves de surajustement. Vérifiez également les matrices de confusion ... Je suis un peu inquiète des résultats obtenus avec les ensembles de formation / validation que j'ai créés dans votre table de données d'origine ... le modèle fait un travail plutôt médiocre, classant mal les 1 réels par 0 target = 0 quelle que soit l'approche de modélisation que j'ai utilisée. Reportez-vous aux trois scripts d'analyse suivants: logistic, Gen Reg / Lasso et Neural Net dans le tableau de données ci-joint. Si cela pose un problème du point de vue pratique, votre modèle ne s’adapte PAS du tout… oubliez le surapprentissage… c’est juste un mauvais classificateur.
Re: Variance partielle des moindres carrésMerci Peter,
Dans mon cas, il s’agit vraiment de la structure de corrélation des prédicteurs. Je ne suis pas convaincu que la réduction variable soit justifiée dans mon application. En fait, c’est une question à laquelle je n’ai pas encore répondu et je cherche un moyen sûr de vérifier si un surajustement survient même lorsque j’utilise tous mes prédicteurs. J'ai N = 1839 observations avec p = 148 covariables. J'ai inclus la table. Si nous utilisons uniquement une régression régulière (traiter la sortie nominale comme continue), nous pouvons constater qu'il existe de nombreux FIV très volumineux. Nous savons donc que nous aurons également un problème lorsque nous ferons une régression logistique. Nous avons des problèmes de corrélation pour la durée, mais peut-être pas un problème de surajustement. C'est pourquoi je suis allé avec PLS. Si vous regroupez les variables, vous n’obtenez que 35 grappes, ce qui suggère qu’il n’ya que 35 caractéristiques informatives dans les 148 covariables. Alors pourquoi se concentrer sur l’élimination de l’une d’elles au lieu d’utiliser une méthode robuste à la corrélation.
Lorsque je lance la régression logistique, je n'ai qu'une AUC de 0,815. Donc, même en utilisant toutes les covariables ne me donne pas un ajustement parfait. La Commission de l'UA <1 est-elle un moyen légitime d'affirmer que la suréquipement n'est pas le problème?
Je me réjouis de vos pensées.
Re: Variance partielle des moindres carrésGène:
Vos questions ont du sens ... mais puis-je proposer une pensée alternative? Si la réduction variable est la clé de votre problème concret, avez-vous envisagé d'utiliser les sous-personnalités Lasso ou Elastic Net du modèle Fit -> personnalité / plate-forme de régression généralisée? Ces techniques sont adaptées à la multicolinéarité parmi les prédicteurs ... mais elles ont également certaines caractéristiques importantes à prendre en compte ... celles-ci sont expliquées dans la documentation JMP. Les deux peuvent être utilisés avec une réponse catégorique ... et les intervalles de confiance de l'estimation "finale" des paramètres sont rapportés directement avec le tableau des estimations de paramètres.
