Scénario : J'utilise des données de validation pour ajuster ma pénalité au lasso et je souhaite maintenant réajuster toutes mes données (entraînement + validation) en spécifiant ce terme de pénalité optimisé.
Je ne vois de toute façon pas faire cela dans la plate-forme de régression généralisée. Qu'est-ce qui est recommandé ici?
salut @Mittman ,
Bien que je ne sois pas sûr de l'algorithme sous-jacent réel, il n'y a qu'un réglage très limité effectué sur la modélisation Lasso par la pénalisation L1. C'est assez bon pour réduire les facteurs sans importance, mais ce n'est pas si génial si vous avez une multicolinéarité entre les facteurs et la réponse. Il ne faut pas oublier que lorsque vous utilisez la validation croisée (à l'aide de la colonne de validation), l'algorithme l'utilise pour commencer à minimiser les estimations des facteurs. Cela aide l'algorithme à conduire les facteurs sans importance à 0 et simplifie le modèle. Si vous réexécutez (même en utilisant le même type d'espacement/d'espacement de grille et la même fraction de pénalité), vous vous retrouverez avec un modèle différent car il utilisera une méthode de validation différente pour simplifier le modèle. Si vous souhaitez comparer des modèles adaptés à votre colonne de validation par rapport à ceux utilisant AICc ou K-fold, avec chaque modèle que vous générez, vous pouvez accéder au bouton rouge à côté de l'ajustement et sélectionner Enregistrer les colonnes > Enregistrer la formule de prédiction. Vous pouvez ensuite comparer la façon dont différents modèles correspondent à la réponse, par exemple sous la plate-forme de comparaison de modèles.
Quelques autres pensées :
1. Vous pourriez envisager de faire l'Elastic Net car il combine les méthodes pénalisées L1 (Lasso) et L2 (Ridge). Un peu le meilleur des deux mondes.
2. Vous voudrez peut-être exécuter des bootstrap ou des simulations sur les estimations des facteurs pour déterminer leur ampleur et s'ils sont vraiment importants ou non. Assurez-vous de comparer l'ampleur de l'erreur standard de l'estimation pour voir si l'erreur est supérieure à l'estimation elle-même.
3. Si vous travaillez sur la création de modèles, il est conseillé de parcourir d'autres plates-formes de modélisation dans JMP pour voir quel modèle convient le mieux. Il se peut qu'un modèle KNN ou SVM ou NN surpasse les autres modèles en termes de capacité prédictive. Assurez-vous de regarder certaines des autres plates-formes de modélisation comme SLS, GenLinReg, etc. Vous ne savez jamais quel modèle finira par surpasser les autres.
4. Si vous utilisez une colonne de validation pour la validation croisée, vous pouvez réfléchir à la façon dont vous partitionnez les données en formation et validation, car cela peut affecter les performances du modèle.
5. Si vos données proviennent d'un DOE et que vous utilisez la plateforme GenReg, en règle générale, il est préférable de vous limiter aux cinq premières méthodes d'estimation de la plateforme GenReg.
J'espère que cela t'aides!,
DS
Le scénario qui m'intéresse est celui où j'utilise une partition de données fixe (colonne de validation) et j'ai exécuté une régression pénalisée (indépendamment du lasso, de la crête ou du filet élastique). Ceux-ci me donnent un chemin de solution et un modèle optimisé basé sur la log-vraisemblance à l'échelle des données de validation. Le paramètre de réglage renvoyé peut être utilisé pour ajuster (rapidement) un modèle mis à jour à l'aide de données d'apprentissage supplémentaires à une valeur prédéfinie du paramètre de réglage. Existe-t-il un moyen d'exécuter un lasso (ou une crête ou un filet élastique) sans générer un chemin de solution complet ?
