Réaménagement d'une régression de lasso à pénalité uniqueScénario : j'utilise des données de validation pour ajuster ma pénalité de lasso et je souhaite maintenant réajuster toutes mes données (formation + validation) en spécifiant ce terme de pénalité optimisé.
Je ne vois pas comment faire cela dans la plateforme de régression généralisée. Que recommande-t-on ici ?
Modélisation prédictive et apprentissage automatiqueRe : Remonter une régression lasso à simple pénalitéLaisse-moi réessayer. Lasso/Ridge/Elastic Net sont des méthodes de régression pénalisées qui ajustent un modèle linéaire aux données en minimisant la somme des résidus au carré plus un terme de pénalité proportionnel à une fonction des grandeurs des coefficients de régression. Le comportement de JMP consiste à ajuster une série de modèles où le poids du terme de pénalité varie sur une grille et la pénalité optimale est sélectionnée par un critère choisi.
Ma question est la suivante : si je sais quel poids de pénalité je veux utiliser, existe-t-il un moyen d'adapter directement de nouvelles données à ce poids de pénalité ? Cela peut être utile si je souhaite ajuster un ensemble de données plus important avec une pénalité que j'ai précédemment déterminée et que je ne souhaite pas optimiser à nouveau ce poids de pénalité. Il verrait que cela serait possible en définissant le nombre de points de grille sur 1 et en spécifiant une "fraction de pénalité minimale" basée sur le poids de pénalité souhaité, mais cela ne fonctionne pas (la taille de grille de 1 n'est pas acceptée) et comment convertir la pénalité lambda en "fraction de pénalité minimale" n'est pas clair dans la documentation.
Re : Remonter une régression lasso à simple pénalitéEssentiellement, il semble que vous demandiez de noter des observations à l'aide du modèle que vous avez choisi. L'enregistrement de la formule de prédiction comme DS mentionné vous montrera les prédictions pour toutes les observations, à la fois les ensembles d'apprentissage et de validation. Si vous souhaitez noter de NOUVELLES observations, vous devez publier votre formule de prédiction dans Formula Depot. Ensuite, lorsque vous ouvrez votre nouvelle table de données, vous pouvez exécuter le script de formule sur la nouvelle table. Cela marquera toutes les nouvelles observations.
Vous pouvez également couper la formule de prédiction de votre table de données et la coller dans une nouvelle colonne de formules de la nouvelle table.
Re : Remonter une régression lasso à simple pénalitéLe scénario qui m'intéresse est celui où j'utilise une partition de données fixe (colonne de validation) et j'ai exécuté une régression pénalisée (indépendamment du lasso, de la crête ou du filet élastique). Ceux-ci me donnent un chemin de solution et un modèle optimisé basé sur la log-vraisemblance à l'échelle des données de validation. Le paramètre de réglage renvoyé peut être utilisé pour ajuster (rapidement) un modèle mis à jour à l'aide de données d'apprentissage supplémentaires à une valeur prédéfinie du paramètre de réglage. Existe-t-il un moyen d'exécuter un lasso (ou une crête ou un filet élastique) sans générer un chemin de solution complet ?
Re : Remonter une régression lasso à simple pénalitéSalut @Mittman ,
Bien que je ne sois pas sûr de l'algorithme sous-jacent réel, il n'y a qu'un réglage très limité effectué sur la modélisation Lasso par la pénalisation L1. C'est assez bon pour réduire les facteurs sans importance, mais ce n'est pas si génial si vous avez une multicolinéarité entre les facteurs et la réponse. Il ne faut pas oublier que lorsque vous utilisez la validation croisée (à l'aide de la colonne de validation), l'algorithme l'utilise pour commencer à minimiser les estimations des facteurs. Cela aide l'algorithme à conduire les facteurs sans importance à 0 et simplifie le modèle. Si vous réexécutez (même en utilisant le même type d'espacement/d'espacement de grille et la même fraction de pénalité), vous vous retrouverez avec un modèle différent car il utilisera une méthode de validation différente pour simplifier le modèle. Si vous souhaitez comparer des modèles adaptés à votre colonne de validation par rapport à ceux utilisant AICc ou K-fold, avec chaque modèle que vous générez, vous pouvez accéder au bouton rouge à côté de l'ajustement et sélectionner Enregistrer les colonnes > Enregistrer la formule de prédiction. Vous pouvez ensuite comparer la façon dont différents modèles correspondent à la réponse, par exemple sous la plate-forme de comparaison de modèles.
Quelques autres pensées :
1. Vous pourriez envisager de faire l'Elastic Net car il combine les méthodes pénalisées L1 (Lasso) et L2 (Ridge). Un peu le meilleur des deux mondes.
2. Vous voudrez peut-être exécuter des bootstrap ou des simulations sur les estimations des facteurs pour déterminer leur ampleur et s'ils sont vraiment importants ou non. Assurez-vous de comparer l'ampleur de l'erreur standard de l'estimation pour voir si l'erreur est supérieure à l'estimation elle-même.
3. Si vous travaillez sur la création de modèles, nous vous conseillons de parcourir d'autres plates-formes de modélisation dans JMP pour déterminer le modèle qui convient le mieux. Il se peut qu'un modèle KNN ou SVM ou NN surpasse les autres modèles en termes de capacité prédictive. Assurez-vous de regarder certaines des autres plates-formes de modélisation comme SLS, GenLinReg, etc. Vous ne savez jamais quel modèle finira par surpasser les autres.
4. Si vous utilisez une colonne de validation pour la validation croisée, vous pouvez envisager la façon dont vous partitionnez les données en formation et validation, car cela peut affecter les performances du modèle.
5. Si vos données proviennent d'un DOE et que vous utilisez la plateforme GenReg, en règle générale, il est préférable de vous limiter aux cinq premières méthodes d'estimation de la plateforme GenReg.
J'espère que cela t'aides!,
DS
