Détails de la singularité du lassoJ'applique le lasso à une matrice de conception qui présente quelques problèmes de singularité.Il y a quelques colonnes qui sont des combinaisons linéaires d'autres colonnes.J'ai exécuté le lasso dans deux cas.Le premier je laisse juste le lasso représenter les singularités.Le deuxième cas est celui où je supprime les deux colonnes qui génèrent les singularités.Les modèles sont un peu différents.L'autre chose qui se produit est que lorsque je lance le lasso avec la matrice de rang de colonne complète, il effectue automatiquement une régression logistique et je dois faire une étape supplémentaire pour qu'il fasse du lasso.Existe-t-il un protocole général pour supprimer les singularités si elles sont évidentes ?
Re : Détails de la singularité du lassoMerci Marc,
La matrice de conception a été fournie dans le cadre d'un projet sous la forme d'un ensemble de fonctionnalités de boîte noire à partir desquelles nous sommes censés voir si nous pouvons utiliser une sorte d'apprentissage automatique pour prédire une réponse binaire.Les colonnes de X sont un vidage de données de toutes les données collectées et sont utilisées de manière très complexe pour générer la réponse et les colonnes ont une structure de corrélation très complexe. Dans certains cas, les colonnes sont soit redondantes, soit en parfaite colinéarité avec les autres colonnes.Donc, pour votre point, je ne les ajouterais jamais intentionnellement.Cependant, j'imagine que les gens reçoivent souvent des matrices de conception larges et laissent simplement le lasso s'occuper de la colinéarité.Je préfère enquêter et supprimer les redondances évidentes avec l'avantage supplémentaire que je peux au moins inclure la régression logistique vanille comme l'un des choix d'apprentissage automatique.BTW, j'ai maintenant JMP Pro et c'est génial !
Re : Détails de la singularité du lassoPourquoi entreriez-vous une variable connue pour être une combinaison linéaire d'autres variables utilisées dans le modèle ?Vous attendriez-vous à ce que les modèles soient les mêmes ?
Quel est le type de modélisation de votre variable de réponse ? S'il est catégorique, JMP essaie de vous aider et sélectionne la régression logistique. Mais vous pouvez ignorer ce comportement, comme vous l'avez découvert.
