GenReg para el problema de selección de variablesUno de mis clientes usa GenReg para la selección de variables y ha estado experimentando con Lasso y Elastic Net.
Su modelo tiene 14 efectos principales, con sus términos cuadráticos y de interacción asociados (muchas variables para examinar).
Después de ejecutar Lasso o Elastic Net, el modelo final creado contiene todos los términos sin ningún término puesto a cero.El resultado es extraño, especialmente teniendo en cuenta que cuando ejecutan el mismo análisis utilizando paso a paso, se omiten términos del modelo.
¿Alguien se ha encontrado con este tipo de comportamiento antes al usar Lasso o Elastic Net?
Re: GenReg para el problema de selección de variablesGracias a todos por sus sugerencias. Después de una sesión de depuración con el cliente y @jiancao finalmente pudimos dar sentido a su problema, que estaba relacionado en gran medida con el uso de demasiados datos (250 000 filas) para entrenar el modelo. Las características únicas y el volumen de datos llevaron el error del modelo a niveles muy pequeños, lo que luego creó la situación en la que cada término comenzó a mostrar cierto nivel de importancia (ningún término se puso a cero).
Mediante el uso de un conjunto de datos más pequeño e igualmente representativo (15 000 filas), pudimos hacer que Lasso y Elastic-Net realizaran una selección de variables y crearan un modelo útil para su aplicación.
Re: GenReg para el problema de selección de variablesHola Nick,
aunque probablemente hayan pensado detenidamente en la validación, ¿es bueno hacerlo en sus datos con validación aleatoria? Pueden tener valores categóricos en los que es posible que desee estratificar la validación probablemente por uno de esos valores categóricos.
Lo siguiente es probar como Pete sugirió la selección hacia adelante en GenReg para ver si esto hace una diferencia para Lasso en la selección de variables. Puede que también desee utilizar lazo de dos etapas y selección hacia adelante de dos etapas.
¿Cómo se ve la ruta de la solución, hay efectos de modelo que se reducen a cero (simplemente no llegan a 0) o no hay ninguno (más líneas horizontales)?
Finalmente, ¿puede pedirle al cliente que verifique la ejecución de Bootstrap Forest varias veces y verifique si las variables siguen siendo importantes, o si algunas de ellas alguna vez fueron importantes, la otra no se ejecutó? Por lo tanto, el orden no es consistente (los cambios pequeños dentro de los primeros están bien, pero los cambios grandes son críticos). Esto le indicará que algo está sucediendo en los datos que debe descubrirse antes de continuar con el modelado.
Por último, pero no menos importante, ¿estás usando el lazo adaptativo o no? Cuando sus datos son altamente colineales (BF los vería cambiando órdenes como locos;) ), es posible que las versiones adaptativas de Lasso y Elastic Net no proporcionen buenas soluciones. Esto se debe a que las versiones adaptativas suponen que el MLE proporciona una buena estimación. Desmarque la opción Adaptable en tales casos.
Mejor,
Martín
Re: GenReg para el problema de selección de variablesHola Nick,
¿Han probado la selección hacia adelante o la eliminación hacia atrás de GenReg?Si estuvieran viendo variables eliminadas paso a paso, deberían ver que eso suceda en GenReg.
¿El modelo incluye efectos con valores p altos?
Otra cosa que deben verificar en Elastic Net es Elatic Net Alpha, si eso está más cerca de 0 en lugar de 1, funcionará más como una regresión de cresta y en realidad no realizará una selección de variables.En cuanto a un Lazo, solo verificaría para asegurarme de que no obligaron a incluir términos en los controles avanzados.
Re: GenReg para el problema de selección de variables150K filas
Re: GenReg para el problema de selección de variables¿Cuántas filas?Re: GenReg para el problema de selección de variablesSí, están usando una columna de validación.
Re: GenReg para el problema de selección de variables¿Están realizando una validación cruzada en Genreg?
