285927_es-ES

liliconcom

Selección de variables y bosque Bootstrap

Hola,

Realicé un análisis de bosque Bootstrap con un resultado categórico con 230 características, muchas de ellas están altamente correlacionadas. Hay una gran diferencia en el rendimiento entre mi entrenamiento (AUC 0,98) y mi conjunto de validación (0,68). Dado que los datos son altamente dimensionales y muchas de las variables están correlacionadas, es necesaria una reducción de variables. ¿Puedo utilizar GenReg con Lasso u otras técnicas penalizadas para este fin? Mis datos no están realmente distribuidos normalmente. Ésta es una de las razones por las que preferí utilizar un modelo de árbol.

Gracias de antemano,

Lu

 

 

Modelado predictivo y aprendizaje automáticoRe: Selección de variables y bosque Bootstrap

Para mí, tener 1050 cajas y 230 funciones es una invitación al sobreajuste.Su dramática diferencia entre el rendimiento en los datos de entrenamiento y validación coincide con lo que esperaría de un sobreajuste.En mi experiencia, la configuración predeterminada en las plataformas modelo de JMP generalmente hace un buen trabajo para evitar el problema, pero quizás sus datos sean un caso extremo.Puede intentar forzar los modelos de árbol de manera que se evite un ajuste excesivo (por ejemplo, puede aumentar el tamaño mínimo de división para forzar un árbol más simple).Al final, creo que necesitarás reducir el conjunto de características de una forma u otra (la clave es encontrar las características que probablemente sean las más importantes) y tener cierta confianza en que tienes el conjunto correcto (correlaciones entre las 230 funciones podrían hacerlo difícil).También puede probar algún análisis de componentes principales para reducir la cantidad de funciones.

Re: Selección de variables y bosque Bootstrap

@Lu : Cuando hablé de estratificar la respuesta en los niveles de la respuesta categórica, no me refería a las divisiones porcentuales para el tamaño de los conjuntos de datos de entrenamiento, validación y prueba. Lo que recomiendo es que seleccione la columna de respuesta como columna de estratificación y luego, en la ventana 'Seleccionar método', seleccione "Columna de validación estratificada". Esto obliga a acercarse lo más posible a una proporción igual de cada nivel de la respuesta categórica dentro de los conjuntos de entrenamiento, validación y, opcionalmente, de prueba. A veces, los gremlins de la selección aleatoria pura crearán un DESEQUILIBRIO significativo en los niveles de la respuesta, lo que hará que la validación del modelo sea potencialmente más difícil. Aquí hay más documentación:

 

https://www.jmp.com/support/help/en/15.2/#page/jmp/launch-the-make-validation-column-platform.shtml

 

En cuanto a las ventajas de los mínimos cuadrados parciales, bueno, no estoy seguro de que haya ventajas claras. Pero una cosa en la que PLS es MUY bueno es en la creación de variables latentes para sus predictores multicolineales, que a su vez pueden usarse con fines de modelado. Por lo tanto, es simplemente un tratamiento matemático diferente de los predictores en comparación con Lasso, Elastic Net o cualquiera de los métodos basados en árboles. Consulte la documentación de JMP para este enfoque:

 

https://www.jmp.com/support/help/en/15.2/#page/jmp/partial-least-squares-models.shtml

 

Mi recomendación general es probar muchos métodos de modelado diferentes...tanto el tipo lineal como el no lineal, incluidos los mencionados por @Mark_Bailey y luego exporte los resultados de cada modelo a las plataformas Formula Depot o Model Comparison y vea qué modelo funciona mejor.

 

No existe ningún método que se adapte a todos los problemas. Pruebe muchos y espere que pueda encontrar algo que funcione.

Re: Selección de variables y bosque Bootstrap

También puede utilizar la plataforma Predictor Screening. Utiliza un bosque de arranque para recopilar las contribuciones de las variables, que se pueden utilizar para seleccionar variables para un modelo. El bosque bootstrap debería evitar la colinealidad en su mayor parte.

Re: Selección de variables y bosque Bootstrap

Gracias por la respuesta,

El tamaño del conjunto de datos es de 1050 casos con 1 Y categórica (ligeramente desequilibrada 45/55). Las 230 características que mencioné son variables (X), no la respuesta. Algunos de ellos son categóricos, la mayoría numéricos. Utilicé el método estratificado de entrenamiento/validación/prueba (60/20/20) para el entrenamiento y validación del modelo.

¿Cuál es la ventaja de PLS en comparación con Lasso y Elastic Net?

 

Saludos,

 

Lu

Re: Selección de variables y bosque Bootstrap

Los métodos Lasso y Elastic Net pueden resultar útiles cuando existe multicolinealidad entre las variables predictoras. Lo que no me queda 100% claro es cuando dices "...230 funciones...", ¿son estos niveles categóricos de la respuesta? ¿O su conjunto de variables predictivas?

 

Es posible que desee leer la documentación de JMP Pro sobre estos métodos:

 

https://www.jmp.com/support/help/en/15.2/#page/jmp/overview-of-the-generalized-regression-personality.shtml#ww349714

 

Quizás también quieras probar los mínimos cuadrados parciales.

 

No mencionas el tamaño de tu conjunto de datos. Con una respuesta categórica, a veces un pequeño conjunto de datos puede ser muy sensible a la estructura de los conjuntos de datos de entrenamiento, validación y, opcionalmente, de prueba. ¿Estratificó cada uno según los niveles de respuesta? Esta es una mejor práctica generalmente reconocida para crear conjuntos de datos de capacitación, validación y prueba.