Cribado de predictoresPara el cribado de predictores en JMP se utiliza el bosque de arranque; esto funciona muy bien, sin embargo, ¿por qué se elige este método y no el árbol potenciado, que también es un método muy poderoso? ¿JMP usa XGboosted?
AnalíticaRe: cribado de predictoresHola @frankderuyck ,
No soy un experto en cómo JMP realmente realiza las cosas en el back-end (la codificación precisa que se ejecuta), pero creo que se usa el bosque de arranque porque tiene dos capas de aleatorización: una es seleccionar aleatoriamente un subconjunto del factores. Por ejemplo, si tiene una columna que desea predecir y probar cuál de los 10 factores contribuye mejor a esa predicción, el enfoque de bosque de arranque seleccionará al azar un subconjunto, digamos 6 de los diez y usará un árbol de decisión para predecir mejor el resultado y luego, clasifique los factores según su contribución. La otra aleatorización es el bosque de arranque que selecciona aleatoriamente un cierto número de filas para ajustarse al modelo y luego el resto para validarlo (o simplificarlo), y lo hace con selección aleatoria y reemplazo en cada iteración. Tengo entendido que el árbol impulsado por defecto no hace esto.
En cuanto a su última pregunta, puede descargar el complemento XGBoost para JMP Pro desde el sitio web de JMP. Funciona para JMP Pro 14 y versiones posteriores, creo.
En una nota al margen, dado que parece que está trabajando con JMP Pro, es posible que desee ejecutar la plataforma GenReg y usar los diferentes algoritmos de predicción (Lasso, Elastic Net, etc.) para ver las estimaciones de coeficientes del modelo y ejecutar algunas simulaciones de arranque. ahí también. A veces, obtiene diferentes respuestas y esto puede ayudar a determinar si un factor límite es realmente importante o no. A menudo hago ambos enfoques si tengo la tarea de encontrar el mejor conjunto de predictores para un modelo.
¡Espero que esto ayude!,
DS
Re: cribado de predictores¡Gracias por esta respuesta ampliada!
Sí, creo que ejecutar tanto bootstrap como boosted es una buena idea para seleccionar predictores entre muchos candidatos.
¿Tengo razón al decir que se prefiere el bosque de arranque para las respuestas categóricas?
¿Es el método XGboosted mejor que el que se usa en jmp pro?
Re: cribado de predictoresNo estoy seguro de qué versión de JMP está utilizando, pero si tiene 16 JMP Pro, puede comparar muchas plataformas de modelado diferentes:
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
esto puede ser útil para ti!
Re: cribado de predictoresLa plataforma Predictor Screening es la plataforma Bootstrap Forest con un número mínimo (solo uno ahora: árboles numéricos) de parámetros de ajuste para especificar y solo proporciona un informe de contribuciones de columna. La magia es que la plataforma Predictor Screening ha decidido los valores predeterminados para los parámetros de ajuste restantes. La configuración sirve para encontrar predictores útiles.
Si uno quiere aplicar un árbol reforzado para el mismo propósito con un número mínimo de parámetros de ajuste, digamos un parámetro, esa es una tarea muy difícil. Por ejemplo, el árbol impulsado depende mucho más que el bosque aleatorio de la elección y el uso de un método de validación, y la elección de un método de validación es en sí misma un arte.
La plataforma Predictor Screening sirve para encontrar predictores útiles. No es un reemplazo del Bootstrap Forecast. Su modelo final no será un modelo de bosque aleatorio si solo usa Predictor Screening. Probablemente decida utilizar otros modelos utilizando los predictores encontrados por Predictor Screen. Una ventaja de utilizar Predictor Screening para encontrar predictores útiles, en lugar de utilizar métodos de selección de variables integrados en su modelo final, es que el método no se basa en suposiciones paramétricas.
Entre el bosque aleatorio y el árbol impulsado, no me he encontrado con ningún estudio que concluya su desempeño en función del tipo de variable de respuesta.
Boosted Tree es una implementación del método de aumento de gradiente. También lo es XGBoost. Y también lo son otras implementaciones, por ejemplo, LightGBM. Sus comparaciones pueden ser bastante complicadas y probablemente también subjetivas. Pero siempre es emocionante jugar con diferentes herramientas para comprender sus pros y sus contras.
