Cribado de predictoresPara la detección de predictores en el bosque de arranque JMP se utiliza; Esto funciona muy bien, sin embargo, ¿por qué se elige este método y no el árbol potenciado, que también es un método muy poderoso? ¿JMP utiliza XGboosted?
Modelado predictivo y aprendizaje automáticoRe: Detección de predictoresLa plataforma Predictor Screening es una plataforma Bootstrap Forest con un número mínimo (ahora solo uno: árboles numéricos) de parámetros de ajuste para especificar y solo proporciona un informe de contribuciones de columna. La magia es que la plataforma Predictor Screening ha decidido valores predeterminados para los parámetros de ajuste restantes. La configuración sirve para encontrar predictores útiles.
Si uno quiere aplicar un árbol potenciado para el mismo propósito con un número mínimo de parámetros de ajuste, digamos un parámetro, es una tarea muy difícil. Por ejemplo, el árbol impulsado depende mucho más que el bosque aleatorio de la elección y el uso de un método de validación, y la elección de un método de validación es en sí misma un arte.
La plataforma Predictor Screening tiene como objetivo encontrar predictores útiles. No reemplaza el pronóstico Bootstrap. Su modelo final no será un modelo de bosque aleatorio si solo usa Predictor Screening. Probablemente decida utilizar otros modelos utilizando los predictores encontrados por Predictor Screen. Una ventaja de utilizar Predictor Screening para encontrar predictores útiles, en lugar de utilizar métodos de selección de variables integrados en el modelo final, es que el método no se basa en suposiciones paramétricas.
Entre el bosque aleatorio y el árbol potenciado, no he encontrado ningún estudio que concluya su desempeño en función del tipo de variable de respuesta.
Boosted Tree es una implementación del método de aumento de gradiente. También lo es XGBoost. Y también lo son otras implementaciones, por ejemplo, LightGBM. Sus comparaciones pueden ser bastante complicadas y probablemente también subjetivas. Pero siempre es emocionante jugar con diferentes herramientas para comprender sus pros y sus contras.
Re: Detección de predictoresNo estoy seguro de qué versión de JMP estás usando, pero si tienes 16 JMP Pro, puedes comparar muchas plataformas de modelado diferentes:
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
esto puede ser útil para ti!
Re: Detección de predictores¡Gracias por esta respuesta extendida!
Sí, creo que ejecutar tanto bootstrap como boosted es una buena idea para seleccionar predictores entre muchos candidatos.
¿Tengo razón al decir que se prefiere el bosque de arranque para respuestas categóricas?
¿Es el método XGboosted mejor que el utilizado en jmp pro?
Re: Detección de predictoresHola @frankderuyck ,
No soy un experto en cómo JMP realmente realiza las cosas en el back-end (la codificación precisa que se ejecuta), pero creo que se usa el bosque de arranque porque tiene dos capas de aleatorización: una es seleccionar aleatoriamente un subconjunto del factores. Por ejemplo, si tiene una columna que desea predecir y probar cuál de los 10 factores contribuye mejor a esa predicción, el enfoque del bosque de arranque seleccionará aleatoriamente un subconjunto, digamos 6 de los diez, y utilizará un árbol de decisión para predecir mejor el resultado y luego clasifique los factores según su contribución. La otra aleatorización es que el bosque de arranque selecciona aleatoriamente una cierta cantidad de filas para ajustarse al modelo y luego el resto para validarlo (o simplificarlo), y lo hace con selección aleatoria y reemplazo en cada iteración. Tengo entendido que el árbol impulsado de forma predeterminada no hace esto.
En cuanto a su última pregunta, puede descargar el complemento XGBoost para JMP Pro desde el sitio web de JMP. Creo que funciona para JMP Pro 14 y versiones posteriores.
Como nota al margen, dado que parece que está trabajando con JMP Pro, es posible que desee ejecutar la plataforma GenReg y utilizar los diferentes algoritmos de predicción (Lasso, Elastic Net, etc.) para ver las estimaciones de los coeficientes del modelo y ejecutar algunas simulaciones de arranque. ahí también. A veces obtienes respuestas diferentes y esto puede ayudar a determinar si un factor límite es realmente importante o no. A menudo utilizo ambos enfoques si tengo la tarea de encontrar el mejor conjunto de predictores para un modelo.
¡Espero que esto ayude!,
DS
