¿JMP Pro "Bootstrap Forest" frente a Python "lightgbm"?from lightgbm import LGBMRegressor
¡Gracias, expertos!
Automatización y scriptingWindowsRe: JMP Pro "Bootstrap Forest" VS python "lightgbm"?Hola @lala ,
¿Cuál es la pregunta exactamente? Estos dos algoritmos son modelos basados en árboles, pero Random Forest (también llamado Bootstrap Forest en JMP Pro) es un tipo de modelo de "bagging" (agregación bootstrap) y LightGBM un tipo de modelo de boosting.
Esto significa que Random Forest consta de varios árboles que se entrenan en paralelo con diversos conjuntos de datos. Estos conjuntos de datos son similares pero diferentes, y se crean mediante el método bootstrap (muestreo con reemplazo del conjunto de datos original para crear los conjuntos de datos bootstrap). Esta operación permite tener conjuntos de datos similares pero diferentes, lo que ayuda a los árboles a aprender patrones ligeramente distintos. Una vez entrenados estos árboles, el resultado final de la predicción es el promedio de las predicciones de cada árbol (para regresión) o la clase más probable según los árboles (para clasificación).
Imagen de https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Random Forest también cuenta con un proceso de selección de características aleatorias en cada división, lo que lo hace muy bueno para manejar la multicolinealidad y permite la creación de árboles más diversos (al tiempo que reduce el riesgo de sobreajuste).
Por el contrario, los árboles potenciados se entrenan secuencialmente: se comienza con un árbol simple, se evalúa el residuo de este modelo y, en un segundo modelo, se utilizan estos residuos para entrenar el segundo árbol, donde los residuos son más altos, con el fin de mejorar el rendimiento predictivo del conjunto de árboles. De esta forma, cada árbol intenta corregir los problemas de predicción del árbol anterior. Al final de la cadena de árboles, se obtiene el resultado de la predicción (clase o valor, según la tarea).
Imagen de https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Por lo tanto, el modo de entrenamiento (paralelo frente a secuencial) es la mayor diferencia entre los dos algoritmos que mencionas:
La particularidad de LightGBM en comparación con otros modelos de boosting basados en árboles es el método de crecimiento del árbol, que es un crecimiento hoja por hoja, en comparación con XGBoost u otros modelos de boosting que hacen crecer el árbol nivel por nivel: eso significa que no se puede desarrollar un nodo más si el árbol no está "equilibrado".
La elección de estos modelos depende de la tarea y del equilibrio entre sesgo y varianza: los algoritmos de bagging como Random Forest reducen la varianza (sobreajuste), mientras que los modelos de boosting como Boosted Trees reducen el sesgo.
Espero que esta respuesta te ayude.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?¡Gracias, experto!
Suelo usar la función Partition de JSL porque su fórmula de predicción es simple y fácil de entender.
Básicamente cumple con los requisitos.
Aprendí haciendo preguntas a la IA.
Sabiendo que la función lightgbm de Python también es muy potente, pero la IA solo dice que es un bosque aleatorio.
Lo ejecuto a través del código Python proporcionado por la IA y utilizando llamadas JSL.
Tras realizar análisis estadísticos, su efecto es superior al del bosque aleatorio de JMP Pro.
Por supuesto, tampoco ajustaré demasiado los parámetros.Una simple comparación.
La IA afirmó que la fórmula de predicción generada por Bootstrap Forest en JMP Pro 19 ha mejorado significativamente.
Pero no pude usar JMP Pro 19
¡Gracias!
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?JMP Partition es un árbol de decisión (la base/núcleo de cualquier método basado en árboles como LightGBM o Random Forest).
Ten cuidado con las respuestas de la IA. No sé cuál usas, pero en temas muy específicos y técnicos pueden ser muy propensas a generar alucinaciones. Suelo usar Gemini (de Google) cuando quiero profundizar en un tema técnico, ya que me parece la más interesante, pero aun así, a veces tengo algunas alucinaciones.
Claramente, LightGBM NO es un Random Forest, sino un algoritmo Boosted Tree (ver la descripción de la diferencia entre los dos tipos en mi publicación inicial).
Recomendaría leer la documentación técnica sobre LightGBM para obtener más información: https://github.com/Microsoft/LightGBM y https://lightgbm.readthedocs.io/en/stable/index.html
Y el artículo relacionado LightGBM: Un árbol de decisión de potenciación de gradiente altamente eficiente .
El efecto de mejora que observas podría deberse al uso de boosting, que tiende a proporcionar mejores predicciones (ya que los árboles secuenciales intentan minimizar los errores de los árboles anteriores, lo que resulta en un conjunto de alta precisión), al reducir el sesgo. Sin embargo, necesitas una estrategia de validación robusta para evitar el sobreajuste, puesto que reducir el sesgo puede aumentar la varianza: compensación entre sesgo y varianza - Wikipedia . Al tener un algoritmo muy preciso que aprende patrones muy específicos, podrías terminar ajustándote al ruido y obteniendo predicciones inconsistentes al implementar el modelo y usarlo con datos nuevos no vistos.
Una diferencia importante entre los métodos Random Forest y Boosted Tree radica en la sensibilidad al ajuste de hiperparámetros: Random Forest es muy robusto ante dicho ajuste y ofrece buenos resultados sin necesidad de él, mientras que Boosted Tree puede requerir un mayor esfuerzo en el ajuste de hiperparámetros para obtener un mejor rendimiento. Para más información y una comparación de la importancia del ajuste de hiperparámetros en el rendimiento de diferentes algoritmos, consulte [1802.09596] Tunability: Importance of Hyperparameters of Machine Learning Algorithms.
Para comprobar cómo realizar el ajuste de hiperparámetros en JMP, puede consultar algunas publicaciones relacionadas como Boosted Tree - Ajuste del DISEÑO DE TABLAS .
Espero que esta respuesta complementaria te ayude.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?¡Gracias, expertos!
Bueno, hago esta pregunta sobre Gemini 2.5 Pro.
Afirma que lightgbm supera con creces a JMP.
Cuando tengo dudas sobre programación, siempre uso el modo experto de grok4. Es muy inteligente y busca información en línea para responderlas. Pero el número de veces que se puede usar gratis al día es limitado, así que aprovecho al máximo la oportunidad.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?Ayer se actualizó grok4.1. En cambio, tengo la sensación de que su ilusión de IA se ha reforzado.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?Jaja, no esperes que una IA lo sepa todo, y menos aún sobre casos de uso específicos. No sabe nada, y solo muestra la secuencia de palabras más probable que se ajuste a tu consulta. No tiene criterio de correcto o falso, solo similitud/probabilidad basada en su conjunto de datos de entrenamiento, que incluye tanto lo correcto como lo incorrecto.
Decir que " LightGBM supera con creces a JMP " no tiene sentido, ya que compara un algoritmo específico (LightGBM) con un software comercial (JMP) que admite varios algoritmos de aprendizaje automático. Esto es completamente absurdo.
Además, tenga cuidado con afirmaciones generales como «El modelo A siempre es mejor que el modelo B». Este tipo de afirmaciones deben recibirse con escepticismo. Dichas afirmaciones generales no se basan en datos, sino en otros motivos, o bien, en el mejor de los casos, se fundamentan en estudios comparativos. Sin embargo, estos estudios y conjuntos de datos podrían no reflejar su situación y datos particulares, por lo que su clasificación podría no ser apropiada ni relevante para su caso.
Dependiendo del conjunto de datos, los objetivos, la precisión requerida y el despliegue, entre otros, puede ser preferible un algoritmo u otro. Para una respuesta con mucho ruido, confiaría más en el resultado de Random Forest que en el de Boosted Tree, ya que el riesgo de sobreajuste es mayor con este último. Con mediciones precisas y con poco ruido, y si mi conjunto de datos es lo suficientemente grande como para dividirlo en conjuntos representativos de entrenamiento, validación y prueba, entonces podría usar Boosted Tree en lugar de Random Forest si deseo obtener mejores resultados predictivos.
Probar y aprender parece la opción más segura y la mejor.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?¡Gracias!
¿Puedo preguntar, una vez entrenado el Bootstrap Forest de JMP Pro, cómo se puede utilizar para el cálculo de predicciones sobre los nuevos datos que se necesitan predecir?
Tomemos como ejemplo datos de series temporales.
Al escribir código, insisto en utilizar el modelo experto grok4.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?Hola @lala ,
No estoy familiarizado con la predicción de series temporales, pero el modelo Bootstrap Forest se puede usar como cualquier otro: en el triángulo rojo junto a la plataforma Bootstrap, haga clic en Guardar columnas > Guardar fórmula de predicción. Aparecerá una nueva columna con la fórmula de Bootstrap Forest en su tabla de datos.
Luego, si desea predecir resultados en otra tabla de datos, puede copiar y pegar esta columna de fórmula de predicción de su tabla de datos original a la nueva. Asegúrese de que las variables de entrada tengan los mismos nombres para que la fórmula se pueda calcular sin problemas.
Espero que esto te ayude.
