JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?from lightgbm import LGBMRegressor
Merci aux experts !
Automatisation et scriptageWindowsRe: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Salut @lala ,
Quelle est la question exactement ? Ces deux algorithmes sont des modèles arborescents, mais Random Forest (également appelé Bootstrap Forest dans JMP Pro) est un modèle de type « bagging » (agrégation par bootstrap) et LightGBM un modèle de type « boosting ».
Cela signifie que Random Forest est composé de plusieurs arbres entraînés en parallèle sur différents jeux de données. Ces jeux de données, similaires mais différents, sont créés par la méthode bootstrap (échantillonnage avec remise du jeu de données original pour créer les jeux de données bootstrap). Cette opération permet d'obtenir des jeux de données similaires mais différents, ce qui aide les arbres à apprendre des schémas légèrement différents. Une fois ces arbres entraînés, le résultat final de la prédiction est la moyenne des prédictions individuelles des arbres (pour la régression) ou la classe la plus probable parmi les arbres (pour la classification).
Image tirée de https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Random Forest utilise également un processus de sélection aléatoire des caractéristiques à chaque division, ce qui le rend très performant pour gérer la multicolinéarité et permet la création d'arbres plus diversifiés (tout en réduisant le risque de surapprentissage).
À l'inverse, les arbres de décision boostés sont entraînés séquentiellement : on commence par un arbre simple, puis on évalue les résidus de ce modèle. Dans un second modèle, ces résidus servent à entraîner un deuxième arbre, celui où les résidus sont les plus élevés, afin d'améliorer les performances de prédiction de l'ensemble d'arbres. Chaque arbre tente ainsi de corriger les erreurs de prédiction de l'arbre précédent. À la fin de la chaîne d'arbres, on obtient le résultat de la prédiction (classe ou valeur selon la tâche).
Image tirée de https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Le mode d'entraînement (parallèle ou séquentiel) constitue donc la principale différence entre les deux algorithmes que vous mentionnez :
La particularité de LightGBM par rapport aux autres modèles arborescents de boosting réside dans sa méthode de croissance de l'arbre, qui se fait feuille par feuille, contrairement à XGBoost ou à d'autres modèles de boosting qui développent l'arbre niveau par niveau : cela signifie qu'il est impossible de développer un nœud davantage si l'arbre n'est pas « équilibré ».
Le choix de ces modèles dépend de la tâche et du compromis biais/variance : les algorithmes d’agrégation comme Random Forest réduisent la variance (surapprentissage), tandis que les modèles de boosting comme Boosted Trees réduisent le biais.
J'espère que cette réponse vous sera utile.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Merci, expert !
J'utilise souvent la fonction Partition de JSL car sa formule de prédiction est simple et facile à comprendre.
Il répond globalement aux exigences.
J'ai appris en posant des questions à l'IA
Sachant que la fonction lightgbm de Python est également très puissante, mais l'IA affirme seulement qu'il s'agit d'une forêt aléatoire.
Je l'exécute via le code Python fourni par l'IA et en utilisant des appels JSL.
Après analyse statistique, son efficacité est supérieure à celle de la forêt aléatoire de JMP Pro.
Bien sûr, je ne modifierai pas trop les paramètres non plus.Une simple comparaison.
L'IA a indiqué que la formule de prédiction générée par Bootstrap Forest dans JMP Pro 19 a été considérablement améliorée.
Mais je ne pouvais pas utiliser JMP Pro 19
Merci!
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?JMP Partition est un arbre de décision (la base/le cœur de toute méthode arborescente comme LightGBM ou Random Forest).
Attention aux réponses de l'IA ! Je ne sais pas laquelle vous utilisez, mais sur des sujets très spécifiques et techniques, elles peuvent être sujettes à des erreurs. Personnellement, j'utilise Gemini (de Google) pour approfondir un sujet technique, car je le trouve le plus intéressant, mais il arrive quand même qu'il y ait des erreurs.
Clairement, LightGBM n'est PAS un algorithme de forêt aléatoire, mais un algorithme d'arbre de décision boosté (voir la description comparative des deux types dans mon message initial).
Je vous recommande de consulter la documentation technique de LightGBM pour en savoir plus : https://github.com/Microsoft/LightGBM et https://lightgbm.readthedocs.io/en/stable/index.html
Et l’article connexe LightGBM : un arbre de décision à gradient boosté très efficace .
L'amélioration que vous observez pourrait être due à l'utilisation du boosting, qui tend effectivement à fournir de meilleures prédictions (les arbres séquentiels s'efforçant de réduire au maximum les erreurs des arbres précédents, aboutissant à un ensemble de haute précision) en réduisant le biais. Cependant, une stratégie de validation robuste est indispensable pour éviter le surapprentissage, car la réduction du biais peut accroître la variance : voir l'article « Compromis biais-variance » sur Wikipédia . Un algorithme très précis, apprenant des schémas très spécifiques, risque de « surapprendre » le modèle et d'obtenir des prédictions incohérentes lors de son déploiement sur de nouvelles données.
Une différence majeure entre les méthodes Random Forest et Boosted Tree réside dans la sensibilité de ces algorithmes au réglage fin des hyperparamètres : Random Forest est très robuste à ce réglage et fournit de bons résultats sans ajustement, tandis que Boosted Tree peut nécessiter un effort plus important de réglage fin des hyperparamètres pour obtenir de meilleures performances. Pour plus d'informations et une comparaison de l'importance du réglage des hyperparamètres sur les performances de différents algorithmes, voir [1802.09596] Tunability: Importance of Hyperparameters of Machine Learning Algorithms.
Pour savoir comment optimiser les hyperparamètres dans JMP, vous pouvez consulter des articles connexes comme Arbre de réglage Boosted - CONCEPTION DE LA TABLE D'ACCORDEMENT .
J'espère que cette réponse complémentaire vous sera utile.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Merci aux experts !
Je pose cette question à propos de Gemini 2.5 Pro.
Il est indiqué que LightGBM surpasse largement JMP.
Pour les questions de programmation, je consulte toujours le mode expert de grok4. Il est très performant et effectue des recherches en ligne pour y répondre. Cependant, son utilisation gratuite est limitée par le nombre de fois par jour, c'est pourquoi j'apprécie chaque occasion de l'utiliser.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Hier, grok 4.1 a été mis à jour. J'ai plutôt l'impression que son illusion d'IA a été renforcée.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Haha, ne vous attendez pas à ce qu'une IA « sache » tout, et surtout pas pour des cas d'utilisation spécifiques. Elle ne « sait » rien et affiche seulement la séquence de mots la plus probable correspondant à votre requête. Elle n'a pas de notion de vrai ou de faux, seulement une notion de similarité/probabilité basée sur son ensemble de données d'entraînement, qui contient tout ce qui est juste et faux…
Affirmer que « LightGBM surpasse largement JMP » n'a aucun sens, car cela compare un algorithme spécifique (LightGBM) à un logiciel commercial (JMP) gérant plusieurs algorithmes d'apprentissage automatique. C'est un raisonnement totalement absurde.
Par ailleurs, méfiez-vous des affirmations générales telles que « Le modèle A est toujours meilleur que le modèle B ». De telles affirmations doivent toujours être accueillies avec un sain scepticisme. Ces déclarations générales sont soit non étayées par des données mais par d'autres motivations, soit, au mieux, guidées par des études comparatives. Or, ces études et ensembles de données peuvent ne pas refléter votre situation et vos données spécifiques ; leur « classement » peut donc s'avérer inapproprié, voire non pertinent.
Selon vos données, vos objectifs, la précision requise, le déploiement, etc., un algorithme plutôt qu'un autre peut être préférable. Face à des données bruitées, je privilégierais les résultats d'une forêt aléatoire à ceux d'un arbre de décision boosté, ce dernier présentant un risque de surapprentissage plus élevé. En revanche, avec des mesures précises et peu bruitées, et si votre jeu de données est suffisamment volumineux pour être divisé en ensembles représentatifs d'entraînement, de validation et de test, vous pourriez opter pour un arbre de décision boosté plutôt qu'une forêt aléatoire afin d'obtenir de meilleures performances prédictives.
Tester et apprendre semble être l'option la plus sûre et la meilleure.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Merci!
Puis-je demander, une fois la forêt Bootstrap de JMP Pro entraînée, comment peut-elle être utilisée pour le calcul de prédictions sur les nouvelles données à prédire ?
Prenons comme exemple des données de séries temporelles.
Lors de la rédaction de code, j'insiste pour utiliser le modèle expert grok4.
Re: JMP Pro « Bootstrap Forest » VS Python « lightgbm » ?Salut @lala ,
Je ne suis pas familier avec la prévision de séries temporelles, mais le modèle Bootstrap Forest s'utilise comme n'importe quel autre modèle : dans le triangle rouge à côté de la plateforme Bootstrap, cliquez sur Enregistrer les colonnes > Enregistrer la formule de prédiction. Une nouvelle colonne contenant la formule Bootstrap Forest apparaîtra dans votre tableau de données.
Ensuite, si vous souhaitez prédire des résultats sur une autre table de données, vous pouvez copier-coller la colonne de formule de prédiction de votre table d'origine vers la nouvelle. Assurez-vous que les variables d'entrée portent les mêmes noms afin que la formule puisse être calculée sans problème.
J'espère que cela pourra vous aider.
