Dépistage des prédicteursPour le filtrage des prédicteurs dans la forêt d'amorçage JMP, on utilise ; cela fonctionne très bien cependant pourquoi cette méthode est-elle choisie et non l'arbre boosté qui est aussi une méthode très puissante ? JMP utilise-t-il XGboosted ?
Modélisation prédictive et apprentissage automatiqueRe: Sélection de prédicteursLa plate-forme Predictor Screening est une plate-forme Bootstrap Forest avec un nombre minimal (un seul maintenant : Number Trees) de paramètres de réglage à spécifier et fournit uniquement un rapport sur les contributions des colonnes. La magie est que la plateforme Predictor Screening a décidé des valeurs par défaut pour les paramètres de réglage restants. Le paramètre est bien utile pour trouver des prédicteurs utiles.
Si l'on souhaite appliquer un arbre amélioré dans le même but avec un nombre minimal de paramètres de réglage, disons un paramètre, c'est une tâche très difficile. Par exemple, l'arbre boosté dépend beaucoup plus que la forêt aléatoire du choix et de l'utilisation d'une méthode de validation, et le choix d'une méthode de validation est en soi un art.
La plateforme Predictor Screening a pour objectif de trouver des prédicteurs utiles. Il ne s'agit pas d'un remplacement de la prévision Bootstrap. Votre modèle final ne sera pas un modèle de forêt aléatoire si vous utilisez simplement Predictor Screening. Vous déciderez probablement d'utiliser d'autres modèles utilisant les prédicteurs trouvés par Predictor Screen. L’un des avantages de l’utilisation de Predictor Screening pour trouver des prédicteurs utiles, plutôt que d’utiliser des méthodes de sélection de variables intégrées dans votre modèle final, est que la méthode ne repose sur aucune hypothèse paramétrique.
Entre forêt aléatoire et arbre boosté, je n'ai rencontré aucune étude concluant à leurs performances en fonction du type de variable de réponse.
Boosted Tree est une implémentation de la méthode de boosting de gradient. XGBoost aussi. Il en va de même pour d'autres implémentations, par exemple LightGBM. Leurs comparaisons peuvent être plutôt compliquées, et probablement aussi subjectives. Mais il est toujours passionnant de jouer avec différents outils pour comprendre leurs avantages et leurs inconvénients.
Re: Sélection de prédicteursJe ne sais pas quelle version de JMP vous utilisez, mais si vous utilisez 16 JMP Pro, vous pouvez comparer de nombreuses plateformes de modélisation différentes :
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Cela peut vous être utile.
Re: Sélection de prédicteursMerci pour cette réponse détaillée!
Oui, je pense qu'exécuter à la fois bootstrap et boosted est une bonne idée pour sélectionner des prédicteurs parmi de nombreux candidats.
J'ai raison de dire que la forêt bootstrap est préférée pour les réponses catégoriques ?
La méthode XGboosted est-elle meilleure que celle utilisée dans jmp pro ?
Re: Sélection de prédicteursSalut @frankderuyck ,
Je ne suis pas un expert de la façon dont JMP effectue réellement les choses sur le back-end (le codage précis qui est exécuté), mais je pense que la forêt d'amorçage est utilisée car elle comporte deux couches de randomisation : l'une sélectionne au hasard un sous-ensemble du facteurs. Par exemple, si vous souhaitez prédire une colonne et tester lequel des 10 facteurs contribue le mieux à cette prédiction, l'approche de forêt bootstrap sélectionnera au hasard un sous-ensemble, disons 6 sur dix et utilisera un arbre de décision pour prédire au mieux le résultat et puis classez les facteurs en fonction de leur contribution. L'autre randomisation est que la forêt bootstrap sélectionne au hasard un certain nombre de lignes pour ajuster le modèle, puis le reste pour le valider (ou le simplifier), et elle le fait avec une sélection aléatoire et un remplacement à chaque itération. Je crois comprendre que l'arborescence boostée par défaut ne fait pas cela.
Quant à votre dernière question, vous pouvez télécharger le complément XGBoost pour JMP Pro depuis le site Web de JMP. Cela fonctionne pour JMP Pro 14 et versions ultérieures, je crois.
En passant, puisqu'il semble que vous travaillez avec JMP Pro, vous souhaiterez peut-être exécuter la plateforme GenReg et utiliser les différents algorithmes de prédiction (Lasso, Elastic Net, etc.) pour voir les estimations des coefficients du modèle et exécuter des simulations d'amorçage. là aussi. Parfois, vous obtenez des réponses différentes, ce qui peut aider à déterminer si un facteur limite est vraiment important ou non. J'utilise souvent les deux approches si je suis chargé de trouver le meilleur ensemble de prédicteurs pour un modèle.
J'espère que cela t'aides!,
DS
