Criblage des prédicteursPour le filtrage des prédicteurs dans JMP, la forêt bootstrap est utilisée ; cela fonctionne très bien cependant pourquoi cette méthode est-elle choisie et non boostée en arbre qui est aussi une méthode très puissante ? JMP utilise-t-il XGboosted ?
AnalytiqueRe: dépistage des prédicteurssalut @frankderuyck ,
Je ne suis pas un expert de la façon dont JMP effectue réellement les choses sur le back-end (le codage précis qui est exécuté), mais je pense que la forêt d'amorçage est utilisée car elle comporte deux couches de randomisation : l'une sélectionne au hasard un sous-ensemble du les facteurs. Par exemple, si vous avez une colonne que vous souhaitez prédire et tester lequel des 10 facteurs contribue le mieux à cette prédiction, l'approche de la forêt d'amorçage sélectionnera au hasard un sous-ensemble, disons 6 des dix et utilisera un arbre de décision pour mieux prédire le résultat et puis classez les facteurs en fonction de leur contribution. L'autre randomisation est que la forêt d'amorçage sélectionne au hasard un certain nombre de lignes pour s'adapter au modèle, puis le reste pour le valider (ou le simplifier), et elle le fait avec une sélection aléatoire et un remplacement à chaque itération. D'après ce que j'ai compris, l'arborescence boostée par défaut ne le fait pas.
En ce qui concerne votre dernière question, vous pouvez télécharger le module complémentaire XGBoost pour JMP Pro à partir du site Web de JMP. Cela fonctionne pour JMP Pro 14 et plus, je crois.
En passant, comme il semble que vous travailliez avec JMP Pro, vous voudrez peut-être exécuter la plate-forme GenReg et utiliser les différents algorithmes de prédiction (Lasso, Elastic Net, etc.) pour voir les estimations des coefficients du modèle et exécuter des simulations bootstrap là aussi. Parfois, vous obtenez des réponses différentes et cela peut aider à déterminer si un facteur limite est vraiment important ou non. Je fais souvent les deux approches si je suis chargé de trouver le meilleur ensemble de prédicteurs pour un modèle.
J'espère que cela t'aides!,
DS
Re: dépistage des prédicteursMerci pour cette réponse étendue !
Oui, je pense qu'exécuter à la fois bootstrap et boosted est une bonne idée pour sélectionner des prédicteurs parmi de nombreux candidats.
J'ai raison de dire que la forêt d'amorçage est préférée pour les réponses catégorielles?
La méthode XGboosted est-elle meilleure que celle utilisée dans jmp pro ?
Re: dépistage des prédicteursVous ne savez pas quelle version de JMP vous utilisez, mais si vous utilisez 16 JMP Pro, vous pouvez comparer de nombreuses plateformes de modélisation différentes :
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Cela peut vous être utile.
Re: dépistage des prédicteursLa plate-forme Predictor Screening est une plate-forme Bootstrap Forest avec un nombre minimal (un seul maintenant: Number Trees) de paramètres de réglage à spécifier et fournit uniquement un rapport sur les contributions de colonne. La magie est que la plate-forme Predictor Screening a décidé des valeurs par défaut pour les paramètres de réglage restants. Le paramètre sert bien pour trouver des prédicteurs utiles.
Si l'on veut appliquer un arbre boosté dans le même but avec un nombre minimal de paramètres de réglage, disons un paramètre, c'est une tâche très difficile. Par exemple, l'arbre boosté repose beaucoup plus que la forêt aléatoire sur le choix et l'utilisation d'une méthode de validation, et le choix d'une méthode de validation est en soi un art.
La plate-forme Predictor Screening sert à trouver des prédicteurs utiles. Ce n'est pas un remplacement de la prévision Bootstrap. Votre modèle final ne sera pas un modèle de forêt aléatoire si vous utilisez simplement Predictor Screening. Vous déciderez probablement d'utiliser d'autres modèles utilisant les prédicteurs trouvés par Predictor Screen. L'un des avantages de l'utilisation du filtrage des prédicteurs pour trouver des prédicteurs utiles, plutôt que d'utiliser des méthodes de sélection de variables intégrées dans votre modèle final, est que la méthode ne repose sur aucune hypothèse paramétrique.
Entre la forêt aléatoire et l'arbre boosté, je n'ai rencontré aucune étude concluant à leurs performances en fonction du type de variable de réponse.
Boosted Tree est une implémentation de la méthode de boosting de gradient. Il en va de même pour XGBoost. Et il en va de même pour d'autres implémentations, par exemple LightGBM. Leurs comparaisons peuvent être assez compliquées, et probablement subjectives aussi. Mais c'est toujours passionnant de jouer avec différents outils pour comprendre leurs avantages et leurs inconvénients.
