Défier la forêt d'amorçage dans JMPSalut,
un de mes clients se trouve confronté au problème suivant: Bootstrap Forest dans JMP est trop rigide pour modifier les paramètres des algorithmes. Il le compare avec H2O ( http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/drf.html ). Dans le document ci-joint, j'ai essayé de faire correspondre les paramètres de JMP avec leurs paramètres (en gris, ceux en jaune ne sont que dans H2O).
Il existe plusieurs paramètres non modifiables (et probablement non implémentés) dans JMP, comme par exemple
- offset_column (les décalages sont des «valeurs de biais» par ligne utilisées lors de la formation du modèle)
- balance_classes (suréchantillonnez les classes minoritaires pour équilibrer la répartition des classes)
- nbins (spécifiez le nombre de corbeilles à construire par l'histogramme, puis divisez-les au meilleur moment)
- stopping_metric (beaucoup plus que R2 et RMSE: spécifiez la métrique à utiliser pour un arrêt précoce
- point de contrôle (Utilisez cette option pour créer un nouveau modèle dans le prolongement d'un modèle généré précédemment)
- col_sample_rate_per_tree / level (spécifiez le taux d'échantillonnage de la colonne par arbre ou par niveau)
- min_split_improvement (La valeur de cette option spécifie l'amélioration relative minimale de la réduction des erreurs carrées pour qu'une scission se produise -> peut aider à réduire le surajustement).
- et quelques autres
Je lui ai demandé ce qu'il attendait de ces options car je doute que le modèle qui en résultera apportera une telle amélioration qu’il compte comme grave. Il dit que c'est remarquable mieux. J'ai ensuite vérifié le site H2O et je suppose que c'est à cause d'un problème très particulier et que vous obtiendrez peut-être un meilleur résultat en utilisant toutes ces options de réglage.
Avez-vous entendu d'autres clients dire qu'il existe d'autres (de meilleurs outils) pour les modèles de forêt aléatoires?
Et, Chris ou d'autres développeurs: pensez-vous que l'ajout de l'un ou l'autre paramètre serait une bonne option?
Merci,
Martin
Re: Remettre en cause la forêt Bootstrap dans JMPMartin,
Ce pacakge H2O est nouveau pour moi, mais il semble que je puisse l’utiliser avec Python et dans un cahier ipython.
Ce lien sur git hub donne à penser qu’il pourrait être relativement facile à utiliser une fois sa configuration également.
https://github.com/h2oai/h2o-3/blob/master/h2o-docs/src/product/tutorials/rf/rf.md Si j'ai le temps, j'aimerais voir si je peux courir avec. Il pourrait être un peu plus facile à utiliser que XGBoost. Les deux ont des options de recherche sur la grille pour le réglage.
"H2O est une plate-forme d'analyse prédictive et d'apprentissage automatique en mémoire, distribuée, rapide et évolutive qui vous permet de créer des modèles d'apprentissage automatique sur le Big Data et facilite la production de ces modèles dans un environnement d'entreprise." La manière dont il est décrit sur la page Web principale est remarquablement similaire au langage utilisé pour décrire SAS Viya. Si votre client le souhaite, peut-être est-il devenu trop grand pour JMP?
Re: Remettre en cause la forêt Bootstrap dans JMPLa possibilité de changer la métrique d'arrêt est quelque chose qui a été demandé par un couple de clients dans mon patch. Les classes d'équilibre peuvent être obtenues avec une pondération en proportion inverse, mais serait bien si elle était automatisée. Merci pour l'avertissement à ce sujet.Re: Remettre en cause la forêt Bootstrap dans JMPinsérez-le dans l'adresse électronique jmpbeta@jmp.com pour que l'équipe de développement puisse l'examiner. Je ferais également remarquer qu'il pourrait s'agir d'un sous-ensemble spécialisé de Random Forest. Ils pourraient simplement s’attaquer à ce problème "distribué" pour éviter le problème du droit d’auteur, mais cela pourrait aussi indiquer quelque chose de différent. Je suis tombé sur un autre arbre appelé "Arbre conditionnel" qui est une version spécialisée de l'arbre optimisé par dégradé ...
FWIW, La plupart des spécialistes des données informatiques à qui je parle se contentent de ce que nous avons. Certaines des options mentionnées ci-dessus semblent pouvoir être gérées avec des stratégies de pondération et de validation différentes.
MRe: Remettre en cause la forêt Bootstrap dans JMPEncore un commentaire à ce sujet: j’ai entendu dire que plus d’options de réglage étaient plus fréquentes pour les réseaux de neurones, comme plus de couches, plus d’algorithmes de formation et d’activation à définir,
Mais c’était nouveau pour moi à propos de Random Forest. Donc j'étais aussi curieux de savoir si d'autres ont entendu des histoires similaires.
