Chère équipe JMP,
suivant quelques idées d'améliorations potentielles dans le domaine des arbres boostés et de la forêt aléatoire.
1. Général:
a) Activez l'option d'utilisation des estimations d'erreur hors du sac (oob). Ces estimations permettent de déterminer la complexité optimale du modèle, rendant un ensemble de validation obsolète (pourrait être utilisé dans ce cas comme véritable ensemble de test). Pour les ensembles de données plus petits où la division des données en ensembles de formation/validation/test n'est pas possible, oob est également une bonne option pour obtenir une impression raisonnable sur les performances attendues du modèle.
b) Activez les parcelles montrant le nombre optimal d'arbres, en fonction, par exemple, de la distance multinomiale moyenne ou de l'erreur quadratique moyenne (en fait, je ne suis pas sûr qu'il soit juste de dire que les données du graphique ci-dessous sont de vraies données de test, car elles ont été utilisé pour déterminer la complexité du modèle, mais j'aime l'idée derrière le graphique)
2. Arbres boostés
Bien que les performances de JMP Random Forest soient très bonnes par rapport à d'autres progiciels, JMP Boosted Trees est généralement inférieur en termes de capacité prédictive des modèles.
a) Activer pour définir/contrôler la taille du sous-échantillonnage (amplification du gradient stochastique)
En boostant le sous-échantillonnage est de mon point de vue une partie essentielle de l'algorithme, malheureusement non disponible dans JMP. Prendre des sous-échantillons tirés indépendamment introduit un certain caractère aléatoire dans l'analyse, ce qui atténue le risque de surajustement. Étant donné que chaque arbre est construit sur un ensemble différent d'échantillons, ces modèles généralisent généralement assez bien (bien sûr, le nombre d'arbres doit encore être contrôlé). Un sous-échantillonnage supplémentaire permet d'utiliser des estimations d'erreur oob.
b) Activer les réponses catégorielles à plusieurs niveaux dans les arbres boostés
Cordialement
Silvio
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />2. a) La taille du sous-échantillonnage de contrôle (amplification du gradient stochastique) a été ajoutée au JMP 13.
