J'ai sélectionné Boosted Tree ou un problème de régression après qu'il soit apparu comme le modèle le plus performant dans le criblage de modèles.
Puis-je demander comment utiliser la conception de la table de réglage pour optimiser davantage les performances de l'arbre boosté ?
Salut @AlphaPanda86751 ,
Une table de réglage peut en effet être utile si vous souhaitez affiner les hyperparamètres de l'algorithme sélectionné pour améliorer les performances prédictives.
Puis-je vous demander si vous avez déjà une stratégie de validation, afin d'éviter le surajustement : validation croisée k-folds, colonne de validation, autre ... ? Boosted Tree peut être plus rapide au surajustement que d'autres méthodes basées sur des arbres (comme la forêt d'amorçage), il est donc toujours préférable d'avoir une stratégie de validation fixe et définie avant d'essayer d'optimiser les performances.
Afin d'utiliser la conception de la table de réglage, vous pouvez générer une table manuellement, en définissant les facteurs d'hyperparamètres dans les colonnes (Nombre de couches, Divisions par arbre, Taux d'apprentissage, Division de taille minimale, ...) pour tester toutes les combinaisons ("grille -approche de recherche"), ou vous pouvez également générer une conception de table de réglage avec la plate-forme "Custom Design", en spécifiant les différents facteurs d'hyperparamètres que vous souhaitez étudier/affiner, la plage de valeurs pour chacun et le modèle/complexité des différentes combinaisons/interactions que vous aimeriez étudier dans cet espace d'hyperparamètres. Vous pouvez trouver plus d'infos ici (les infos proviennent de la plateforme Bootstrap Forest, mais la technique est très similaire pour Boosted Tree) : Lancer la plateforme Bootstrap Forest (jmp.com)
Vous trouverez ci-joint un exemple de tableau de réglage généré à partir de la plate-forme Custom Design.
Ensuite, vous pouvez lancer votre plateforme Boosted Tree avec la stratégie de validation que vous avez définie précédemment, et laisser JMP utiliser la table de réglage pour tester les différentes valeurs d'hyperparamètres.
Voici un exemple des résultats avec une colonne de validation de stratification sur le jeu de données Diamonds avec un arbre boosté "normal" (non ajusté) :
Et voici les résultats en utilisant une table de réglage :
Ici, il n'y a pas de grands changements entre les paramètres "par défaut" de JMP et la version affinée de Boosted Tree, mais il peut être utile et intéressant d'essayer l'ajustement pour évaluer les changements de performances. Vous pouvez également évaluer la "robustesse" du réglage fin de vos hyperparamètres si vous avez utilisé une colonne de formule de validation (clic droit sur Rsquare, RASE ou d'autres métriques d'évaluation, et utilisez "Simuler" pour activer et désactiver la colonne de validation, et définir une graine aléatoire afin d'avoir des résultats reproductibles pour la comparaison) :
Encore une fois ici, cela ne fait pas une grande différence, car les paramètres par défaut dans JMP sont bons et assez robustes, mais vous pouvez essayer par vous-même.
Vous trouverez en pièce jointe la table de données avec les simulations effectuées et le script graphique, et vous pouvez trouver la table de données pour Diamond Data dans l'exemple d'index ou également jointe ici (afin d'avoir la colonne de validation et de reproduire les étapes présentées ici).
J'espère que cela t'aidera,
