Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut tout le monde,
J'ai un cas où je souhaite appliquer une approche Bootstrap Forest en combinaison avec une table de conception de réglage. En suivant les instructions de JMP-Help, j'ai rencontré le problème que seuls deux des six hyper paramètres décrits dans la table de réglage figuraient dans le nombre de modèles construits en fonction du numéro d'exécution de la table de réglage.
Ce problème a-t-il également été identifié par quelqu'un d'autre ?
J'en ai déjà discuté avec @Jonas_Rinne et nous n'avons pas trouvé de solution satisfaisante. Ou est-ce un bug ?
Modélisation prédictive et apprentissage automatiqueRe : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Jonas_Rinne et @Egon_Gross1 ,
J'ai utilisé une table de conception Tuning pour affiner un arbre boosté (hyperparamètres similaires) sur ce sujet l'année dernière : https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
Je ne suis pas derrière mon ordinateur donc c'est le mieux que je puisse faire maintenant, mais je peux faire quelques tests demain si cela peut aider (et si quelqu'un d'autre n'a pas trouvé de solution avant). La dénomination des colonnes est assez sensible, cela pourrait donc expliquer pourquoi certaines colonnes d'hyperparamètres sont utilisées et pas d'autres.
J'espère que cela pourra aider en attendant,Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Egon_Gross1 et @Jonas_Rinne ,
Je fais tout le temps du réglage de modèles avec des tables de réglage et j'ai même créé des modèles pour NN, des arbres boostés, une forêt d'amorçage et XGBoost.
Je n'ai jamais eu de problème avec les hyperparamètres qui n'étaient pas introduits dans une table de réglage, sauf lorsqu'ils sont constants. J'utilise généralement la plate-forme DOE de conception de remplissage d'espace avec mes tables de modèles de réglage pour générer la table de réglage plus grande avec toutes les exécutions.
Une possibilité pourrait être le nom, l'autre est que vous devrez probablement vous assurer que les colonnes ont également le rôle de conception correct associé dans leurs métadonnées. Si une colonne ne dispose pas de ce rôle, les plates-formes du DOE risquent de ne pas fonctionner correctement.
Il semble que les pages d'aide JMP contiennent les noms de colonnes corrects associés au rôle d'une table de réglage. Ci-joint mes tableaux de données modèles, j'espère qu'ils pourront vous aider.
DS
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Il semble y avoir une certaine incohérence entre la page d'aide et l'index de script. Voici ce que la page d'aide suggère comme noms de colonnes pour les différents hyperparamètres de la table de réglage :
Dans l'index de script, les colonnes portent des noms légèrement différents (Split/Splits) :
Est-ce que quelqu'un a déjà eu le même problème ? Avons-nous utilisé les mauvais noms de colonnes ou s'agit-il d'autre chose ? Les deux premiers hyperparamètres fonctionnent très bien.
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?@Egon_Gross1 et @Jonas_Rinne - Merci pour votre question, j'étudie également cette question du côté du support technique JMP. Il semble que la table de réglage que vous avez partagée dans votre exemple avec nous soit cohérente avec la façon dont @SDF1 l'a spécifié, la seule différence étant que la leur ne semble pas avoir la propriété de colonne de codage spécifiée pour chaque colonne.J'ai essayé dans les deux sens avec votre exemple fourni sur la même graine aléatoire (= 1234) et cela ne semble faire aucune différence.Je continuerai à enquêter de mon côté et fournirai une mise à jour dès que je pourrai rassembler des informations utiles supplémentaires.Acclamations, @PatrickGiuliano
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @SDF1 et @PatrickGiuliano et @Jonas_Rinne et @Victor_G ,
merci beaucoup pour toutes vos contributions et votre soutien.
En essayant différentes approches - à l'exception de la tentative NN (à présent) - les tables Tunung fournies ont fonctionné, à l'exception de celle pour la procédure RF. J'ai essayé cela avec plusieurs tables du dossier d'exemples. Après avoir utilisé la table de réglage, la section Récapitulatifs des ensembles de validation du modèle contenait uniquement les colonnes « N termes, N arbres, N arbres spécifiés et RSquare ». Les autres paramètres de réglage ne sont pas apparus et je doute qu'ils aient été utilisés.
Salutations
Égon
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Egon_Gross1 ,
Je n'ai jamais eu de problème avec les tableaux modèles que j'ai téléchargés auparavant. Comment utilisez-vous exactement la table de réglage ou en générez-vous une à partir de la table modèle ? Encore une fois, si un paramètre de réglage est constant, les plates-formes du DOE ignoreront ce paramètre et ne l'incluront pas dans une table de réglage. Je ne comprends pas pourquoi vous rencontrez un problème, car ces modèles fonctionnent très bien pour moi à chaque fois que je les utilise. Si vous pouvez fournir des captures d'écran de chaque étape que vous effectuez dans le processus, cela pourrait aider à déterminer quelle est la racine du problème.
Merci!,
DS
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @SDF1 ,
malheureusement, je peux reproduire les résultats. Pour vous permettre un récapitulatif, j'ai ajouté un pdf montrant mes étapes pour un bootstrap classique et pour celui utilisant la table de réglage. S'il y a quelque chose de suspect, j'apprécie votre aide.
KR
Égon1
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Egon_Gross1 ,
La table de réglage et la plate-forme Bootstrap Forest fonctionnent comme prévu et sont utilisées assez correctement.
Ainsi, tout d'abord, la sortie que vous affichez pour l'ajustement de votre modèle est la sortie standard de la plate-forme de forêt d'amorçage où elle répertorie dans le tableau Récapitulatifs de l'ensemble de validation du modèle uniquement N termes, N arbres, N arbres spécifiés et RSquare. Les autres paramètres sont répertoriés ci-dessous dans la zone de contour « Spécifications ». C'est ici que vous trouverez les paramètres Répartitions minimales par arbre et Répartition de taille minimale pour le optimal modèle uniquement. JMP n'enregistre pas toutes les données pour chaque exécution de la table de réglage. Si vous voulez faire cela, vous devrez écrire votre propre code JSL. J'ai fait cela et j'ai créé un programme de réglage automatisé généralisé dans JMP afin que je puisse exécuter des modèles en utilisant différentes plates-formes et qu'il enregistre les valeurs d'ajustement pour chaque exécution du modèle, puis vous pouvez réellement visualiser les résultats pour ensuite affiner lesquels. l'ajustement pourrait en fait être meilleur - avoir des valeurs R^2 très élevées n'est pas toujours le meilleur modèle car il peut ne pas s'adapter aussi aux changements. Parfois, il est préférable d’examiner d’autres mesures.
Quoi qu'il en soit, j'ai mentionné que la table de réglage était utilisée "un peu" correctement. Ce que je veux dire par là, c'est que vous devriez vraiment utiliser les tables de réglage que j'ai envoyées comme facteurs à charger dans une conception remplissant l'espace. Accédez à DOE > Special Purpose > Space Filling Design, puis cliquez sur le triangle rouge et sélectionnez Load Factors. Spécifiez le nombre d'exécutions que vous souhaitez effectuer, puis cliquez sur Remplissage flexible rapide, et vous obtiendrez une nouvelle table de données remplie d'espace pour explorer l'espace des hyperparamètres. Veuillez noter que dans les modèles que j'ai envoyés, la première ligne correspond aux paramètres inférieurs du DOE tandis que la deuxième ligne correspond aux paramètres élevés du DOE. Lorsque vous exécuterez ensuite la plate-forme de modélisation (NN ou forêt d'amorçage), vous sélectionnerez cette nouvelle conception de remplissage flexible et rapide comme table de réglage.
BTW, je suis heureux de partager le code de réglage généralisé JSL avec vous si vous le souhaitez, faites-le moi savoir. J'en ai fait une présentation pour le club des scripteurs JSL il y a quelque temps. Il a ses limites, mais il est aussi très utile.
Bonne chance!,
DS
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Bonjour @SDF1 ,
merci pour vos précisions et commentaires, qui m'ont vraiment beaucoup aidé !
J'ai supposé que la présentation des résultats était quelque peu similaire à celle des autres plateformes, ce qui était évidemment faux. L'utilisation de votre table de réglage a également bien fonctionné et j'ai obtenu un tableau "Résumé de l'ensemble de validation du modèle" pour toutes les exécutions définies de la table de réglage.
C'est peut-être intéressant pour @PatrickGiuliano et @Jonas_Rinne pour implémenter la "version complète" de tous les résultats des mesures de qualité dans un tableau correspondant basé sur votre script JSL.
Selon votre offre d'obtenir le JSL, j'apprécierais beaucoup cela - merci d'avance.
Merci pour tout le soutien et les idées.
KR
Égon1
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Egon_Gross1 ,
Vous trouverez ci-joint le code JSL permettant d'exécuter le réglage généralisé pour plusieurs plates-formes de modélisation de JMP.
Merci!,
DS
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Wow, c'est un très bon outil pour affiner différents paramètres du modèle. Merci d'avoir partagé!
Re : Dysfonctionnement dans Bootstrap Forest avec Tuning Design Table ?Salut @Egon_Gross1 En effet, j'ai vérifié auprès du développeur de la plate-forme, et ils ont confirmé que BF utilise en fait toutes les colonnes de la table de réglage spécifiées comme @SDF1 l'a commenté ici, mais il ne les signale tout simplement pas. Nous travaillons sur un correctif pour résoudre ce problème, et il devrait être intégré au cycle de développement de JMP 18 (après la version initiale de JMP 18.0 plus tard au premier trimestre 2024). Bravo, @PatrickGiuliano (Support technique JMP)
