Profileur de prédiction et fonctions de désirabilitéSalut tout le monde,
JMP Pro 16.1.0.
J'utilise Prediction Profiler pour effectuer une vérification du réglage du modèle et je me demandais s'il existait un moyen de "tromper" les fonctions de désirabilité pour qu'elles fassent quelque chose pour lesquelles elles ne sont pas vraiment conçues. Avec le paramètre standard de désirabilité, vous avez la possibilité de maximiser, correspondre à la cible, réduire ou aucun.
Pendant le processus de réglage du modèle, j'enregistre les valeurs R^2 pour la formation et la validation, ainsi que la différence entre les deux. L'une des choses que j'essaie de rechercher lors du réglage du modèle sont les paramètres qui non seulement maximisent R^2 pour la formation et la validation, mais minimisent la différence entre les deux. Par exemple, il est préférable pour moi d'avoir un modèle qui a une formation R^2 de 0,4 et une validation R^2 de 0,35 que d'avoir une formation R^2 de 0,7 et une validation R^2 de 0,25. C'est-à-dire que plus les ensembles d'entraînement et de validation sont proches les uns des autres, même s'ils sont plus petits, ils ont tendance à mieux fonctionner dans mes situations.
Le problème est qu'avec le profileur de prédiction, si vous définissez à la fois la formation et la validation R^2 pour maximiser et minimiser la différence, le profileur suggère des paramètres qui entraînent une formation R^2 de 0,6 et une validation R^2 de 0,2 environ. Ce n'est pas ce que je recherche.
Ce que j'aimerais vraiment que le profileur fasse, c'est d'essayer de converger vers une formation et une validation R^2 aussi proches que possible, tout en étant aussi grandes que possible, afin de minimiser la différence tout en gardant un grand R ^2 valeurs. Malheureusement, changer des choses comme l'importance (0 à 1) ou l'objectif n'atteint pas vraiment ce que je recherche.
Si quelqu'un connaît une astuce pour que le profileur fasse quelque chose comme ça, ce serait bien de le savoir. Ou, si ce n'est pas possible, cela pourrait être une nouvelle fonctionnalité vraiment intéressante de pouvoir demander au profileur d'essayer de faire converger deux des réponses tout en les maximisant (ou en les minimisant).
Merci!,
DS
AnalytiqueRe : Prediction Profiler et fonctions de désirabilitéVous utilisez correctement les fonctions de profileur et de désirabilité. Il n'est pas faux d'utiliser la désirabilité = (0,1), mais vous pouvez essayer d'utiliser des valeurs comme 1 pour maximiser et 2 pour la différence et voir si cela vous rapproche de ce que vous voulez. La définition des fonctions (limites, importance) est essentielle pour indiquer au profileur ce que vous recherchez.
Cela dit, il n'est pas garanti que vous obtiendrez ce que vous voulez !
Re : Prediction Profiler et fonctions de désirabilitéJe suppose que vous ne vous souciez pas de savoir si la différence R2 est de 0,01 ou 0,1, mais vous vous en souciez progressivement à mesure qu'elle augmente au-dessus d'un certain seuil. Vous pouvez essayer de faire de la différence R2 une formule qui est plate lorsqu'elle est inférieure à une certaine valeur, puis diminue progressivement à mesure qu'elle dépasse cette limite, ou vous pouvez configurer la fonction de désirabilité pour décrire cela.Je fais souvent ce dernier avec la métrique T2 dans les modèles multivariés.Vous pouvez en voir un exemple en passant à environ 16h30 dans la vidéo liée ci-dessous.
Optimisation des modèles multivariés : de la collecte de données aux conditions optimales et aux modèles de notation (2021-US-45MP-927)
Re : Prediction Profiler et fonctions de désirabilitéVous pouvez également modifier la forme du graphique de la désirabilité pour indiquer qu'une plus grande différence est une plus grande pénalité. Il n'est pas nécessaire qu'il soit linéaire avec une valeur médiane au centre.
Remarque : vous pouvez contrôler le clic (Windows) ou le clic de commande (macOS) sur le tracé du graphique de fonction et modifier rapidement les valeurs pendant que vous essayez différents schémas. Je recommande de NE PAS modifier la désirabilité, mais uniquement de modifier les niveaux de réponse. Déplacez la valeur centrale vers une extrémité pour la rendre non linéaire.
Re : Prediction Profiler et fonctions de désirabilitéSalut @markbailey et @ih ,
@markbailey , votre première réponse en était une qui "le fera fonctionner". Malheureusement, ce n'est pas un processus d'optimisation automatisé, il ne trouve donc pas les conditions optimales de manière itérative. Néanmoins, il est certainement assez facile de modifier manuellement l'importance relative de chaque réponse.
En utilisant un mélange de votre suggestion et @ih La suggestion de s'avère être plus conforme à ce que je pense finalement que j'aimerais qu'il fasse. Il y a juste beaucoup d'ajustements manuels des fonctions de désirabilité - soit en changeant les nombres à la main, soit en déplaçant les petites cases dans le graphique. Ce serait bien d'avoir une méthode plus automatisée et un peu moins subjective pour atteindre mon objectif final.
@ih vous avez en partie raison de dire que je me fiche de savoir si le R2 Diff est de 0,01 ou de 0,1, cependant, si j'ai un R2 Diff de 0,1 et que mon R2 d'entraînement est de 0,8 et que mon R2 de validation est de 0,7, je préférerais cela à un R2 Diff de 0.01 si ma formation est à 0.31 et ma validation est à 0.3. En pratique, mes ensembles de données ont tendance à se comporter davantage comme ces derniers plutôt que comme les premiers - j'aimerais pouvoir faire en sorte que mes deux R2 soient aussi élevés que 0,8 et 0,7 !
Mélanger les deux suggestions me donne beaucoup à jouer, j'aimerais juste que ce soit un peu moins subjectif.
Merci pour les commentaires!,
DS
