Plateforme de sélection de modèles : option « Mémoriser les paramètres » sous le profileur de seuil de décisionJ'aime beaucoup la nouvelle option de plate-forme Model Screening dans JMP sous Analyse > Predictive Modeling > Model Screening, comme référencée dans : Filtrage de modèles dans JMP Pro 16
https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .
Une fonctionnalité qui, à mon avis, serait particulièrement utile pour moi - dans le contexte de cet exemple ou autre - serait une option similaire au Prediction Profiler lorsque je spécifie des modèles d'ajustement sur certaines plates-formes dans JMP (comme Analyser > Ajuster le modèle) - pour " "Mémoriser les paramètres" afin que je puisse "basculer" efficacement entre différents scénarios de compromis pour les taux de faux positifs et de faux négatifs.
L'option permettant de "profiler" le niveau de probabilité du seuil de décision afin d'ajuster le modèle pour qu'il se concentre sur la minimisation des faux négatifs au détriment potentiel de l'augmentation des faux positifs est le scénario qui m'intéresse particulièrement.Du point de vue du risque qualité (protéger l’utilisateur final au prix de rebuts de fabrication plus élevés), un nombre plus élevé de fausses alarmes peut être toléré.
Voici une image qui illustre ce dont je parle (juste une sortie "Mémoriser les paramètres" simple de la plate-forme d'ajustement du modèle sous le profileur de prédiction après avoir sélectionné "Mémoriser les paramètres" à diverses combinaisons de paramètres d'entrée de X sur Y (même Diabète.jmp exemple d'ensemble de données :
Merci!
Exploration et visualisation des donnéesRe : Plateforme de sélection de modèles : option « Mémoriser les paramètres » sous le profileur de seuil de décisionJe demanderais une clarification de ce souhait : souhaitez-vous que le même seuil de probabilité s'applique à tous les modèles ou demandez-vous qu'un seuil « optimal » pour chaque modèle soit mémorisé et comparé ?Si c’est le premier cas, je pense que c’est une mauvaise idée.La distribution des probabilités varie considérablement selon les modèles, de sorte que différents seuils seront probablement choisis pour différents modèles.Dans ce dernier cas, je ne sais pas comment cela serait mis en œuvre (mais j'aime l'idée).Cela ne peut pas être automatique, comme minimiser les faux négatifs, car cela fixerait simplement les probabilités de seuil = 0. Il faudrait donc vous permettre de choisir des seuils différents pour chaque modèle en fonction de la façon dont vous voyez les compromis - peut-être ceci pourrait être utilisé conjointement avec la matrice de profit (même si je trouve la matrice de profit très difficile à utiliser).
Avoir un simple curseur qui modifie le seuil pour tous les modèles et affiche la matrice de confusion ne me serait pas très utile. Je pense que cela donnerait une illusion de performances relatives du modèle - peu importe qu'un modèle appelle un seuil de 0,15 et un autre de 0,30 - ce qui m'importe, c'est la façon dont chaque modèle peut être utilisé pour faire des prédictions.
