Plateforme de sélection des modèles: option "Mémoriser les paramètres" sous le profileur de seuil de décisionJ'aime beaucoup la nouvelle option de plate-forme de sélection de modèles dans JMP sous Analyse> Modélisation prédictive> Sélection de modèles, comme indiqué dans: https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .
Une fonctionnalité qui me serait particulièrement utile - dans le contexte de cet exemple ou autre - serait une option similaire au Prediction Profiler lorsque je spécifie des modèles d'ajustement dans certaines plates-formes dans JMP (comme Analyser> Ajuster le modèle) - pour " Souvenez-vous des paramètres "afin que je puisse" basculer "efficacement entre différents scénarios de compromis pour les taux de faux positifs et de faux négatifs.
L'option de «profiler» le réglage du niveau sur la probabilité du seuil de décision afin d'ajuster le modèle pour se concentrer sur la minimisation des faux négatifs au détriment potentiel de l'augmentation des faux positifs est le scénario qui m'intéresse particulièrement.Du point de vue du risque de qualité (protection de l'utilisateur final au prix d'une plus grande quantité de déchets de fabrication), des fausses alarmes plus élevées peuvent être tolérées.
Voici une image qui illustre ce dont je parle (juste une sortie simple "Remember Settings" de la plate-forme Fit Model sous le Prediction Profiler après avoir sélectionné "Remember Settings" à diverses combinaisons de paramètres d'entrée de X sur Y (même Diabetes.jmp exemple de jeu de données):
Merci!
AutreStatistiques et analysesRe: Plateforme de sélection des modèles: option "Mémoriser les paramètres" sous le profileur de seuil de décisionJe voudrais demander une clarification de ce souhait: voulez-vous que le même seuil de probabilité s'applique à tous les modèles ou demandez-vous un seuil "optimal" pour que chaque modèle soit mémorisé et comparé?Si le premier, je pense que c'est une mauvaise idée.La distribution des probabilités varie considérablement d'un modèle à l'autre, de sorte que des seuils différents sont susceptibles d'être choisis pour différents modèles.Si ce dernier, alors je ne sais pas comment cela serait mis en œuvre (mais j'aime l'idée).Cela ne peut pas être automatique, comme minimiser les faux négatifs, car cela définirait simplement les probabilités de seuil = 0. Il faudrait donc vous permettre de choisir différents seuils pour chaque modèle en fonction de la façon dont vous visualisez les compromis - peut-être ceci pourrait être utilisé en conjonction avec la matrice de profit (bien que je trouve la matrice de profit très difficile à utiliser).
Avoir un simple curseur qui change le seuil pour tous les modèles et montre la matrice de confusion ne me serait pas très utile. Je pense que cela donnerait une illusion de performances relatives du modèle - je ne me soucie pas vraiment de savoir si un modèle appelle un seuil de 0,15 et un autre de 0,30 - ce qui m'importe, c'est comment chaque modèle peut être utilisé pour faire des prédictions.
