Puis-je vérifier le score F 1 dans JMPSalut! Je me demande si je peux vérifier le score F1 dans JMP pro lorsque je compare différents modèles ?
JMP fournit-il également une valeur de précision ou de rappel pour les modèles ?
Merci beaucoup!!
Re : Puis-je vérifier le score F1 dans JMPF1 est indiqué dans la section Seuil de décision sous Comparaison de modèles.Pour l'utiliser, vous devez enregistrer votre formule de prédiction dans la table de données, puis exécuter Analyse > Modélisation prédictive > Comparaison de modèles .Alors choisi Seuil de décision sous le petit triangle rouge.
Re : Puis-je vérifier le score F1 dans JMPBonjour @Oleg ,
@Jenny a écrit:
... je n'ai pas trouvé de précision et de rappel lors de la comparaison de modèles. Je me demande si JMP a ces valeurs.
JMP n'a pas ces valeurs de manière native sur la plupart des plates-formes (depuis la sortie de JMP 16.2), et comme @Duane_Hayes répondu en 2017, mais ils peuvent être calculés à partir des résultats actuellement fournis.
@Jenny a écrit:
D'après ce que j'ai compris, nous nous soucions parfois davantage de précision ou rappel que taux d'erreur de classification dans différentes situations, n'est-ce pas ? .
Oui, c'est ma compréhension.
À cette fin,
Je joins un exemple de calculs dans des formules de colonnes dans JMP où l'exactitude, le score F1, la précision et le rappel sont calculés, en utilisant les formules que j'ai pu trouver facilement. Ceux de Précision et de Rappel sont cohérents avec ce que @Jenny fourni (voir également p. 144 de « The StatQuest Illustrated Guide to Machine Learning !!! » par Josh Starmer, Ph.D, © 2022).Les formules de précision et de F1-Score peuvent être trouvées ici, entre autres endroits (Wikipedia) : https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc .Cet exemple provient de l'exemple de fichier de données VSSTeamData.jmp disponible dans le cadre du cours gratuit de statistiques appliquées en ligne de JMP, CONSEILS . Les calculs sont cohérents avec ce qui est rapporté par JMP dans la sortie Confusion Matrix associée au modèle de partition généré et enregistré ici en tant que script de table de données enregistrée.
Cliquez sur le bouton de lecture vert à côté du nom du script pour régénérer le modèle après avoir ouvert la table de données .jmp.
J'espère que cette information vous a aidé!-Patrick Giuliano ( @Support technique JMP)
Re : Puis-je vérifier le score F1 dans JMPSalut Ian, vous avez demandé une formule.Jenny en a fourni un.Toujours pas de solution, pourtant la discussion a été visionnée plus de 500 fois. La question a donc du poids.
Re : Puis-je vérifier le score F1 dans JMPQuelqu'un peut-il fournir une réponse claire et succincte à la réponse de Jenny, au lieu de laisser échapper une opinion dans cette discussion ? Ceci n'est pas un blog. Question posée, question répondue. Merci d'avance.
Re : Puis-je vérifier le score F1 dans JMPLes scores F1 (et d’autres mesures de précision populaires) ont été dépréciés dans certains coins de la communauté Machine Learning en raison de leurs performances sous biais. Veuillez vous référer au fichier ci-joint, qui suggère l'utilité des courbes de fonctionnement du récepteur et d'autres mesures.
JMP inclut le ROC (et les courbes de levage) dans certaines plates-formes.
Re : Puis-je vérifier le score F1 dans JMPCe type de question peut être adressé à Assistance technique JMP pour que nous puissions nous impliquer.
En ce qui concerne la question, JMP donne des mesures de sensibilité et de spécificité 1 dans le tableau ROC lorsque l'élément de menu « Courbe ROC » est sélectionné, ainsi que les vrais positifs, les vrais négatifs, les faux positifs et les faux négatifs.F1 n'est pas spécifiquement répertorié, mais, à partir de la description, il peut être calculé avec ces mesures.
Re : Puis-je vérifier le score F1 dans JMPUn sage a dit un jour que "la seule denrée rare est le temps", et je pense qu'il est entendu que la communauté s'appuie sur des connaissances issues du crowdsourcing (des utilisateurs et du personnel de JMP) et ne pourrait pas fonctionner efficacement si elle dépendait d'un petit groupe.
Outre la Communauté, il y a aussi la canal d'assistance officiel , que toute personne détenant une licence pour un produit SAS peut utiliser. L'une des principales différences réside dans le fait qu'il existe des accords de niveau de service pour les délais de réponse et des processus internes de remontée d'informations pour parvenir à une résolution satisfaisante. C'est certainement le meilleur mécanisme pour faire apparaître des bogues suspectés, mais aussi pour faire des demandes de nouvelles fonctionnalités. De plus, « Comment puis-je ? » » ou « Je suis habitué au logiciel X mais je n'arrive pas à faire la même chose dans JMP » recevront également une réponse, mais dans ce cadre plus rigoureux et prévisible.
Donc, pour les bugs et les fonctionnalités, ou si la communauté ne semble pas répondre, j'envisagerais certainement également cette chaîne. Et, pour énoncer une évidence peut-être, il n’est pas nécessaire que ce soit « l’un ou l’autre ». De nombreux fils de discussion communautaires ont conduit à des pistes de support.
Re : Puis-je vérifier le score F1 dans JMPSalut Ian,
Je suis un peu surpris de votre réponse. Ce n'est pas trop d'effort (surtout pour un expert JMP) de rechercher sur le Web "score F1", de s'auto-éduquer et de répondre à l'utilisateur avec une réponse significative. De plus, le demandeur a fourni des informations supplémentaires, mais n’a jamais reçu de soutien significatif. Cela surprend aussi.
Pourriez-vous, ou toute autre personne possédant l'expertise appropriée, aider la communauté JMP à répondre à cette question. score F1 est une mesure clé dans la régression logistique (ou tout modèle avec réponse nominale) et les niveaux de réponse déséquilibrés (beaucoup plus de vrais négatifs que de vrais positifs). Très appréciée. Comme indiqué, Wikipédia décrit ces concepts en détail.
Le lien de comparaison de modèles que vous avez fourni est élaboré, mais il semble manquer le calcul du score F1. Je suis sûr que cela peut être fait à la main, mais, s'il manque dans JMP, cela devrait être fortement considéré comme une fonctionnalité. Merci d'avance.
Re : Puis-je vérifier le score F1 dans JMPSalut! Merci beaucoup pour votre réponse. Le score F1 est une mesure de la précision du test. Voici le lien de wilipedia sur le score F1. https://en.wikipedia.org/wiki/F1_score
Et pour la deuxième question, oui, je pense aux valeurs prédites.
Précision =Vrais positifs/(Vrais positifs +Faux positifs)
et rappel = Vrais points positifs /( Vrais points positifs +Faux Négatifs)
Je n'ai pas trouvé de précision et de rappel lors de la comparaison des modèles. Je me demande si JMP a ces valeurs. D'après ma compréhension, nous pouvons parfois nous soucier davantage de la précision ou du rappel que du taux d'erreurs de classification dans différentes situations, n'est-ce pas ?
Re : Puis-je vérifier le score F1 dans JMPJe suppose que vous avez regardé le Comparaison des modèles plate-forme dans JMP Pro. Malheureusement, je ne connais pas le « score F1 », alors pouvez-vous donner plus de détails ou un lien, s'il vous plaît ? Concernant votre deuxième question, pensez-vous aux valeurs prédites et à leurs incertitudes ?
