Explorer les seuils de classification des modèlesCe sont des instructions sur la façon de télécharger et d'exécuter le Complément Explorateur de classification de modèles J'ai créé en tant que stagiaire JMP cet été avec @KarenC et @mia_stephens .Ce complément fournit un tableau de bord unifié pour visualiser simultanément les limites du modèle et les compromis d'erreur. Vous pouvez modifier de manière interactive un seuil de modèle et voir immédiatement les résultats propagés dans les mesures de performance, les matrices de confusion et les courbes ROC.
REMARQUE : Cela peut être lent ou geler avec de très grands ensembles de données.
Étape 1 : Téléchargez le fichier .jmpaddin joint et l'exemple de tableau de données.
Data Selection DialogData Selection DialogBoîte de dialogue de sélection de données
Étape 1 : Lancez le Prob[Donut] sur X et la Consommation sur Y. Ces deux colonnes sont obligatoires.
Étape 2 : Définissez votre niveau cible sur "Donut", car c'est ce que prédit le modèle.
Étape 3 : Définissez votre niveau alpha pour l'analyse statistique, qui est laissé à 0,05 par défaut.
Étape 4 : Vous avez la possibilité en haut à droite de choisir la Terminologie de Performance en fonction d'un champ d'application donné, qui est une option purement visuelle pour les libellés des différentes mesures. Dans ce cas, nous le laisserons sur "Général".
Étape 5 : La case à cocher d'accessibilité visuelle est une fonctionnalité permettant de modifier la sortie graphique afin de pouvoir interpréter les résultats sans avoir à distinguer les couleurs sur les graphiques, ce que nous laisserons de côté pour le moment.
Étape 6 : Une fois tous ces paramètres initiaux définis, cliquez sur « OK » pour lancer la plate-forme. Selon la taille de votre ensemble de données et si vous avez utilisé ou non une colonne de validation, le lancement peut prendre quelques secondes.
Interactively Exploring CutoffsInteractively Exploring CutoffsExploration interactive des seuils
Faites-moi savoir si vous avez des commentaires ou des suggestions!
Visualisation de donnéesSciences de la vieModélisation prédictive et exploration de donnéesStatistiquesObjet : Explorer les seuils de classification des modèlesChère Karine,
J'ai revérifié les tableaux 2x2, et ils sont corrects. Vous avez raison, je peux utiliser le complément de performance IVD à la place, mais cela signifie que je dois marquer toutes mes données comme étant positives (en dessous du seuil) ou négatives (au-dessus) et analyser les résultats des balises plutôt que les chiffres d'origine, donc Je n'obtiens pas les beaux visuels "état contre score" de ce script.
Mais j'utiliserai le complément de performance IVD, il me donne les chiffres dont j'ai le plus besoin.
Merci beaucoup pour votre aide!
Objet : Explorer les seuils de classification des modèlesSalut Anne, je ne suis pas exactement sûr... si vous avez le bon TP, TN, etc., vous devriez avoir le bon Se et Sp. Regardez attentivement les tableaux 2x2 pour vous assurer que vous lisez correctement les étiquettes. Convenu que l'outil va utiliser les valeurs à droite (supérieures) au seuil comme positif. Vous pouvez également consulter mon Performance DIV complément qui donnera des performances basées sur deux colonnes nominales (test et vérité) où vous pouvez définir ce qui est positif pour chacune. Peut-être que cela fonctionnera mieux une fois que vous aurez fixé votre seuil (fonctionne également beaucoup plus rapidement). Si vous avez encore des questions continuez à demander.
Karine
Objet : Explorer les seuils de classification des modèlesJ'ai inversé la cible, mais parce que mes échantillons sont considérés comme positifs dessous un certain seuil, le résultat est que, par exemple, là où la spécificité est vraiment de 96,3 %, j'obtiens un résultat de 3,7 %.
Dans la version avant le retournement cible, toutes mes valeurs étaient correctement classées comme vrais positifs, faux négatifs, etc., seules les valeurs de sensibilité et de spécificité étaient inversées. Après le retournement, chaque vrai positif est classé comme faux positif, chaque faux négatif comme vrai négatif et ainsi de suite...
Objet : Explorer les seuils de classification des modèlesIl est possible de définir le niveau cible dans la fenêtre de lancement.
Objet : Explorer les seuils de classification des modèlesCe bouton serait bien d'avoir. Dans ma version du complément, je ne trouve pas de "minimiser le seuil d'erreur de classification". Dois-je modifier certains paramètres de mise en page ?
Objet : Explorer les seuils de classification des modèlesRetournez ce que vous appelez la "cible".
Objet : Explorer les seuils de classification des modèlesChère Karine,
merci pour le complément utile! J'essaie de l'utiliser pour calculer la sensibilité, la spécificité, la VPP et la VPN.
Bien que les chiffres que j'obtiens soient corrects (par rapport aux données de référence sur la sensibilité/spécificité dont je dispose), il s'agit d'échanger la sensibilité avec la spécificité et la VPP avec la VPN.
Je soupçonne que cela peut avoir quelque chose à voir avec le fait que les résultats que j'ai spécifiés comme positifs dans ma colonne de réponse sont inférieurs à un seuil défini, et non supérieurs à un. Avez-vous des conseils sur la façon de résoudre ce problème?
Objet : Explorer les seuils de classification des modèlesJ'espère que vous avez remarqué le bouton "Minimiser les erreurs de classification"... il se trouve dans le plan Définir le seuil de probabilité.
Objet : Explorer les seuils de classification des modèlesExiste-t-il une méthode dans l'Addin pour automatiquement optimiser le seuil de classement (= minimiser le taux d'erreur de classement) ?
Objet : Explorer les seuils de classification des modèlesSi votre colonne "vérité" n'est pas de type caractère, essayez de la changer en type de caractère.
Objet : Explorer les seuils de classification des modèlesOui, je peux exécuter l'exemple des beignets sans aucun problème.
Objet : Explorer les seuils de classification des modèles@Lu
Je ne sais pas pourquoi vous obtenez cette erreur. Si vous cliquez sur le bouton Aide (côté droit) dans le complément, vous obtiendrez un manuel de l'utilisateur. Sinon, sans plus d'informations, il est difficile de savoir pourquoi vous rencontrez des problèmes. Pouvez-vous exécuter les données d'exemple de beignets ?
Karine
Objet : Explorer les seuils de classification des modèlesJ'ai essayé l'Addin sur mes données mais j'obtiens toujours ce message d'erreur : Subscript Range in access or evaluation of assay.
Objet : Explorer les seuils de classification des modèlesMerci Karine ! C'était un succès! Encore un grand merci !
Objet : Explorer les seuils de classification des modèlesSalut tsnow,
Je suppose que l'application a des problèmes avec la quantité de données. Nous avons observé des problèmes avec un grand nombre de lignes, le nombre exact dépendrait probablement de la configuration de la machine. Cependant, tout n'est pas perdu. Avec cette taille de table de données, je pense que vous pouvez prendre un échantillon aléatoire (le sous-ensemble dans une autre table), puis exécuter l'application. Je commencerais par dire 10 % et je verrais si l'application fonctionne. Si c'est le cas, je regarderais 4 à 5 échantillons aléatoires différents de 10 % et je verrais si vous "atterrissez à un endroit similaire", quel que soit l'échantillon. Si oui, vous pouvez probablement répondre à votre question pratique. Sinon, j'exécuterais quelques échantillons supplémentaires et/ou j'essaierais un échantillon plus grand de 20 %, 30 %, jusqu'à ce que vous rencontriez à nouveau le problème de taille.
J'espère que cela t'aides. Vous pouvez également créer le graphique du score par rapport à l'état avec toutes vos données dans Graph Builder comme point de départ pour comprendre les distributions et où un point de coupure pourrait avoir un sens pour votre problème.
Karine
Objet : Explorer les seuils de classification des modèlesBonjour Karen C. J'utilise JMP 14. J'utilise Windows. J'ai 11 221 lignes. Un message disant "ne répond pas" apparaît. Veuillez aider.
Merci
Objet : Explorer les seuils de classification des modèlesBonjour,
Je ne sais pas pourquoi vous rencontrez des problèmes, pouvez-vous fournir plus d'informations ? Quelle version de JMP utilisez-vous ? Mac ou windows ? Est-ce qu'il s'écrase ou se bloque ? Combien de lignes dans votre tableau de données ?
Merci
Objet : Explorer les seuils de classification des modèlesJ'ai essayé plusieurs fois, ça plante à chaque fois. Une alternative ?
Objet : Explorer les seuils de classification des modèlesFormidable! Je cherche souvent un moyen de m'éloigner de l'écran, alors je vais suivre vos conseils et naviguer pendant que je le laisse tourner un peu.
Très apprécié, marxx
Objet : Explorer les seuils de classification des modèlesMarxx,
Si vous voulez l'essayer sur un ensemble de données plus volumineux, essayez de l'exécuter lorsque vous vous éloignez un peu de votre ordinateur, puis voyez s'il s'est exécuté à votre retour. J'ai trouvé que si j'attends, il fonctionnera. Il a juste un "travail" initial à faire pour démarrer.
Karine
Objet : Explorer les seuils de classification des modèlesMerci d'avoir partagé Tarik et le suivi Karen, je serai également intéressé par ce travail avec des ensembles de données plus volumineux lorsqu'ils seront disponibles.
Merci marxx
Objet : Explorer les seuils de classification des modèlesSalut Steve,
Oui, il s'avère que si votre ensemble de données est trop volumineux (essayez N <1000), le complément peut "geler" JMP. Je n'ai pas eu de plantage, juste que JMP se bloque comme vous l'avez vécu. Nous examinons ce problème de performance. En attendant, essayez un sous-ensemble aléatoire de vos données d'intérêt pour au moins commencer à explorer les seuils. Restez à l'écoute!
Merci,
Karine
Objet : Explorer les seuils de classification des modèlesCe complément est un excellent ajout à JMP. J'utilise 14.1 et cela fonctionne bien sur les données Donut. Cependant, il verrouille JMP puis se bloque sur presque tous les autres ensembles de données que j'ai choisis. Des suggestions sur ce qui peut mal se passer ?
Merci.
Steve Powell
