matrice de confusion des seuils alternatifsJ'ai utilisé à plusieurs reprises le complément de matrice de confusion de probabilité de coupure alternative. Soudain, cela produit des résultats absurdes sur certains ensembles de données. J'ai vérifié que cela fonctionne toujours comme prévu sur un ancien ensemble de données. Vous trouverez ci-joint l'un des ensembles de données récents dans lesquels il ne semble pas fonctionner. La variable cible est l'AVC et j'ai une colonne de validation et un certain nombre de probabilités de modèle de prédiction étiquetées avec la probabilité d'un accident vasculaire cérébral étant donné le nom de la méthode de modélisation (par exemple, regardez la colonne intitulée arbre boosté ou régression logistique pour 2 exemples qui sont ne travaille pas proprement). Les accidents vasculaires cérébraux sont très rares (environ 5 %) dans l’ensemble de données et les probabilités dérivées des modèles prédictifs sont donc faibles. Mais lorsque j'utilise le complément et une plage de probabilités seuil de 0,1 à 0,9, je continue à obtenir des prédictions d'accident vasculaire cérébral nulles - ce qui ne correspond pas à la distribution des probabilités de ces modèles (qui, comme je l'ai dit, sont faibles, mais pas nul). Quelqu'un peut-il expliquer pourquoi cela se produit ?
Merci.
Exploration et visualisation des donnéesModélisation prédictive et apprentissage automatiqueRe : Matrice de confusion alternativeSalut, @dale_lehman .
Je suis heureux d'apprendre que vous avez trouvé le complément The Alternate Cut-off Confusion Matrix utile.Il a été développé il y a plusieurs années et était basé uniquement sur les colonnes prédites (ou de probabilité) enregistrées à partir des rapports Partition, Neural (JMP Pro uniquement) ou Fit Model. Ceci est noté dans la description de la colonne Valeur prévue ici .Je serai heureux d'étudier le comportement que vous observez avec d'autres types de prédictions et mettrai à jour cette page avec mes découvertes.
Re : Matrice de confusion alternativeje me demande si @Wendy_Murphrey pourrait avoir une idée de la Complément de matrice de confusion de coupure alternative ici.
Re : Matrice de confusion alternativeJe ne sais pas pourquoi il a cessé de fonctionner, ce serait bien si quelqu'un pouvait comprendre cette partie. J'ai pu vérifier le même comportement que vous avez décrit avec le tableau de données que vous avez fourni. Je ne sais pas pourquoi cela a fonctionné lors de la réexécution des modèles. Je n'ai trouvé aucune anomalie avec les formules ou quoi que ce soit qui le rendrait drôle.Re : Matrice de confusion alternativeDiedrich
Merci - je marquerais votre réponse comme une solution, mais je veux vraiment savoir si quelqu'un peut expliquer pourquoi cela s'est produit.En effet, si je réexécute ces modèles, le complément fonctionne comme prévu, mais ce n'est pas le cas sur le fichier d'origine que j'ai soumis - même si les probabilités produites par ces modèles auraient dû produire les matrices de confusion correctes.Donc, je n'ai aucune idée de la raison pour laquelle le complément a soudainement cessé de fonctionner correctement, puis a de nouveau fonctionné.J'utilise également JMP Pro15.2.1.
Je suis d'accord avec votre autre point sur la stratification de l'ensemble de validation car il est tellement déséquilibré.Je ne l'ai pas fait cette fois-ci, mais j'étais tout à fait conscient de la raison pour laquelle il est logique de le faire.
Re : Matrice de confusion alternativeSalut @dale_lehman ,
Je peux confirmer que le complément de matrice de confusion de coupure alternative ne fonctionne pas sur les colonnes de prédiction que vous avez mentionnées dans votre message. Cependant, j'ai réexécuté la plate-forme Boosted Tree en suivant les mêmes prédicteurs et réponses que vous avez utilisés, même vérifié que l'équation était la même, mais le complément de matrice de coupure alternative a fonctionné correctement sur cette nouvelle formule. J'ai trouvé la même chose avec la logistique nominale en forme. Si je le relance (je me retrouve avec une équation différente), je peux exécuter la coupure alternative et cela fonctionne comme prévu. J'utilise JMP Pro 15.2.1. Il y a peut-être quelque chose qui ne va pas avec vos deux crises. Avez-vous vérifié les courbes ROC pour les ajustements pour voir si elles sont au-dessus de la ligne diagonale. Il n'y avait pas de script enregistré pour ces deux formules modèles dans votre tableau, il est donc difficile d'évaluer dans quelle mesure les ajustements fonctionnent. Avez-vous essayé de réajuster les modèles d'arbres logistiques et boostés pour voir si les nouvelles équations fonctionnent ? Lorsque je les exécute une deuxième fois, cela fonctionne avec le complément.
Sur une autre note, j'ai remarqué que vous avez utilisé une graine aléatoire pour générer votre colonne de validation. Étant donné que vous avez très peu d'instances de stroke==1, vous pouvez envisager de créer une colonne de validation stratifiée sur le trait afin qu'elle puisse en tenir compte. De plus, lors de l'exécution de l'ajustement logistique nominal, il peut être préférable de modéliser le niveau cible : 1 plutôt que 0, puisque vous essayez probablement de prédire la probabilité d'un AVC (AVC==1) par rapport à la probabilité d'absence d'AVC ( trait==0).
Juste quelques pensées. J'espère que cela t'aides.
Bonne chance!,
DS
