matrice de confusion des seuils alternatifsJ'ai utilisé plusieurs fois le complément de matrice de confusion de probabilité de coupure alternative.Soudain, il produit des résultats insensés sur certains ensembles de données.J'ai vérifié que cela fonctionne toujours comme prévu sur un ancien ensemble de données.Vous trouverez ci-joint l'un des ensembles de données récents dans lesquels il ne semble pas fonctionner.La variable cible est Stroke et j'ai une colonne Validation et un certain nombre de probabilités de modèle de prédiction étiquetées avec la probabilité d'un accident vasculaire cérébral étant donné le nom de la méthode de modélisation (par exemple, regardez la colonne intitulée arbre boosté ou régression logistique pour 2 exemples qui sont ne travaille pas proprement).Les accidents vasculaires cérébraux sont très rares (environ 5%) dans l'ensemble de données et les probabilités dérivées des modèles prédictifs sont proportionnellement faibles.Mais lorsque j'utilise le complément et une plage de probabilités de coupure de 0,1 à 0,9, je continue à obtenir zéro prédiction d'AVC - ce qui ne correspond pas à la distribution des probabilités de ces modèles (qui, comme je l'ai dit, sont faibles, mais pas zéro).Quelqu'un peut-il expliquer pourquoi cela se produit?
Merci.
AnalytiqueRe: matrice de confusion des seuils alternatifssalut @dale_lehman ,
Je peux confirmer que le complément de matrice de confusion de seuil alternatif ne fonctionne pas sur les colonnes de prédiction que vous avez mentionnées dans votre message. Cependant, j'ai relancé la plate-forme Boosted Tree en suivant les mêmes prédicteurs et la même réponse que vous avez utilisés, même vérifié que l'équation était la même, mais le complément de matrice de coupure alternative fonctionnait correctement sur cette nouvelle formule. J'ai trouvé la même chose avec la logistique nominale en forme. Si je le relance (je me retrouve avec une équation différente), je peux exécuter la coupure alternative et cela fonctionne comme prévu. J'utilise JMP Pro 15.2.1. Quelque chose ne va pas avec vos deux crises. Avez-vous vérifié les courbes ROC pour les ajustements pour voir s'ils sont au-dessus de la ligne diagonale. Il n'y avait pas de script enregistré pour ces deux formules de modèle dans votre tableau, il est donc difficile d'évaluer le fonctionnement des ajustements. Avez-vous essayé de réajuster les modèles d'arbres logistiques et améliorés pour voir si les nouvelles équations fonctionnent? Lorsque je les lance une deuxième fois, cela fonctionne avec le complément.
Sur une autre note, j'ai remarqué que vous avez utilisé une graine aléatoire pour générer votre colonne de validation. Comme vous avez très peu d'instances de stroke == 1, vous pouvez envisager de créer une colonne de validation stratifiée sur le stroke afin qu'elle puisse en tenir compte. De plus, lors de l'ajustement logistique nominal, il peut être préférable de modéliser le niveau cible: 1 plutôt que 0, car vous essayez probablement de prédire la probabilité d'un accident vasculaire cérébral (AVC == 1) par rapport à la probabilité d'absence d'AVC ( course == 0).
Juste quelques pensées. J'espère que cela t'aides.
Bonne chance!,
DS
Re: matrice de confusion des seuils alternatifsDiedrich
Merci - Je marquerais votre réponse comme une solution, mais je veux vraiment savoir si quelqu'un peut expliquer pourquoi cela s'est produit.En effet, si je réexécute ces modèles, le complément fonctionne comme prévu, mais il ne l'a pas fait sur le fichier d'origine que j'ai soumis - même si les probabilités produites par ces modèles auraient dû donner les bonnes matrices de confusion.Donc, je n'ai aucune idée pourquoi le complément a soudainement cessé de fonctionner correctement, puis a fonctionné à nouveau.J'utilise également JMP Pro15.2.1.
Je suis d'accord avec votre autre point concernant la stratification de l'ensemble de validation car il est si déséquilibré.Je ne l'ai pas fait cette fois, mais j'étais tout à fait conscient de la raison pour laquelle il est logique de le faire.
Re: matrice de confusion des seuils alternatifsJe ne sais pas pourquoi cela a cessé de fonctionner, ce serait bien si quelqu'un pouvait comprendre cette partie. J'ai pu vérifier le même comportement que vous avez décrit avec le tableau de données que vous avez fourni. Je ne sais pas pourquoi cela a fonctionné lors de la réexécution des modèles. Je n'ai pas trouvé de divergence avec les formules ou quoi que ce soit qui le rendrait drôle.Re: matrice de confusion des seuils alternatifsje me demande si @Wendy_Murphrey pourrait avoir un aperçu de la Complément de matrice de confusion de seuil alternatif ici.
