74926_fr-FR

liliconcom

Aide avec l'ajustement logistique nominal : Matrice de confusion vs sortie de la table ROC ?

Salut la communauté JMP,

 

J'étudie l'ajustement logistique nominal pour déterminer la valeur d'un biomarqueur de base pour prédire le résultat d'un traitement clinique.

 

Je pensais avoir compris le concept de la matrice de confusion : elle renvoie les nombres de vrais positifs, vrais négatifs, faux positifs et faux négatifs pour un modèle donné pour l'ensemble de données d'apprentissage et, s'il est défini, l'ensemble de validation. Cependant, lorsque je compare la matrice de confusion au meilleur résultat de la table ROC (valeur SENSIBILITÉ maximale - (1 - SPÉCIFICITÉ)), j'ai du mal à concilier les deux.

 

Par exemple, j'ai un modèle avec un ROC AUC = 0,654 (association plutôt faible) où la matrice de confusion renvoie :

		Prédit	Prédit
		OUI	NON
RÉEL	OUI	1	82
RÉEL	NON	1	278

 

--> ce qui est vraiment mauvais (en fait pire que prévu pour la valeur ROC AUC).

Pour le même modèle, la meilleure combinaison de la SENSIBILITÉ et de la SPÉCIFICITÉ de la table ROC est :

 

Prob	1-SPEC	SENS	CAPTEUR - (1-SPEC)	Position vraie	Vrai négatif	Faux Pos	Faux négatif
0,2797	0,2437	0,5060	0,2623	42	211	68	41

 

--> ce qui est assez mauvais mais plus conforme au résultat attendu d'un modèle avec un ROC AUC = 0,654

Donc, mes questions sont :

• Quelle est la principale différence entre la matrice de confusion et la "meilleure" ligne du tableau ROC ?
  • Est-ce parce que le premier utilise la probabilité la plus élevée et que le second utilise la meilleure combinaison de SENSIBILITÉ et de SPÉCIFICITÉ ?
• Si je devais présenter ces résultats, quelle serait la meilleure option pour présenter la valeur prédictive positive et la valeur prédictive négative ?

Merci de votre aide.

 

Sincèrement,

 

TS

Re : Aide avec l'ajustement logistique nominal : Matrice de confusion vs sortie de la table ROC ?

La matrice de confusion et le ROC sont différents. Vous comprenez la matrice de confusion telle qu'elle est décrite. Dans cet exemple, vous n'avez pratiquement aucune sensibilité (1/83) mais une assez bonne spécificité (278/279).

 

Le ROC évalue simultanément la sensibilité et la spécificité, donc dans l'ensemble, il semble un peu mieux que le hasard (AUC = 0,654).

 

La matrice de confusion correspond à un seuil et la courbe ROC utilise chaque observation comme seuil, y compris l'observation qui produit la plus grande séparation.