Un test de diagnostic typique a deux résultats: positif ou négatif, l'objectif étant de classer correctement les sujets en fonction d'un «critère de référence» ou d'un résultat connu. Ces tests de diagnostic comportent des mesures de performance spécifiques permettant d'évaluer la valeur clinique d'un test. Deux mesures de base pour un test de diagnostic sont la sensibilité et la spécificité. La sensibilité est le pourcentage de sujets vrais positifs qui sont testés positifs par votre test et la spécificité est le pourcentage de sujets négatifs qui sont testés négatifs par votre test. Il existe également d'autres mesures d'intérêt, qui sont décrites dans la FDA Guide statistique sur la communication des résultats d'études ayant servi à évaluer des tests de diagnostic . Ces mesures de performance sont basées sur la table de contingence 2x2 de la vérité (c'est-à-dire le diagnostic selon une norme connue - souvent invasive) par rapport au résultat du test.
Par exemple, considérons un exemple tiré de Zhou, et. Al. ( Méthodes statistiques en médecine diagnostique , Wiley 2002).
Notre table de données comporte deux colonnes intéressantes: «Vérité» et «Résultat du test». Nous pouvons obtenir un tableau de contingence (illustré ci-dessous) en utilisant la plate-forme ajustée Y par X avec Y = Vérité et X = Résultat du test. En utilisant ce tableau de contingence, nous pouvons rassembler nos mesures de performance.
Rappelons que la sensibilité est la proportion de vrais positifs positifs à notre test. Pour notre exemple, il s’agit de 29/30 ou de la valeur en pourcentage du col de 96,67 de notre tableau. Une autre mesure de performance est la valeur prédictive négative, ou VPN. La VAN est la proportion de sujets à test négatif qui sont vraiment négatifs. Dans notre exemple, la VAN est 11/12 ou le% de rangée sur 91,67. Ainsi, nos résultats de performance en matière de diagnostic figurent dans notre tableau de contingence si nous savons où regarder. Cependant, leurs intervalles de confiance sont manquants. Pour atteindre les intervalles de confiance, nous pouvons utiliser la plate-forme de distribution dans la mesure où nous utilisons le sous-ensemble correct de sujets pour chaque mesure de performance. La sensibilité est basée sur les vrais positifs; VAN sur ceux dont le test est négatif, et ainsi de suite.
Ayant besoin de mesures de performance de façon régulière et de les partager avec d'autres dans un format clair, je me suis tourné vers JSL. Maintenant le Complément JMP «Mesures de performance» a toutes les statistiques sommaires dont j'ai besoin pour un test de diagnostic en un seul endroit. Lorsque vous appelez le complément, une boîte de dialogue vous permettant de saisir la colonne de diagnostic (résultat réel) et la colonne de résultat du test (résultat de test) s'affiche. Si vous avez une colonne de regroupement, vous pouvez utilisez-le aussi. La boîte de dialogue vous permet également de définir le niveau de signification (pour vos intervalles de confiance).
Ensuite, vous serez invité à indiquer les niveaux correspondant à un test positif. Notez que si vous souhaitez que votre tableau 2x2 soit au format «standard», la cellule supérieure gauche étant la cellule positive / positive, vous devez utiliser les propriétés de la colonne «ordre de valeur» pour définir les résultats positifs en haut valeur pour chacune de vos colonnes.
Le résultat obtenu est le suivant:
La sortie a été construite en fonction de ce dont j'avais le plus souvent besoin: la table de comptage 2x2 et la table de mesures de performance avec intervalles de confiance. J'ai conservé un graphique dans ma sortie pour rester dans l'esprit des plates-formes JMP orientées graphiquement. Le script utilise la plate-forme de modélisation catégorique pour obtenir la table 2x2 et le graphique de fréquence, puis fait référence aux valeurs de la table 2x2 pour générer la table de mesures de performance. Les intervalles de confiance sont les intervalles de confiance des scores, à l'exception de ceux des ratios de vraisemblance, qui sont basés sur la méthode décrite dans l'article: «Ratios de vraisemblance avec confiance: estimation de la taille de l'échantillon pour les études de tests de diagnostic» J Clin Epidemiol . 1991; 44 (8): 763-70. Simel DL, GP Samsa, DB Matchar.
Le script de mesure de performance est disponible dans le cadre du Complément "Outils de diagnostic médical" dans l’échange de fichiers JMP (le téléchargement nécessite une connexion SAS gratuite). Jusqu'à présent, cette boîte à outils comporte deux outils: l'un décrit ci-dessus et un second permettant de calculer des intervalles de confiance pour l'AUC à partir d'une courbe ROC.
Thomas Passler a écrit:
J'essayais de trouver l'outil de diagnostic médical que vous avez décrit dans ce blog mais il semble avoir été supprimé de la base de données? Avez-vous des suggestions? Merci beaucoup
Salut. Ces compléments fonctionnent-ils avec JMP Pro 14? Merci Bill
Salut Bill,
Tant que vous avez la version la plus récente (mise à jour en 2016), elle devrait fonctionner correctement (fonctionne pour moi). Vous pouvez également trouver la macro complémentaire Explorer les seuils d’intérêt dans la classification des modèles. Il inclut l'outil ci-dessus ainsi que des graphiques interactifs.
Blog et liens vers Add-in
https://community.jmp.com/t5/JMP-Add-Ins/Exploring-Model-Classification-Thresholds/ta-p/66964
Découvrir parler avec démo
https://community.jmp.com/t5/Discovery-Summit-2018/Beyond-ROC-Curves-Finding-Meaning-and-Balancing-Trade-Offs-US/ta-p/73708
Karen
