comment comparer la sensibilité et la spécificité de plusieurs méthodes ?Salut tout le monde
J'ai des données pour une méthode de référence et trois méthodes alternatives. J'ai des colonnes pour chacune des trois méthodes alternatives qui, pour chaque ligne, indiquent si l'échantillon est un vrai positif (TP), un faux positif (FP), un vrai négatif (TN) ou un faux négatif (FN). Je souhaite évaluer la différence de signification entre les trois méthodes pour la sensibilité (TP/(TP+FN)), la spécificité (TN/(TN+FP)), la valeur prédictive positive (TP/(TP+FP)), la valeur prédictive négative (TN/(TN+FN)) et précision ((TP+TN)/total).
Comment puis-je créer une statistique récapitulative à partir d'une formule de telle sorte que je puisse savoir si les différentes méthodes sont significativement différentes les unes des autres ?
Maureen
Modélisation statistique avancéeExploration et visualisation des donnéesRe : comment comparer la sensibilité et la spécificité de plusieurs méthodes ?Salut @Maureen ,
Il semble que vous vouliez faire quelque chose comme une matrice de profit ou un apprentissage sensible aux coûts. Cela se ferait en effectuant un ajustement logistique nominal dans la plate-forme de modèle d'ajustement.
Soit cela, soit vous devrez reproduire votre expérience plusieurs fois pour rassembler suffisamment de statistiques pour chaque méthode afin que vous puissiez déterminer les valeurs p pour les statistiques récapitulatives de sensibilité, de spécificité, etc.
Par exemple, si l'exécution 1 de l'expérience aboutit :
Réf = TP
A = PF
B = TP
C = FN
Mais si vous répétez l'exécution 1 (après avoir parcouru toutes les autres exécutions), vous obtiendrez peut-être :
Réf = TP
A = FP
B = FN
C = TP
Cela entraînerait que le nombre numérique soit différent pour l'exécution 1 pour les différentes méthodes. Par conséquent, si vous effectuez ensuite un ajustement Y par X, où l'axe des y représente les décomptes pour chacune des différentes exécutions et l'axe des x représente les différentes méthodes (réf, a, b, c), alors chaque méthode (sauf peut-être la méthode de référence) devrait avoir un écart dans les décomptes, ce qui entraînerait des statistiques récapitulatives légèrement différentes. L'ANOVA examinerait les moyennes et les écarts types de ces statistiques récapitulatives pour déterminer s'il existe des différences significatives entre les méthodes. Puisque vous compareriez quatre méthodes différentes, vous voudriez faire une analyse Tukey-Kramer des moyennes plutôt qu'une analyse Student's-t.
Une autre option serait de recourir à une analyse de Bland-Altman. Vous devrez recoder les TP, TN, FP, FN en valeurs numériques réelles. Voir par exemple ici . Cette analyse compare la différence d'une méthode (à la référence) et la compare à la moyenne de la référence à la mesure. En d’autres termes, il s’agirait de DIF = Ref-A (sur l’axe des y) et AVG = (Ref+A)/2 (sur l’axe des x). Vous pouvez faire cette analyse sur le FP, le TN, etc. ou les statistiques récapitulatives.
En fonction du nombre de lignes (exécutions expérimentales dont vous disposez), je pense qu'il serait peut-être préférable de faire une analyse comme dans le premier paragraphe.
Comme mentionné précédemment, si vous pouvez partager votre table de données (vous pouvez toujours l'anonymiser (Tables > Anonymiser)), il serait beaucoup plus facile de déterminer exactement comment vous aider.
Bonne chance!,
DS
Re : comment comparer la sensibilité et la spécificité de plusieurs méthodes ?merci. Tout cela fonctionne comme vous l'avez décrit. Mais je veux un moyen de prouver statistiquement s'il existe des différences significatives entre les méthodes de ces statistiques récapitulatives.
Je peux faire des tableaux de contingence avec les entrées, mais chaque statistique récapitulative est une combinaison de deux entrées donc je ne sais pas si une différence significative dans le nombre de FP se traduit par une différence significative dans les deux calculs qui l'utilisent (spécificité et positif). valeur prédictive)
Re : comment comparer la sensibilité et la spécificité de plusieurs méthodes ?Salut @Maureen ,
Je pense comprendre comment vos données sont organisées. Si je le fais, et si je comprends comment vous essayez de résumer l’évaluation statistique de chaque méthode, vous devrez effectuer quelques manipulations du tableau de données pour l’obtenir dans le bon format. Voici ce que je ferais :
- Faites un résumé de vos données empilées où vous placez la colonne contenant le TP, FP, TN, FN dans l'entrée "Groupe", puis la colonne qui contient l'information si la ligne était une référence, une méthode A, une méthode B ou une méthode C. comme "Sous-groupe" (assurez-vous de décocher la case "lien vers la table de données d'origine"). Cela crée une nouvelle table de données avec une colonne de caractères FN, TN, etc., une colonne "N Lignes" qui indique combien de lignes avaient cette valeur, puis plusieurs autres colonnes avec des noms comme N (Méthode A), N (méthode
, N (référence), etc. Ces colonnes contiennent les comptes de chacun des événements TP, FP, TN, FN. - Il vous faudra ensuite transposer ce tableau. Vous souhaiterez placer toutes les colonnes intitulées "N (nom de quelque chose)" dans la sélection "Transposer les colonnes", puis pour "Étiquette", vous souhaiterez utiliser la colonne (peut-être nommée "Données") contenant le Valeurs TP, TN, etc. Cela générera une nouvelle table de données comportant une colonne appelée "Label", qui contiendra les noms de colonnes de la table précédente, c'est-à-dire "N (méthode A)" et ainsi de suite. Il y aura désormais des colonnes avec les noms « TP », « TN », « FP », « FN » et chaque ligne contiendra le nombre de fois où cet événement particulier s'est produit pour la méthode spécifique.
- Maintenant, vous allez créer vos colonnes de résumé de statistiques sous forme de formules. La spécificité sera TP/(TP+FN), et ainsi de suite pour chacune des statistiques récapitulatives que vous souhaitez calculer.
- La dernière étape consisterait à tracer à l'aide de la plateforme Fit Y by X. Vous utiliseriez la colonne "Étiquette" comme facteur X (il s'agit de la colonne contenant des valeurs telles que "N (méthode A)", etc. et votre statistique récapitulative (sensibilité, spécificité, etc.) comme réponse Y. Malheureusement, comme il s'agit d'une statistique récapitulative et que vous ne regardez pas les statistiques de chaque ligne, vous ne pourrez pas effectuer d'ANOVA sur les données. Vous pourrez voir l’image globale de chaque méthode et la qualité de chaque méthode pour les différentes statistiques.
J'espère avoir bien compris le problème. Encore une fois, il est utile de pouvoir voir la structure des données pour savoir exactement comment se déplacer d'où vous êtes à là où vous voulez être.
J'espère que cela t'aides!,
DS
Re : comment comparer la sensibilité et la spécificité de plusieurs méthodes ?Les valeurs sont littéralement des caractères indiquant « TP », « TN », « FP », « FN ». Ainsi, les calculs de sensibilité, de spécificité, etc. sont une statistique récapitulative de la méthode utilisant le nombre de valeurs, et non quelque chose de calculé pour chaque ligne. J'ai les données empilées et je peux faire du chi carré pour les quatre comptes, mais chaque statistique récapitulative n'utilise que deux des quatre options disponibles, donc je ne sais pas comment faire un chi carré avec, par exemple, uniquement le nombre de TP et FN. qui sont utilisés pour calculer la sensibilité sans prendre en compte le TN et le FP dans la signification globale du chi carré.
Re : comment comparer la sensibilité et la spécificité de plusieurs méthodes ?Salut @Maureen ,
Il existe plusieurs façons de procéder, et cela dépend de la disposition de votre table. S'il est empilé, ce qui signifie que vous avez une colonne intitulée "Méthode" par exemple, et qu'elle contient des entrées possibles de "référence", "Alt A", "Alt B", etc., alors vous créerez une colonne de statistiques pour chacune des colonnes. les statistiques que vous consultez, la sensibilité, la spécificité, etc. Où chaque statistique est calculée par les formules dont vous disposez. Vous feriez ensuite une ANOVA sur la colonne empilée pour la sensibilité, etc. L'analyse ANOVA devrait vous donner une idée s'il existe une différence significative dans la sensibilité de A vs B vs C, etc. Les empiler aidera vraiment à voir non seulement comment chacune des trois méthodes alternatives se compare à la référence, mais aussi comment ils se comparent tous les uns aux autres.
Si votre table est organisée par lignes par l'exécution expérimentale, vous souhaiterez alors créer de nouvelles tables de données dans lesquelles vous empilerez les colonnes de statistiques afin d'exécuter l'ANOVA.
Il peut être plus facile de résoudre votre problème spécifique si vous êtes en mesure de partager le tableau de données (de l'anonymiser si nécessaire) pour mieux comprendre la structure des données et où vous essayez d'aller.
Par curiosité, vos valeurs TP, FN, TN, FP sont-elles binaires 0 ou 1, ou sont-elles comprises entre 0 et 1 ? Souhaitez-vous également additionner les statistiques (sensibilité, etc.) de toutes les exécutions de l'expérience pour comparer les valeurs globales, ou les évaluer exécution par exécution ?
J'espère que cela t'aides!,
DS
