comment comparer la sensibilité et la spécificité entre plusieurs méthodes?salut à tous
J'ai des données pour une méthode de référence et trois méthodes alternatives. J'ai des colonnes pour chacune des trois méthodes alternatives qui, pour chaque ligne, indiquent si l'échantillon est un vrai positif (TP), un faux positif (FP), un vrai négatif (TN) ou un faux négatif (FN). Je veux évaluer la différence de signification entre les trois méthodes pour la sensibilité (TP / (TP + FN)), la spécificité (TN / (TN + FP)), la valeur prédictive positive (TP / (TP + FP)), la valeur prédictive négative (TN / (TN + FN)) et précision ((TP + TN) / total).
Comment puis-je créer une statistique récapitulative à partir d'une formule telle que je puisse dire si les différentes méthodes sont significativement différentes les unes des autres?
Maureen
AnalytiqueRe: comment comparer la sensibilité et la spécificité entre plusieurs méthodes?salut @Maureen ,
Il y a plusieurs façons de procéder, et cela dépend de la disposition de votre tableau. Si elle est empilée, c'est-à-dire que vous avez une colonne intitulée "Méthode" par exemple, et qu'elle a des entrées possibles de "référence", "Alt A", "Alt B", etc., alors vous créerez une colonne statistique pour chacun des les statistiques que vous regardez, la sensibilité, la spécificité, etc. Où chaque statistique est calculée par les formules que vous avez. Vous feriez alors une ANOVA sur la colonne empilée pour la sensibilité, etc. L'analyse ANOVA devrait vous donner une idée s'il y a une différence significative dans la sensibilité de A vs B vs C, etc. L'empiler aidera vraiment à voir non seulement comment chacune des trois méthodes alternatives se compare à la référence, mais comment ils se comparent tous.
Si votre table est organisée en ligne par l'exécution expérimentale, vous voudrez créer une nouvelle table de données dans laquelle vous empilez les colonnes stat afin d'exécuter l'ANOVA.
Il peut être plus facile de résoudre votre problème spécifique si vous êtes en mesure de partager le tableau de données (anonymisez-le si nécessaire) pour mieux comprendre la structure des données et où vous essayez d'aller.
Par curiosité, vos valeurs TP, FN, TN, FP sont-elles binaires 0 ou 1, ou sont-elles comprises entre 0 et 1? Souhaitez-vous également additionner les statistiques (sensibilité, etc.) de toutes les exécutions de l'expérience pour comparer les valeurs agrégées, ou l'évaluer exécution par exécution?
J'espère que cela t'aides!,
DS
Re: comment comparer la sensibilité et la spécificité entre plusieurs méthodes?Les valeurs sont littéralement des caractères qui disent "TP", "TN", "FP", "FN". Ainsi, les calculs de sensibilité, de spécificité, etc. sont une statistique récapitulative pour la méthode utilisant le décompte des valeurs, et non quelque chose de calculé pour chaque ligne. J'ai les données empilées et je peux faire du chi carré pour les quatre comptes, mais chaque statistique récapitulative n'utilise que deux des quatre options disponibles, donc je ne sais pas comment faire un chi carré avec, par exemple, uniquement le nombre de TP et FN qui sont utilisés pour calculer la sensibilité sans prendre le TN et FP dans cette signification globale du chi carré.
Re: comment comparer la sensibilité et la spécificité entre plusieurs méthodes?salut @Maureen ,
Je pense comprendre comment vos données sont organisées. Si je le fais, et si je comprends comment vous essayez de résumer l'évaluation statistique de chaque méthode, vous allez devoir faire une manipulation de la table de données pour l'obtenir dans le bon format. Voici ce que je ferais:
- Faites un récapitulatif de vos données empilées où vous mettez la colonne contenant le TP, FP, TN, FN dans l'entrée "Groupe", puis la colonne qui contient les informations si la ligne était référence, méthode A, méthode B ou méthode C comme "Sous-groupe" (assurez-vous de décocher la case "Lien vers la table de données d'origine"). Cela crée une nouvelle table de données avec une colonne de caractères FN, TN, etc., une colonne "N lignes" qui indique combien de lignes avaient cette valeur, puis plusieurs autres colonnes avec des noms comme N (méthode A), N (méthode
, N (référence), etc. Ces colonnes contiennent les décomptes de chacun des événements TP, FP, TN, FN. - Vous devrez ensuite transposer ce tableau. Vous voudrez mettre toutes les colonnes intitulées «N (nom de quelque chose)» dans la sélection «Transposer les colonnes», puis pour «Étiquette», vous voudrez utiliser la colonne (peut-être nommée «Données») contenant le Valeurs TP, TN, etc. Cela générera une nouvelle table de données qui a une colonne appelée "Label", qui contiendra les noms de colonne de la table précédente, c'est-à-dire "N (méthode A)" et ainsi de suite. Il y aura maintenant des colonnes avec les noms "TP", "TN", "FP", "FN" et chaque ligne contiendra le décompte du nombre de fois que l'événement particulier s'est produit pour la méthode spécifique.
- Maintenant, vous allez créer vos colonnes de résumé statistique sous forme de formules. La spécificité sera TP / (TP + FN), et ainsi de suite pour chacune des statistiques récapitulatives que vous souhaitez calculer.
- La dernière étape serait de tracer à l'aide de la plate-forme Fit Y by X. Vous utiliseriez la colonne «Étiquette» comme facteur X (c'est la colonne contenant des valeurs comme «N (méthode A)», etc. et votre statistique récapitulative (sensibilité, spécificité, etc.) comme réponse Y. Malheureusement, comme il s'agit d'une statistique récapitulative et ne regardant pas les statistiques de chaque ligne, vous ne pourrez pas faire une ANOVA sur les données. Vous serez en mesure de voir l'image globale de chaque méthode et la qualité de chaque méthode pour les différentes statistiques.
J'espère avoir bien compris le problème. Encore une fois, il est utile de pouvoir voir la structure des données pour savoir exactement comment passer de l'endroit où vous êtes à l'endroit où vous voulez être.
J'espère que cela t'aides!,
DS
Re: comment comparer la sensibilité et la spécificité entre plusieurs méthodes?Merci. Tout cela fonctionne comme vous l'avez décrit. Mais je veux un moyen de prouver statistiquement s'il existe des différences significatives entre les méthodes de ces statistiques sommaires.
Je peux faire des tableaux de contingence avec les entrées, mais chaque statistique récapitulative est une combinaison de deux entrées donc je ne suis pas sûr si une différence significative dans le nombre de FP se traduit par une différence significative dans les deux calculs qui l'utilisent (spécificité et positif valeur prédictive)
Re: comment comparer la sensibilité et la spécificité entre plusieurs méthodes?salut @Maureen ,
Il semble que vous vouliez faire quelque chose comme une matrice de profit ou un apprentissage sensible aux coûts. Cela se ferait en effectuant un ajustement logistique nominal dans la plate-forme du modèle d'ajustement.
Soit cela, soit vous devrez répliquer votre expérience plusieurs fois pour collecter suffisamment de statistiques pour chaque méthode pour que vous puissiez déterminer les valeurs p pour les statistiques récapitulatives de sensibilité, de spécificité, etc.
Par exemple, si l'exécution 1 de l'expérience aboutit à:
Réf = TP
A = FP
B = TP
C = FN
Mais, si vous répétez à nouveau l'exécution 1 (après avoir parcouru toutes les autres exécutions), vous obtenez peut-être:
Réf = TP
A = FP
B = FN
C = TP
Cela entraînerait un décompte numérique différent pour l'exécution 1 pour les différentes méthodes. En conséquence, si vous effectuez ensuite un ajustement Y par X, où l'axe des y est le décompte pour chacune des différentes courses et l'axe des x est les différentes méthodes (ref, a, b, c), alors chaque méthode (sauf peut-être la méthode de référence) devrait avoir un écart dans les dénombrements, ce qui donnerait des statistiques récapitulatives légèrement différentes. L'ANOVA examinerait les moyennes et les écarts types de ces statistiques récapitulatives pour déterminer s'il existe des différences significatives entre les méthodes. Puisque vous comparez quatre méthodes différentes, vous voudrez faire une analyse Tukey-Kramer des moyennes plutôt que d'un Student's-t.
Une autre option serait de se pencher sur une analyse Bland-Altman. Vous auriez à recoder le TP, TN, FP, FN en valeurs numériques réelles. Voir par exemple Ici . Cette analyse compare la différence d'une méthode (à la référence) et la compare à la moyenne de la référence à la mesure. En d'autres termes, il regarderait DIF = Ref-A (sur l'axe y) et AVG = (Ref + A) / 2 (sur l'axe x). Vous pouvez faire cette analyse sur le FP, le TN, etc. ou les statistiques récapitulatives.
En fonction du nombre de lignes (exécutions expérimentales que vous avez), je pense que vous feriez peut-être mieux de faire une analyse comme dans le premier paragraphe.
Comme mentionné précédemment, si vous pouvez partager votre table de données (vous pouvez toujours l'anonymiser (Tables> Anonymiser)), il serait beaucoup plus facile de déterminer exactement comment vous aider.
Bonne chance!,
DS
