Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Hallo zusammen
Ich habe Daten für eine Referenzmethode und drei alternative Methoden. Ich habe Spalten für jede der drei alternativen Methoden, die für jede Zeile angeben, ob die Probe richtig positiv (TP), falsch positiv (FP), richtig negativ (TN) oder falsch negativ (FN) ist. Ich möchte den Signifikanzunterschied zwischen den drei Methoden für Sensitivität (TP/(TP+FN)), Spezifität (TN/(TN+FP)), positiven Vorhersagewert (TP/(TP+FP)) und negativen Vorhersagewert bewerten (TN/(TN+FN)) und Genauigkeit ((TP+TN)/gesamt).
Wie kann ich aus einer Formel eine zusammenfassende Statistik erstellen, sodass ich feststellen kann, ob sich die verschiedenen Methoden erheblich voneinander unterscheiden?
Maureen
Erweiterte statistische ModellierungDatenexploration und -visualisierungBetreff: Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Hallo @Maureen ,
Es hört sich so an, als ob Sie so etwas wie eine Profitmatrix oder kostensensitives Lernen machen möchten. Dies würde durch eine nominelle logistische Anpassung in der Anpassungsmodellplattform erfolgen.
Entweder das, oder Sie müssten Ihr Experiment mehrmals wiederholen, um für jede Methode genügend Statistiken zu sammeln, damit Sie p-Werte für die zusammenfassenden Statistiken zu Sensitivität, Spezifität usw. bestimmen können.
Wenn beispielsweise Lauf 1 des Experiments zu Folgendem führt:
Ref = TP
A = FP
B = TP
C = FN
Wenn Sie jedoch Lauf 1 noch einmal wiederholen (nachdem Sie alle anderen Läufe durchlaufen haben), erhalten Sie möglicherweise Folgendes:
Ref = TP
A = FP
B = FN
C = TP
Dies würde dazu führen, dass die numerische Zählung für Lauf 1 für die verschiedenen Methoden unterschiedlich wäre. Wenn Sie dann eine Anpassung von Y nach (außer vielleicht der Referenzmethode) sollte eine Streuung in den Zählungen aufweisen, was zu leicht unterschiedlichen zusammenfassenden Statistiken führen würde. Die ANOVA würde die Mittelwerte und Standardabweichungen dieser zusammenfassenden Statistiken untersuchen, um herauszufinden, ob es signifikante Unterschiede zwischen den Methoden gibt. Da Sie vier verschiedene Methoden vergleichen würden, sollten Sie eine Tukey-Kramer-Analyse der Mittelwerte anstelle einer Student's-t-Analyse durchführen.
Eine andere Möglichkeit wäre die Untersuchung einer Bland-Altman-Analyse. Sie müssten TP, TN, FP, FN in tatsächliche numerische Werte umkodieren. Siehe zum Beispiel Hier . Diese Analyse vergleicht die Differenz einer Methode (zur Referenz) und vergleicht sie mit dem Durchschnitt der Referenz zur Messung. Mit anderen Worten: DIF = Ref-A (auf der y-Achse) und AVG = (Ref+A)/2 (auf der x-Achse). Sie können diese Analyse für FP, TN usw. oder die zusammenfassenden Statistiken durchführen.
Abhängig davon, wie viele Zeilen (experimentelle Läufe Sie haben) ist es meiner Meinung nach besser, eine Analyse wie im ersten Absatz durchzuführen.
Wie bereits erwähnt: Wenn Sie Ihre Datentabelle teilen können (Sie können sie jederzeit anonymisieren (Tabellen > Anonymisieren)), wäre es viel einfacher, genau zu bestimmen, wie Sie Ihnen helfen können.
Viel Glück!,
DS
Betreff: Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Danke. Das alles funktioniert so wie du es beschrieben hast. Aber ich möchte eine Möglichkeit haben, statistisch nachzuweisen, ob es signifikante Unterschiede zwischen den Methoden für diese zusammenfassenden Statistiken gibt.
Ich kann Kontingenztabellen mit den Eingaben erstellen, aber jede zusammenfassende Statistik ist eine Kombination aus zwei Eingaben, sodass ich nicht sicher bin, ob ein signifikanter Unterschied in der Anzahl der FP zu einem signifikanten Unterschied in den beiden Berechnungen führt, die sie verwenden (Spezifität und positiv). Vorhersagewert)
Betreff: Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Hallo @Maureen ,
Ich glaube, ich verstehe, wie Ihre Daten organisiert sind. Wenn ja, und wenn ich verstehe, wie Sie versuchen, die statistische Auswertung jeder Methode zusammenzufassen, müssen Sie einige Datentabellenmanipulationen vornehmen, um sie in das richtige Format zu bringen. Folgendes würde ich tun:
- Erstellen Sie eine Zusammenfassung Ihrer gestapelten Daten, indem Sie die Spalte mit TP, FP, TN, FN in den Eintrag „Gruppe“ einfügen und dann die Spalte mit der Information, ob es sich bei der Zeile um Referenz, Methode A, Methode B oder Methode C handelt als „Untergruppe“ (achten Sie darauf, das Kontrollkästchen „Link zur Originaldatentabelle“ zu deaktivieren). Dadurch wird eine neue Datentabelle mit einer Spalte mit den Zeichen FN, TN usw. erstellt, einer Spalte „N Zeilen“, die angibt, wie viele Zeilen diesen Wert hatten, und dann mehreren anderen Spalten mit Namen wie N(Methode A), N(Methode
, N (Referenz) usw. Diese Spalten enthalten die Anzahl der einzelnen TP-, FP-, TN- und FN-Ereignisse. - Anschließend müssen Sie diese Tabelle transponieren. Sie möchten alle Spalten mit dem Titel „N(Name von etwas)“ in die Auswahl „Spalten transponieren“ einfügen und dann für „Beschriftung“ die Spalte (vielleicht mit dem Namen „Daten“) verwenden, die das enthält TP-, TN- usw. Werte. Dadurch wird eine neue Datentabelle mit einer Spalte namens „Label“ generiert, die die Spaltennamen aus der vorherigen Tabelle enthält, z. B. „N(Methode A)“ und so weiter. Es gibt nun Spalten mit den Namen „TP“, „TN“, „FP“, „FN“ und jede Zeile enthält die Anzahl, wie oft dieses bestimmte Ereignis für die spezifische Methode aufgetreten ist.
- Jetzt erstellen Sie Ihre Statistikzusammenfassungsspalten als Formeln. Die Spezifität ist TP/(TP+FN) usw. für jede der zusammenfassenden Statistiken, die Sie berechnen möchten.
- Der letzte Schritt wäre das Plotten mit der Fit Y by X-Plattform. Sie würden die Spalte „Label“ als X-Faktor verwenden (dies ist die Spalte, die Werte wie „N(Methode A)“ usw. enthält) und Ihre zusammenfassende Statistik (Sensitivität, Spezifität usw.) als Y-Antwort. Da es sich um eine zusammenfassende Statistik handelt und Sie sich nicht die Statistiken jeder Zeile ansehen, können Sie leider keine ANOVA für die Daten durchführen. Sie können das Gesamtbild für jede Methode sehen und sehen, wie gut jede Methode für die verschiedenen Statistiken ist.
Ich hoffe, ich habe das Problem richtig verstanden. Auch hier ist es hilfreich, die Datenstruktur sehen zu können, um genau zu wissen, wie Sie von Ihrem aktuellen Standort zu Ihrem gewünschten Standort gelangen.
Hoffe das hilft!,
DS
Betreff: Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Die Werte sind buchstäblich Zeichen, die „TP“, „TN“, „FP“, „FN“ bedeuten. Die Berechnungen von Sensitivität, Spezifität usw. sind also eine zusammenfassende Statistik für die Methode, die die Anzahl der Werte verwendet, und nicht etwas, das für jede Zeile berechnet wird. Ich habe die Daten gestapelt und kann ein Chi-Quadrat für die vier Zählungen erstellen, aber jede zusammenfassende Statistik verwendet nur zwei der vier verfügbaren Optionen, sodass ich nicht sicher bin, wie ich ein Chi-Quadrat beispielsweise nur mit der Anzahl von TP und FN erstellen soll die zur Berechnung der Empfindlichkeit verwendet werden, ohne TN und FP in die Gesamtsignifikanz des Chi-Quadrats einzubeziehen.
Betreff: Wie vergleiche ich Sensitivität und Spezifität verschiedener Methoden?Hallo @Maureen ,
Es gibt mehrere Möglichkeiten, dies zu erreichen, und es hängt vom Layout Ihrer Tabelle ab. Wenn es gestapelt ist, d. h. Sie haben beispielsweise eine Spalte mit der Bezeichnung „Methode“ und die möglichen Einträge „Referenz“, „Alt A“, „Alt B“ usw., dann würden Sie für jede Spalte eine Statistikspalte erstellen Statistiken, die Sie betrachten, Sensitivität, Spezifität usw. Wobei jede Statistik anhand der Formeln berechnet wird, die Sie haben. Anschließend würden Sie eine ANOVA für die gestapelte Säule zur Bestimmung der Empfindlichkeit usw. durchführen. Die ANOVA-Analyse sollte Ihnen eine Vorstellung davon geben, ob es einen signifikanten Unterschied in der Empfindlichkeit von A vs. B vs. C usw. gibt. Wenn Sie sie gestapelt haben, können Sie nicht nur sehen, wie jede der drei alternativen Methoden im Vergleich zur Referenz abschneidet, sondern auch wie sie alle vergleichen sich miteinander.
Wenn Ihre Tabelle nach dem experimentellen Lauf zeilenweise angeordnet ist, möchten Sie eine neue Datentabelle erstellen, in der Sie die Statistikspalten stapeln, um die ANOVA auszuführen.
Es könnte einfacher sein, Ihr spezifisches Problem zu lösen, wenn Sie die Datentabelle freigeben (ggf. anonymisieren) können, um die Datenstruktur und die Zielrichtung besser zu verstehen.
Sind Ihre TP-, FN-, TN- und FP-Werte aus Neugier binär 0 oder 1 oder liegen sie zwischen 0 und 1? Möchten Sie außerdem die Statistiken (Empfindlichkeit usw.) über alle Durchläufe des Experiments summieren, um die Gesamtwerte zu vergleichen, oder sie für jeden Durchgang auswerten?
Hoffe das hilft!,
DS
