Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Hallo zusammen
Ich habe Daten für eine Referenzmethode und drei alternative Methoden. Ich habe Spalten für jede der drei alternativen Methoden, die für jede Zeile angeben, ob die Probe wahr positiv (TP), falsch positiv (FP), richtig negativ (TN) oder falsch negativ (FN) ist. Ich möchte den Signifikanzunterschied zwischen den drei Methoden für Sensitivität (TP / (TP + FN)), Spezifität (TN / (TN + FP)), positiven Vorhersagewert (TP / (TP + FP)) und negativen Vorhersagewert bewerten (TN / (TN + FN)) und Genauigkeit ((TP + TN) / gesamt).
Wie kann ich aus einer Formel eine zusammenfassende Statistik erstellen, um festzustellen, ob sich die verschiedenen Methoden erheblich voneinander unterscheiden?
Maureen
AnalytikBetreff: Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Hallo @ Maureen ,
Es gibt verschiedene Möglichkeiten, dies zu tun, und dies hängt vom Layout Ihrer Tabelle ab. Wenn es gestapelt ist, was bedeutet, dass Sie beispielsweise eine Spalte mit der Bezeichnung "Methode" haben und möglicherweise Einträge wie "Referenz", "Alt A", "Alt B" usw. haben, würden Sie für jede der Spalten eine Statistikspalte erstellen Statistiken, die Sie betrachten, Sensibilität, Spezifität und so weiter. Wo jeder Wert nach den Formeln berechnet wird, die Sie haben. Sie würden dann eine ANOVA für die gestapelte Spalte durchführen, um die Empfindlichkeit usw. zu gewährleisten. Die ANOVA-Analyse sollte Ihnen eine Vorstellung davon geben, ob es einen signifikanten Unterschied in der Empfindlichkeit von A gegen B gegen C usw. gibt. Wenn sie gestapelt ist, können Sie nicht nur sehen, wie jede der drei alternativen Methoden mit der Referenz verglichen wird, sondern auch wie sie alle vergleichen sich miteinander.
Wenn Ihre Tabelle nach dem Versuchslauf zeilenweise angeordnet ist, möchten Sie neue Datentabellen erstellen, in denen Sie nach den Stat-Spalten stapeln, um die ANOVA auszuführen.
Es ist möglicherweise einfacher, Ihr spezifisches Problem zu beheben, wenn Sie die Datentabelle freigeben können (bei Bedarf anonymisieren), um die Datenstruktur und den gewünschten Ort besser zu verstehen.
Sind Ihre TP-, FN-, TN- und FP-Werte aus Neugier binär 0 oder 1 oder liegen sie zwischen 0 und 1? Möchten Sie auch die Statistiken (Empfindlichkeit usw.) über alle Läufe des Experiments summieren, um die Aggregatwerte zu vergleichen, oder sie Lauf für Lauf auswerten?
Hoffe das hilft!,
DS
Betreff: Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Die Werte sind buchstäblich Zeichen, die "TP", "TN", "FP", "FN" sagen. Die Berechnungen von Sensitivität, Spezifität usw. sind also eine zusammenfassende Statistik für die Methode unter Verwendung der Anzahl der Werte, nicht für jede Zeile berechnet. Ich habe die Daten gestapelt und kann Chi-Quadrat für die vier Zählungen erstellen, aber jede Zusammenfassungsstatistik verwendet nur zwei der vier verfügbaren Optionen, sodass ich nicht sicher bin, wie ich ein Chi-Quadrat mit beispielsweise nur der Anzahl von TP und FN erstellen soll die verwendet werden, um die Empfindlichkeit zu berechnen, ohne TN und FP in die Gesamtbedeutung des Chi-Quadrats einzubeziehen.
Betreff: Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Hallo @ Maureen ,
Ich glaube, ich verstehe, wie Ihre Daten organisiert sind. Wenn dies der Fall ist und ich verstehe, wie Sie versuchen, die statistische Auswertung der einzelnen Methoden zusammenzufassen, müssen Sie einige Manipulationen an den Datentabellen vornehmen, um das richtige Format zu erhalten. Folgendes würde ich tun:
- Machen Sie eine Zusammenfassung Ihrer gestapelten Daten, indem Sie die Spalte mit TP, FP, TN, FN in den Eintrag "Gruppe" und dann die Spalte mit den Informationen einfügen, ob die Zeile Referenz, Methode A, Methode B oder Methode C war als "Untergruppe" (deaktivieren Sie unbedingt das Kontrollkästchen "Link zur ursprünglichen Datentabelle"). Dadurch wird eine neue Datentabelle mit einer Spalte mit den Zeichen FN, TN usw. erstellt, einer Spalte "N Zeilen", in der angegeben ist, wie viele Zeilen diesen Wert hatten, und anschließend mehreren anderen Spalten mit Namen wie N (Methode A), N (Methode)
, N (Referenz) usw. Diese Spalten enthalten die Anzahl der TP-, FP-, TN- und FN-Ereignisse. - Sie müssen diese Tabelle dann transponieren. Sie möchten alle Spalten mit dem Titel "N (Name von etwas)" in die Auswahl "Spalten transponieren" einfügen und dann für "Beschriftung" die Spalte (möglicherweise mit dem Namen "Daten") verwenden, die das enthält TP-, TN- usw. Werte. Dadurch wird eine neue Datentabelle generiert, die eine Spalte mit dem Namen "Label" enthält, die die Spaltennamen aus der vorherigen Tabelle enthält, dh "N (Methode A)" usw. Es gibt jetzt Spalten mit den Namen "TP", "TN", "FP", "FN" und jede Zeile enthält die Anzahl, wie oft dieses bestimmte Ereignis für die bestimmte Methode aufgetreten ist.
- Jetzt erstellen Sie Ihre statistischen Zusammenfassungsspalten als Formeln. Die Spezifität ist TP / (TP + FN) usw. für jede der zusammenfassenden Statistiken, die Sie berechnen möchten.
- Der letzte Schritt wäre das Plotten mit der Plattform Fit Y by X. Sie würden die Spalte "Label" als X-Faktor verwenden (dies ist die Spalte, die Werte wie "N (Methode A)" usw. und Ihre zusammenfassende Statistik (Sensitivität, Spezifität usw.) als Y-Antwort enthält. Da dies eine zusammenfassende Statistik ist und nicht die Statistik jeder Zeile betrachtet, können Sie leider keine ANOVA für die Daten durchführen. Sie können das Gesamtbild für jede Methode sehen und sehen, wie gut jede Methode für die verschiedenen Statistiken ist.
Ich hoffe ich habe das Problem richtig verstanden. Auch hier ist es hilfreich, die Datenstruktur zu sehen, um genau zu wissen, wie Sie von Ihrem Standort zu Ihrem gewünschten Standort wechseln können.
Hoffe das hilft!,
DS
Betreff: Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Danke. All dies funktioniert wie beschrieben. Ich möchte jedoch statistisch nachweisen können, ob es signifikante Unterschiede zwischen den Methoden für diese zusammenfassenden Statistiken gibt.
Ich kann Kontingenztabellen mit den Eingaben erstellen, aber jede zusammenfassende Statistik ist eine Kombination aus zwei Eingaben, sodass ich nicht sicher bin, ob ein signifikanter Unterschied in der Anzahl der FP zu einem signifikanten Unterschied in den beiden Berechnungen führt, die sie verwenden (Spezifität und positiv) Vorhersagewert)
Betreff: Wie vergleiche ich Sensitivität und Spezifität zwischen verschiedenen Methoden?Hallo @ Maureen ,
Es hört sich so an, als ob Sie so etwas wie eine Gewinnmatrix oder kostensensitives Lernen machen möchten. Dies würde durch eine nominelle logistische Anpassung an die Plattform des Anpassungsmodells erfolgen.
Entweder das, oder Sie müssten Ihr Experiment mehrmals replizieren, um genügend Statistiken für jede Methode zu sammeln, mit der Sie p-Werte für die zusammenfassenden Statistiken zu Sensitivität, Spezifität usw. bestimmen können.
Zum Beispiel, wenn Lauf 1 des Experiments ergibt:
Ref = TP
A = FP
B = TP
C = FN
Wenn Sie jedoch Lauf 1 erneut wiederholen (nachdem Sie alle anderen Läufe durchlaufen haben), erhalten Sie möglicherweise:
Ref = TP
A = FP
B = FN
C = TP
Dies würde dazu führen, dass die numerische Anzahl für Lauf 1 für die verschiedenen Methoden unterschiedlich ist. Wenn Sie dann eine Anpassung von Y nach X durchführen, wobei die y-Achse die Anzahl für jeden der verschiedenen Läufe und die x-Achse die verschiedenen Methoden (ref, a, b, c) ist, dann jede Methode (außer vielleicht die Referenzmethode) sollte eine Streuung der Zählungen aufweisen, was zu leicht unterschiedlichen zusammenfassenden Statistiken führen würde. Die ANOVA würde die Mittelwerte und Standardabweichungen dieser zusammenfassenden Statistiken untersuchen, um festzustellen, ob es signifikante Unterschiede zwischen den Methoden gibt. Da Sie vier verschiedene Methoden vergleichen würden, möchten Sie eine Tukey-Kramer-Analyse der Mittelwerte anstelle eines Student-t durchführen.
Eine andere Möglichkeit wäre, eine Bland-Altman-Analyse zu untersuchen. Sie müssten TP, TN, FP, FN auf tatsächliche numerische Werte umcodieren. Siehe zum Beispiel Hier . Diese Analyse vergleicht die Differenz einer Methode (zur Referenz) und vergleicht sie mit dem Durchschnitt der Referenz zur Messung. Mit anderen Worten, es würde DIF = Ref-A (auf der y-Achse) und AVG = (Ref + A) / 2 (auf der x-Achse) betrachten. Sie können diese Analyse für FP, TN usw. oder die zusammenfassende Statistik durchführen.
Abhängig von der Anzahl der Zeilen (Versuchsläufe) ist es möglicherweise besser, eine Analyse wie im ersten Absatz durchzuführen.
Wie bereits erwähnt, ist es viel einfacher, genau zu bestimmen, wie Sie helfen können, wenn Sie Ihre Datentabelle freigeben können (Sie können sie jederzeit anonymisieren (Tabellen> Anonymisieren)).
Viel Glück!,
DS
