come si confrontano sensibilità e specificità tra diversi metodi?Ciao a tutti
Dispongo di dati per un metodo di riferimento e tre metodi alternativi. Ho colonne per ciascuno dei tre metodi alternativi che, per ogni riga, indicano se il campione è un vero positivo (TP), falso positivo (FP), vero negativo (TN) o falso negativo (FN). Voglio valutare la differenza di significatività tra i tre metodi per sensibilità (TP / (TP + FN)), specificità (TN / (TN + FP)), valore predittivo positivo (TP / (TP + FP)), valore predittivo negativo (TN / (TN + FN)) e precisione ((TP + TN) / totale).
Come posso creare una statistica riassuntiva da una formula in modo tale da poter dire se i diversi metodi sono significativamente diversi tra loro?
Maureen
AnalyticsRi: come si confrontano sensibilità e specificità tra diversi metodi?Ciao @Maureen ,
Ci sono un paio di modi per farlo, e dipende da come è il layout del tuo tavolo. Se è impilato, ovvero hai una colonna denominata "Metodo", ad esempio, e ha possibili voci di "riferimento", "Alt A", "Alt B" e così via, dovresti creare una colonna statistica per ciascuna delle statistiche che stai guardando, sensibilità, specificità e così via. Dove ogni statistica è calcolata dalle formule che hai. Dovresti quindi eseguire un'ANOVA sulla colonna in pila per la sensibilità, ecc. L'analisi ANOVA dovrebbe darti un'idea se c'è una differenza significativa nella sensibilità di A vs B vs C, ecc. Averlo impilato aiuterà davvero a vedere non solo come ciascuno dei tre metodi alternativi si confronta con il riferimento, ma come si confrontano tutti tra loro.
Se la tua tabella è disposta per riga dall'esecuzione sperimentale, allora ti consigliamo di creare una nuova tabella di dati in cui impilare per le colonne delle statistiche per eseguire l'ANOVA.
Potrebbe essere più semplice affrontare il tuo problema specifico se sei in grado di condividere la tabella dei dati (anonimizzala se necessario) per comprendere meglio la struttura dei dati e dove stai cercando di andare.
Per curiosità, i tuoi valori TP, FN, TN, FP sono binari 0 o 1, o sono compresi tra 0 e 1? Inoltre, desideri sommare le statistiche (sensibilità e così via) in tutte le esecuzioni dell'esperimento per confrontare i valori aggregati o valutarli in base alle analisi?
Spero questo sia di aiuto!,
DS
Ri: come si confrontano sensibilità e specificità tra diversi metodi?I valori sono letteralmente caratteri che dicono "TP", "TN", "FP", "FN". Quindi i calcoli di sensibilità, specificità ecc. Sono una statistica riassuntiva per il metodo che utilizza il conteggio dei valori, non qualcosa di calcolato per ogni riga. Ho i dati impilati e posso fare chi quadrato per i quattro conteggi, ma ogni statistica di riepilogo utilizza solo due delle quattro opzioni disponibili, quindi non sono sicuro di come fare un chi quadrato con, ad esempio, solo il numero di TP e FN che vengono utilizzati per calcolare la sensibilità senza considerare TN e FP nel significato generale del chi quadrato.
Ri: come si confrontano sensibilità e specificità tra diversi metodi?Ciao @Maureen ,
Penso di capire come sono organizzati i tuoi dati. Se lo faccio, e se capisco come stai cercando di riassumere la valutazione statistica di ciascun metodo, dovrai eseguire alcune manipolazioni della tabella dati per ottenerlo nel formato corretto. Ecco cosa farei:
- Crea un riepilogo dei dati in pila in cui inserisci la colonna contenente TP, FP, TN, FN nella voce "Gruppo" e quindi la colonna che contiene le informazioni se la riga era di riferimento, metodo A, metodo B o metodo C come "Sottogruppo" (assicurati di deselezionare la casella "Collega alla tabella dati originale"). Questo crea una nuova tabella di dati con una colonna di caratteri FN, TN, ecc., Una colonna "N Righe" che dice quante righe avevano quel valore e poi molte altre colonne con nomi come N (Metodo A), N (metodo
, N (riferimento), ecc. Queste colonne contengono i conteggi di ciascuno degli eventi TP, FP, TN, FN. - Dovrai quindi trasporre questa tabella. Ti consigliamo di inserire tutte le colonne denominate "N (nome di qualcosa)" nella selezione "Trasponi colonne" e quindi per "Etichetta" dovrai utilizzare la colonna (forse denominata "Dati") contenente il Valori TP, TN, ecc. Questo genererà una nuova tabella di dati che ha una colonna chiamata "Etichetta", che conterrà i nomi delle colonne della tabella precedente, cioè "N (metodo A)" e così via. Ora ci saranno colonne con i nomi "TP", "TN", "FP", "FN" e ogni riga conterrà il conteggio del numero di volte in cui si è verificato quel particolare evento per il metodo specifico.
- Ora creerai le colonne di riepilogo delle statistiche come formule. La specificità sarà TP / (TP + FN) e così via per ciascuna delle statistiche di riepilogo che si desidera calcolare.
- L'ultimo passaggio consiste nel tracciare utilizzando la piattaforma Fit Y by X. Dovresti utilizzare la colonna "Etichetta" come fattore X (questa è la colonna contenente valori come "N (metodo A)", ecc. E la tua statistica riassuntiva (sensibilità, specificità, ecc.) Come risposta Y. Sfortunatamente, poiché questa è una statistica di riepilogo e non osservando la statistica di ogni riga, non sarai in grado di eseguire un'ANOVA sui dati. Sarai in grado di vedere il quadro generale per ogni metodo e quanto è buono ogni metodo per le diverse statistiche.
Spero di aver capito correttamente il problema. Ancora una volta, è utile essere in grado di vedere la struttura dei dati per sapere esattamente come spostarsi da dove ti trovi a dove vuoi essere.
Spero questo sia di aiuto!,
DS
Ri: come si confrontano sensibilità e specificità tra diversi metodi?grazie. Tutto questo funziona come hai descritto. Ma voglio un modo per dimostrare statisticamente se ci sono differenze significative tra i metodi per queste statistiche riassuntive.
Posso creare tabelle di contingenza con gli input, ma ogni statistica riassuntiva è una combinazione di due input, quindi non sono sicuro che una differenza significativa nel numero di FP si traduca in una differenza significativa nei due calcoli che la utilizzano (specificità e valore predittivo)
Ri: come confrontare sensibilità e specificità tra diversi metodi?Ciao @Maureen ,
Sembra che tu voglia fare qualcosa come una matrice di profitto o un apprendimento sensibile ai costi. Ciò sarebbe possibile eseguendo un adattamento logistico nominale nella piattaforma del modello di adattamento.
Oppure dovresti replicare il tuo esperimento più volte per raccogliere statistiche sufficienti per ciascun metodo da poter determinare i valori p per le statistiche di riepilogo di sensibilità, specificità, ecc.
Ad esempio, se l'esecuzione 1 dell'esperimento produce:
Rif = TP
A = FP
B = TP
C = FN
Ma, se ripeti di nuovo la corsa 1 (dopo aver eseguito tutte le altre corse), forse ottieni:
Rif = TP
A = FP
B = FN
C = TP
Ciò risulterebbe in un conteggio numerico diverso per la corsa 1 per i diversi metodi. Di conseguenza, se si esegue quindi un Fit Y per X, dove l'asse y è il conteggio per ciascuna delle diverse sequenze e l'asse x è i diversi metodi (ref, a, b, c), allora ogni metodo (tranne forse il metodo di riferimento) dovrebbe avere uno spread nei conteggi, il che si tradurrebbe in statistiche di riepilogo leggermente diverse. L'ANOVA esaminerà le medie e le deviazioni standard di quelle statistiche riassuntive per scoprire se ci sono differenze significative tra i metodi. Dal momento che confronteresti quattro metodi diversi, dovresti eseguire un'analisi Tukey-Kramer dei mezzi piuttosto che una Student's-t.
Un'altra opzione potrebbe essere quella di esaminare un'analisi di Bland-Altman. Dovresti ricodificare TP, TN, FP, FN ai valori numerici effettivi. Vedi per esempio Qui . Questa analisi confronta la differenza di un metodo (rispetto al riferimento) e la confronta con la media del riferimento alla misurazione. In altre parole, guarderebbe DIF = Ref-A (sull'asse y) e AVG = (Ref + A) / 2 (sull'asse x). Potresti fare questa analisi su FP, TN, ecc. O sulle statistiche di riepilogo.
A seconda di quante righe (esecuzioni sperimentali hai), penso che potresti fare meglio a fare un'analisi come nel primo paragrafo.
Come accennato prima, se puoi condividere la tua tabella di dati (puoi sempre renderla anonima (Tabelle> Anonimizza)), sarebbe molto più facile determinare esattamente come aiutarti.
In bocca al lupo!,
DS
