come faccio a confrontare la sensibilità e la specificità tra diversi metodi?Ciao a tutti
Ho dati per un metodo di riferimento e tre metodi alternativi. Ho colonne per ciascuno dei tre metodi alternativi che, per ciascuna riga, indicano se il campione è un vero positivo (TP), un falso positivo (FP), un vero negativo (TN) o un falso negativo (FN). Desidero valutare la differenza significativa tra i tre metodi per sensibilità (TP/(TP+FN)), specificità (TN/(TN+FP)), valore predittivo positivo (TP/(TP+FP)), valore predittivo negativo (TN/(TN+FN)) e precisione ((TP+TN)/totale).
Come posso creare una statistica riassuntiva da una formula tale da poter dire se i diversi metodi sono significativamente diversi l'uno dall'altro?
Maureen
Modellazione statistica avanzataEsplorazione e visualizzazione dei datiRe: come posso confrontare sensibilità e specificità tra diversi metodi?CIAO @Maureen ,
Sembra che tu voglia fare qualcosa come una matrice dei profitti o un apprendimento sensibile ai costi. Ciò verrebbe fatto eseguendo un adattamento logistico nominale nella piattaforma del modello di adattamento.
Oppure dovresti replicare l'esperimento più volte per raccogliere statistiche sufficienti per ciascun metodo in modo da poter determinare i valori p per le statistiche riassuntive di sensibilità, specificità, ecc.
Ad esempio, se l'esecuzione 1 dell'esperimento dà come risultato:
Rif = TP
A = P.F
B = P.T
C = FN
Ma se ripeti di nuovo la corsa 1 (dopo aver eseguito tutte le altre corse), forse otterrai:
Rif = TP
A = P.F
B = FN
C = P.T
Ciò comporterebbe un conteggio numerico diverso per l'esecuzione 1 per i diversi metodi. Di conseguenza, se si esegue un adattamento Y per X, dove l'asse y rappresenta i conteggi per ciascuna delle diverse esecuzioni e l'asse x rappresenta i diversi metodi (rif, a, b, c), quindi ciascun metodo (tranne forse il metodo di riferimento) dovrebbero avere uno spread nei conteggi, il che comporterebbe statistiche riassuntive leggermente diverse. L'ANOVA esaminerebbe le medie e le deviazioni standard di tali statistiche riassuntive per scoprire se esistono differenze significative tra i metodi. Dato che confronteresti quattro metodi diversi, vorresti fare un'analisi delle medie di Tukey-Kramer piuttosto che un'analisi di Student.
Un’altra opzione sarebbe quella di esaminare un’analisi Bland-Altman. Dovresti ricodificare TP, TN, FP, FN in valori numerici effettivi. Vedi ad esempio Qui . Questa analisi confronta la differenza di un metodo (rispetto al riferimento) e la confronta con la media del riferimento alla misurazione. In altre parole, esaminerebbe DIF = Ref-A (sull'asse y) e AVG = (Ref+A)/2 (sull'asse x). Potresti fare questa analisi sul FP, TN, ecc. o sulle statistiche riassuntive.
A seconda del numero di righe (esecuzioni sperimentali che hai), penso che potresti fare meglio a fare un'analisi come nel primo paragrafo.
Come accennato in precedenza, se puoi condividere la tua tabella di dati (puoi sempre renderla anonima (Tabelle > Anonimizza)), sarebbe molto più semplice determinare esattamente come aiutarti.
Buona fortuna!,
DS
Re: come posso confrontare sensibilità e specificità tra diversi metodi?Grazie. Tutto questo funziona come hai descritto. Ma voglio un modo per dimostrare statisticamente se ci sono differenze significative tra i metodi per queste statistiche riassuntive.
Posso creare tabelle di contingenza con gli input, ma ogni statistica riassuntiva è una combinazione di due input quindi non sono sicuro che una differenza significativa nel numero di FP si traduca in una differenza significativa nei due calcoli che la utilizzano (specificità e positività valore predittivo)
Re: come posso confrontare sensibilità e specificità tra diversi metodi?CIAO @Maureen ,
Penso di aver capito come sono organizzati i tuoi dati. Se lo faccio, e se capisco come stai cercando di riassumere la valutazione statistica di ciascun metodo, dovrai eseguire alcune manipolazioni della tabella dati per ottenerla nel formato corretto. Ecco cosa farei:
- Crea un riepilogo dei dati in pila in cui inserisci la colonna contenente TP, FP, TN, FN nella voce "Gruppo" e quindi la colonna che contiene le informazioni se la riga era di riferimento, metodo A, metodo B o metodo C come "Sottogruppo" (assicurati di deselezionare la casella "collegamento alla tabella dati originale"). Questo crea una nuova tabella dati con una colonna di caratteri FN, TN, ecc., una colonna "N righe" che indica quante righe avevano quel valore e poi diverse altre colonne con nomi come N(Metodo A), N(metodo
, N(riferimento), ecc. Queste colonne contengono i conteggi di ciascuno degli eventi TP, FP, TN, FN. - Dovrai quindi trasporre questa tabella. Ti consigliamo di inserire tutte le colonne intitolate "N (nome di qualcosa)" nella selezione "Trasponi colonne" e quindi per "Etichetta" vorrai utilizzare la colonna (magari denominata "Dati") contenente il Valori TP, TN, ecc. Ciò genererà una nuova tabella di dati che ha una colonna chiamata "Label", che conterrà i nomi delle colonne della tabella precedente, ovvero "N(metodo A)" e così via. Ora ci saranno colonne con i nomi "TP", "TN", "FP", "FN" e ogni riga conterrà il conteggio del numero di volte in cui si è verificato quel particolare evento per il metodo specifico.
- Ora creerai le colonne di riepilogo delle statistiche come formule. La specificità sarà TP/(TP+FN) e così via per ciascuna statistica riepilogativa che desideri calcolare.
- L'ultimo passaggio sarebbe quello di tracciare utilizzando la piattaforma Adatta Y per X. Dovresti utilizzare la colonna "Etichetta" come fattore X (questa è la colonna contenente valori come "N (metodo A)", ecc.) e la statistica riepilogativa (sensibilità, specificità, ecc.) come risposta Y. Sfortunatamente, poiché si tratta di una statistica riassuntiva e non si esamina la statistica di ogni riga, non sarà possibile eseguire un'ANOVA sui dati. Sarai in grado di vedere il quadro generale per ciascun metodo e quanto è valido ciascun metodo per le diverse statistiche.
Spero di aver compreso correttamente il problema. Ancora una volta, è utile poter vedere la struttura dei dati per sapere esattamente come spostarsi da dove ti trovi a dove vuoi essere.
Spero che questo ti aiuti!,
DS
Re: come posso confrontare sensibilità e specificità tra diversi metodi?I valori sono letteralmente caratteri che dicono "TP", "TN", "FP", "FN". Pertanto, i calcoli di sensibilità, specificità ecc. sono una statistica riepilogativa per il metodo che utilizza il conteggio dei valori, non qualcosa di calcolato per ciascuna riga. Ho i dati impilati e posso fare il chi quadrato per i quattro conteggi, ma ogni statistica riassuntiva utilizza solo due delle quattro opzioni disponibili, quindi non sono sicuro di come fare un chi quadrato con, ad esempio, solo il numero di TP e FN che vengono utilizzati per calcolare la sensibilità senza considerare TN e FP nel significato complessivo del chi quadrato.
Re: come posso confrontare sensibilità e specificità tra diversi metodi?CIAO @Maureen ,
Ci sono un paio di modi per farlo e dipende dal layout del tuo tavolo. Se è in pila, ovvero hai una colonna etichettata "Metodo" ad esempio, e ha possibili voci di "riferimento", "Alt A", "Alt B", ecc., allora creerai una colonna statistica per ciascuna delle statistiche che stai guardando, sensibilità, specificità e così via. Dove ogni statistica viene calcolata dalle formule che hai. Dovresti quindi eseguire un'ANOVA sulla colonna in pila per la sensibilità, ecc. L'analisi ANOVA dovrebbe darti un'idea se c'è una differenza significativa nella sensibilità di A vs B vs C, ecc. Averla impilata aiuterà davvero a vedere non solo come ciascuno dei tre metodi alternativi si confronta con il riferimento, ma come si confrontano tutti tra loro.
Se la tua tabella è organizzata in righe dall'esecuzione sperimentale, allora dovresti creare una nuova tabella di dati in cui impilare in base alle colonne delle statistiche per eseguire l'ANOVA.
Potrebbe essere più semplice risolvere il tuo problema specifico se sei in grado di condividere la tabella dati (anonimizzarla se necessario) per comprendere meglio la struttura dei dati e dove stai cercando di arrivare.
Per curiosità, i tuoi valori TP, FN, TN, FP sono binari 0 o 1 o sono compresi tra 0 e 1? Inoltre, desideri sommare le statistiche (sensibilità, ecc.) di tutte le esecuzioni dell'esperimento per confrontare i valori aggregati o valutarli esecuzione per esecuzione?
Spero che questo ti aiuti!,
DS
