¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola a todos
Tengo datos para un método de referencia y tres métodos alternativos. Tengo columnas para cada uno de los tres métodos alternativos que, para cada fila, indican si la muestra es un verdadero positivo (TP), falso positivo (FP), verdadero negativo (TN) o falso negativo (FN). Quiero evaluar la diferencia de significancia entre los tres métodos de sensibilidad (TP / (TP + FN)), especificidad (TN / (TN + FP)), valor predictivo positivo (TP / (TP + FP)), valor predictivo negativo (TN / (TN + FN)) y precisión ((TP + TN) / total).
¿Cómo puedo hacer una estadística de resumen a partir de una fórmula de modo que pueda saber si los diferentes métodos son significativamente diferentes entre sí?
Maureen
AnalíticaRe: ¿cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @Maureen ,
Hay un par de formas de hacerlo, y depende del diseño de la mesa. Si está apilado, lo que significa que tiene una columna etiquetada como "Método", por ejemplo, y tiene posibles entradas de "referencia", "Alt A", "Alt B", etc., entonces crearía columnas de estadísticas para cada una de las estadísticas que estás viendo, sensibilidad, especificidad, etc. Donde cada estadística se calcula mediante las fórmulas que tiene. Luego, haría un ANOVA en la columna apilada para determinar la sensibilidad, etc. El análisis ANOVA debería darle una idea de si existe una diferencia significativa en la sensibilidad de A vs B vs C, etc. Tenerlo apilado realmente ayudará a ver no solo cómo cada uno de los tres métodos alternativos se compara con la referencia, sino cómo todos se comparan entre sí.
Si su tabla está organizada en filas por la ejecución experimental, entonces querrá crear nuevas tablas de datos donde apile por las columnas de estadísticas para ejecutar el ANOVA.
Podría ser más fácil abordar su problema específico si puede compartir la tabla de datos (anonimizarla si es necesario) para comprender mejor la estructura de datos y hacia dónde está tratando de ir.
Por curiosidad, ¿sus valores TP, FN, TN, FP son binarios 0 o 1, o oscilan entre 0 y 1? Además, ¿desea sumar las estadísticas (sensibilidad, etc.) de todas las ejecuciones del experimento para comparar los valores agregados o evaluarlo ejecución por ejecución?
¡Espero que esto ayude!,
DS
Re: ¿cómo comparo la sensibilidad y la especificidad entre varios métodos?Los valores son literalmente caracteres que dicen "TP", "TN", "FP", "FN". Por tanto, los cálculos de sensibilidad, especificidad, etc. son una estadística resumida del método que utiliza el recuento de los valores, no algo calculado para cada fila. Tengo los datos apilados y puedo hacer chi cuadrado para los cuatro recuentos, pero cada estadística de resumen solo usa dos de las cuatro opciones disponibles, por lo que no estoy seguro de cómo hacer un chi cuadrado con, por ejemplo, solo el número de TP y FN que se utilizan para calcular la sensibilidad sin tener en cuenta el TN y FP en el significado general del chi cuadrado.
Re: ¿cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @Maureen ,
Creo que entiendo cómo están organizados tus datos. Si lo hago, y si entiendo cómo está tratando de resumir la evaluación estadística de cada método, necesitará realizar alguna manipulación de la tabla de datos para obtener el formato correcto. Esto es lo que haría:
- Haga un resumen de sus datos apilados donde coloque la columna que contiene el TP, FP, TN, FN en la entrada "Grupo" y luego la columna que contiene la información de si la fila era referencia, método A, método B o método C como "Subgrupo" (asegúrese de desmarcar la casilla "Enlace a la tabla de datos original"). Esto crea una nueva tabla de datos con una columna de los caracteres FN, TN, etc., una columna "N filas" que dice cuántas filas tenían ese valor y luego varias otras columnas con nombres como N (Método A), N (método
, N (referencia), etc. Estas columnas contienen los recuentos de cada uno de los eventos TP, FP, TN, FN. - Luego, deberá transponer esta tabla. Querrá poner todas las columnas que se titulan "N (nombre de algo)" en la selección "Transponer columnas" y luego para "Etiqueta" querrá utilizar la columna (tal vez llamada "Datos") que contiene el Valores TP, TN, etc. Esto generará una nueva tabla de datos que tiene una columna llamada "Etiqueta", que contendrá los nombres de columna de la tabla anterior, es decir, "N (método A)" y así sucesivamente. Ahora habrá columnas con los nombres "TP", "TN", "FP", "FN" y cada fila contendrá la cantidad de veces que ocurrió ese evento en particular para el método específico.
- Ahora, creará sus columnas de resumen de estadísticas como fórmulas. La especificidad será TP / (TP + FN), y así sucesivamente para cada una de las estadísticas de resumen que desee calcular.
- El último paso sería graficar usando la plataforma Fit Y by X. Usaría la columna "Etiqueta" como el Factor X (esta es la columna que contiene valores como "N (método A)", etc. y su resumen estadístico (sensibilidad, especificidad, etc.) como la Respuesta Y. Desafortunadamente, dado que se trata de una estadística de resumen y al no mirar la estadística de cada fila, no podrá hacer un ANOVA en los datos. Podrá ver la imagen general de cada método y qué tan bueno es cada método para las diferentes estadísticas.
Espero haber entendido el problema correctamente. Una vez más, es útil poder ver la estructura de datos para saber exactamente cómo moverse desde donde está hasta donde quiere estar.
¡Espero que esto ayude!,
DS
Re: ¿cómo comparo la sensibilidad y la especificidad entre varios métodos?gracias. Todo esto funciona como lo describiste. Pero quiero una forma de probar estadísticamente si existen diferencias significativas entre los métodos para estas estadísticas resumidas.
Puedo hacer tablas de contingencia con las entradas, pero cada estadística de resumen es una combinación de dos entradas, por lo que no estoy seguro de si una diferencia significativa en el número de FP se traduce en una diferencia significativa en los dos cálculos que la utilizan (especificidad y positiva valor predictivo)
Re: ¿cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @Maureen ,
Parece que desea hacer algo como una matriz de beneficios o un aprendizaje sensible a los costos. Esto se haría haciendo un ajuste logístico nominal en la plataforma del modelo de ajuste.
O eso, o tendría que replicar su experimento varias veces para recopilar suficientes estadísticas para cada método que pueda determinar los valores p para las estadísticas de resumen de sensibilidad, especificidad, etc.
Por ejemplo, si la ejecución 1 del experimento da como resultado:
Ref = TP
A = FP
B = TP
C = FN
Pero, si repite la Ejecución 1 nuevamente (después de haber realizado todas las demás ejecuciones), tal vez obtenga:
Ref = TP
A = FP
B = FN
C = TP
Esto daría como resultado que el recuento numérico fuera diferente para la ejecución 1 para los diferentes métodos. Como resultado, si luego hace un Ajuste Y por X, donde el eje y son los recuentos para cada una de las diferentes ejecuciones y el eje x son los diferentes métodos (ref, a, b, c), entonces cada método (excepto quizás el método de referencia) debe tener un margen en los recuentos, lo que daría como resultado estadísticas de resumen ligeramente diferentes. El ANOVA examinaría las medias y las desviaciones estándar de esas estadísticas de resumen para encontrar si hay diferencias significativas entre los métodos. Dado que estaría comparando cuatro métodos diferentes, querría hacer un análisis de medias de Tukey-Kramer en lugar de una t de Student.
Otra opción sería buscar en un análisis de Bland-Altman. Tendría que recodificar TP, TN, FP, FN a valores numéricos reales. Ver por ejemplo Aquí . Este análisis compara la diferencia de un método (con la referencia) y la compara con el promedio de la referencia a la medición. En otras palabras, miraría DIF = Ref-A (en el eje y) y AVG = (Ref + A) / 2 (en el eje x). Puede hacer este análisis en FP, TN, etc. o en las estadísticas de resumen.
Dependiendo de cuántas filas (ejecuciones experimentales tenga), creo que es mejor que haga un análisis como en el primer párrafo.
Como se mencionó anteriormente, si puede compartir su tabla de datos (siempre puede anonimizarla (Tablas> Anonimizar)), sería mucho más fácil determinar exactamente cómo ayudarlo.
¡Buena suerte!,
DS
