¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola a todos
Tengo datos para un método de referencia y tres métodos alternativos. Tengo columnas para cada uno de los tres métodos alternativos que, para cada fila, indican si la muestra es un verdadero positivo (TP), un falso positivo (FP), un verdadero negativo (TN) o un falso negativo (FN). Quiero evaluar la diferencia significativa entre los tres métodos para sensibilidad (TP/(TP+FN)), especificidad (TN/(TN+FP)), valor predictivo positivo (TP/(TP+FP)), valor predictivo negativo. (TN/(TN+FN)) y precisión ((TP+TN)/total).
¿Cómo puedo hacer un resumen estadístico a partir de una fórmula de modo que pueda saber si los diferentes métodos son significativamente diferentes entre sí?
maureen
Modelado estadístico avanzadoExploración y visualización de datosRe: ¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @maureen ,
Parece que quiere hacer algo como una matriz de beneficios o un aprendizaje sensible a los costes. Esto se haría haciendo un ajuste logístico nominal en la plataforma del modelo de ajuste.
O eso, o tendría que replicar su experimento varias veces para recopilar suficientes estadísticas para cada método que pueda determinar los valores p para las estadísticas resumidas de sensibilidad, especificidad, etc.
Por ejemplo, si la ejecución 1 del experimento da como resultado:
Ref = TP
A = FP
B = TP
C = FN
Pero, si repites la ejecución 1 nuevamente (después de haber realizado todas las demás ejecuciones), tal vez obtengas:
Ref = TP
A = FP
B = FN
C = TP
Esto daría como resultado que el recuento numérico fuera diferente para la ejecución 1 para los diferentes métodos. Como resultado, si luego haces un Ajuste Y por X, donde el eje y son los recuentos de cada una de las diferentes ejecuciones y el eje x son los diferentes métodos (ref, a, b, c), entonces cada método (excepto quizás el método de referencia) debería tener una dispersión en los recuentos, lo que daría como resultado estadísticas resumidas ligeramente diferentes. El ANOVA examinaría las medias y las desviaciones estándar de esas estadísticas resumidas para encontrar si existen diferencias significativas entre los métodos. Dado que estaría comparando cuatro métodos diferentes, querrá hacer un análisis de medias de Tukey-Kramer en lugar de una t de Student.
Otra opción sería considerar un análisis de Bland-Altman. Tendría que recodificar TP, TN, FP, FN a valores numéricos reales. ver por ejemplo aquí . Este análisis compara la diferencia de un método (con la referencia) y la compara con el promedio de la referencia con la medición. En otras palabras, miraría DIF = Ref-A (en el eje y) y AVG = (Ref+A)/2 (en el eje x). Podrías hacer este análisis sobre el FP, TN, etc. o las estadísticas resumidas.
Dependiendo de cuántas filas (ejecuciones experimentales tenga), creo que sería mejor hacer un análisis como el del primer párrafo.
Como se mencionó anteriormente, si puede compartir su tabla de datos (siempre puede anonimizarla (Tablas > Anonimizar)), sería mucho más fácil determinar exactamente cómo ayudarlo.
¡Buena suerte!,
DS
Re: ¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?gracias. Todo esto funciona como lo describiste. Pero sí quiero una forma de demostrar estadísticamente si existen diferencias significativas entre los métodos para estas estadísticas resumidas.
Puedo hacer tablas de contingencia con las entradas, pero cada estadística resumida es una combinación de dos entradas, por lo que no estoy seguro de si una diferencia significativa en el número de FP se traduce en una diferencia significativa en los dos cálculos que la utilizan (especificidad y resultados positivos). valor predictivo)
Re: ¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @maureen ,
Creo que entiendo cómo están organizados sus datos. Si lo hago, y si entiendo cómo intenta resumir la evaluación estadística de cada método, necesitará realizar alguna manipulación en la tabla de datos para obtenerla en el formato correcto. Esto es lo que haría:
- Haga un resumen de sus datos apilados donde coloque la columna que contiene TP, FP, TN, FN en la entrada "Grupo" y luego la columna que contiene la información de si la fila era de referencia, método A, método B o método C. como "Subgrupo" (asegúrese de desmarcar la casilla "enlace a la tabla de datos original"). Esto crea una nueva tabla de datos con una columna de caracteres FN, TN, etc., una columna "N filas" que dice cuántas filas tenían ese valor y luego varias otras columnas con nombres como N(Método A), N(método
, N (referencia), etc. Estas columnas contienen los recuentos de cada uno de los eventos TP, FP, TN, FN. - Luego deberá transponer esta tabla. Querrá colocar todas las columnas tituladas "N (nombre de algo)" en la selección "Transponer columnas" y luego, para "Etiqueta", querrá usar la columna (tal vez llamada "Datos") que contiene el Valores TP, TN, etc. Esto generará una nueva tabla de datos que tiene una columna llamada "Etiqueta", que contendrá los nombres de las columnas de la tabla anterior, es decir, "N (método A)", etc. Ahora habrá columnas con los nombres "TP", "TN", "FP", "FN" y cada fila contendrá el recuento del número de veces que ocurrió ese evento en particular para el método específico.
- Ahora, creará las columnas de resumen de estadísticas como fórmulas. La especificidad será TP/(TP+FN), y así sucesivamente para cada una de las estadísticas de resumen que desee calcular.
- El último paso sería trazar utilizando la plataforma Fit Y by X. Usaría la columna "Etiqueta" como Factor X (esta es la columna que contiene valores como "N (método A)", etc. y su estadística de resumen (sensibilidad, especificidad, etc.) como Respuesta Y. Desafortunadamente, dado que se trata de una estadística resumida y al no observar la estadística de cada fila, no podrá realizar un ANOVA con los datos. Podrá ver el panorama general de cada método y qué tan bueno es cada método para las diferentes estadísticas.
Espero haber entendido el problema correctamente. Nuevamente, es útil poder ver la estructura de datos para saber exactamente cómo pasar de donde estás a donde quieres estar.
¡Espero que esto ayude!,
DS
Re: ¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Los valores son literalmente caracteres que dicen "TP", "TN", "FP", "FN". Entonces, los cálculos de sensibilidad, especificidad, etc. son una estadística resumida para el método que utiliza el recuento de los valores, no algo calculado para cada fila. Tengo los datos apilados y puedo hacer chi cuadrado para los cuatro conteos, pero cada resumen estadístico solo usa dos de las cuatro opciones disponibles, por lo que no estoy seguro de cómo hacer un chi cuadrado con, digamos, solo el número de TP y FN. que se utilizan para calcular la sensibilidad sin tener en cuenta el TN y el FP en el significado general del chi cuadrado.
Re: ¿Cómo comparo la sensibilidad y la especificidad entre varios métodos?Hola @maureen ,
Hay un par de formas de hacerlo, y depende del diseño de su tabla. Si está apilado, lo que significa que tiene una columna denominada "Método", por ejemplo, y tiene posibles entradas de "referencia", "Alt A", "Alt B", etc., entonces crearía columnas de estadísticas para cada una de las estadísticas que estás viendo, sensibilidad, especificidad, etc. Donde cada estadística se calcula mediante las fórmulas que tienes. Luego haría un ANOVA en la columna apilada para determinar la sensibilidad, etc. El análisis ANOVA debería darle una idea de si hay una diferencia significativa en la sensibilidad de A vs B vs C, etc. Tenerlo apilado realmente ayudará a ver no solo cómo se compara cada uno de los tres métodos alternativos con la referencia, sino también cómo todos se comparan entre sí.
Si su tabla está organizada en filas según la ejecución experimental, entonces querrá crear nuevas tablas de datos donde apile según las columnas de estadísticas para ejecutar el ANOVA.
Podría ser más fácil abordar su problema específico si puede compartir la tabla de datos (anonimizarla si es necesario) para comprender mejor la estructura de datos y hacia dónde intenta llegar.
Por curiosidad, ¿sus valores de TP, FN, TN, FP son binarios 0 o 1, o oscilan entre 0 y 1? Además, ¿desea sumar las estadísticas (sensibilidad, etc.) de todas las ejecuciones del experimento para comparar los valores agregados o evaluarlo ejecución por ejecución?
¡Espero que esto ayude!,
DS
