<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hola. Estoy tratando de calcular la correlación intraclase para estimar la confiabilidad entre evaluadores para algunas variables continuas. Tengo dos revisores que codificaron el número de diferentes tipos de comentarios en 20 de los mismos documentos de encuesta. En Análisis de sistemas de medición (JMP 11.0.0 Mac), ingresé la variable continua (número de comentarios) en Y, Respuesta. Coloqué el Nombre del revisor en X, Agrupación, y coloqué el Número de encuesta en Parte, ID de muestra.
Cuando hago clic en "Aceptar", aparece un mensaje que dice "No hay suficientes datos para calcular la desviación estándar del proceso. Opciones de desactivación que requieren una desviación estándar "y cuando verifico los resultados de EMP, veo un ICC (sin sesgo) de 1, ICC (con sesgo) de 0.9958, y ICC (con sesgo e interacciones) de 0.8539. No puedo entender por qué el primer valor ICC sería 1. Lo único que he inferido es que tal vez el ICC, de hecho, me está diciendo una confiabilidad adicional, y dado que cada evaluador solo revisó cada artículo una vez, no hay variación en la forma en que cada evaluador individual codificó cada documento. Sin embargo, por lo que leí, no vi nada que explicara explícitamente el primer valor ICC como estrictamente un valor intrarrater / intraoperador.
¡Gracias por los consejos sobre cómo interpretar estos números y cuál, si corresponde, es apropiado para mi pregunta de confiabilidad entre evaluadores!
Hola jsjmp
Permítanme ampliar un poco lo que peter.bartell dijo. La correlación intraclase para la confiabilidad entre evaluadores es un tema difícil: existen varios modelos diferentes, dependiendo de las suposiciones que esté dispuesto a hacer. La referencia clave es por Shrout y Fliess (1979) - Correlaciones intraclase: usos en la evaluación de la tasa ... [Psychol Bull. 1979] - PubMed - NCBI .
La idea básica es construir un modelo ANOVA apropiado en la plataforma Fit Model, con efectos fijos y / o aleatorios según sea necesario. Según la información que proporcionó, parece que probablemente desee N de comentarios como S, y jueces y documentos, ambos modelados como efectos aleatorios. El coeficiente de correlación intraclase se calcula fácilmente a partir de la salida de los componentes de la varianza.
Dado que cada revisor evaluó cada artículo solo una vez, la plataforma MSA probablemente no sea el mejor lugar para tratar de evaluar la concordancia entre revisores. Sugiero utilizar la plataforma multivariable y hacer una comparación por pares en el 'código' de cada papel. ¿Tal vez usar la tau de Kendall como medida de asociación para los dos revisores en el punto caliente no paramétrico?
