Estoy tratando de averiguar la mejor manera de completar un análisis de correlación intraclase (ICC) relativamente simple. En mi estudio, tres evaluadores puntuaron 100 evaluaciones de desempeño en una escala del 1 al 10 para varios componentes del desempeño.
Cada evaluador calificó una vez cada evaluación de desempeño. Ejecuté la plataforma de análisis de sistemas de medición con el evaluador como "X", la evaluación (1-100) como "parte" y la puntuación como "Y". Recibí una advertencia "No hay suficientes datos para calcular la desviación estándar del proceso. Desactivación de opciones que requieren desviación estándar "y los resultados de EMP tenían un valor de correlación intraclase (sin sesgo) de 1, lo cual es inverosímil.
Luego ejecuté la plataforma de Análisis de Sistemas de Medición con Evaluación (1-100) como "parte" y Puntuación como "Y" (sin incluir al Evaluador como "X") y pareció obtener valores de correlación plausibles que rastrean variaciones para diferentes componentes. No estoy realizando un estudio de confiabilidad per se y simplemente estoy usando el puntaje de desempeño promedio de los tres evaluadores para mi análisis sustantivo, por lo que no estoy tan preocupado por las tendencias específicas entre los evaluadores. Mis preguntas son:
1) ¿Puedo utilizar la salida ICC para el segundo análisis (sin evaluadores) cuando informe los resultados?
2) Si no es así, ¿cuál es la mejor manera de calcular ICC con JMP?
¡Gracias por cualquier orientación que pueda brindar!
Creo que la primera configuración es correcta, pero sin replicación, es imposible estimar la repetibilidad. Esa situación conduce al mensaje de advertencia que recibió. ¿Su resultado EMP se parece a este ejemplo?
Si es así, observe que ICC se informa tres veces. Todas son correctas pero representan diferentes respuestas a diferentes preguntas. ¿Es posible que tenga tanto sesgo del evaluador como interacción con los componentes? Si es así, utilice el segundo o tercer ICC, no el primero.
