如何执行简单的类内相关性来确定评估者间的可靠性?我正在尝试找出完成相对简单的类内相关性 (ICC) 分析的最佳方法。 在我的研究中,三位评估者对绩效的各个组成部分进行了 100 项绩效评估,评分范围为 1-10。
每个评估者对每个绩效评估进行一次评分。 我运行了测量系统分析平台,评级者为“X”,评估(1-100)为“部分”,得分为“Y”。 我收到警告“没有足够的数据来计算过程标准偏差。 禁用需要标准差的选项”,并且 EMP 结果的类内相关值(无偏差)为 1,这是难以置信的。
然后,我运行测量系统分析平台,将评估 (1-100) 作为“部分”,评分为“Y”(不包括评分者为“X”),似乎获得了跟踪不同组件变化的合理相关值。 我本身并没有进行可靠性研究,我只是使用所有三个评估者的平均绩效分数进行实质性分析,因此我并不关心评估者中的具体趋势。 我的问题是:
1) 当我报告结果时,我可以使用 ICC 输出进行第二次分析(没有评级员)吗?
2)如果没有,用JMP计算ICC的最佳方法是什么?
感谢您提供的任何指导!
质量和工艺工程回复:如何执行简单的类内相关性来确定评估者间的可靠性?我认为第一个设置是正确的,但如果没有复制,就无法估计重复性。 这种情况会导致您收到警告消息。 您的 EMP 结果是否类似于以下示例:

如果是这样,请注意 ICC 报告了 3 次。 它们都是正确的,但代表了不同问题的不同答案。 您是否可能同时存在评估者偏见和与组件的交互? 如果是这样,请使用第二个或第三个 ICC,而不是第一个。