JMP中1的类内相关性?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />你好。 我试图计算组内相关性来估计一些连续变量的评估者间可靠性。 我有两位评论员在20份相同的调查论文中编写了不同类型评论的数量。 在Measurement Systems Analysis(JMP 11.0.0 Mac)下,我在Y,Response下输入了连续变量(注释数)。 我将Reviewer Name放在X,Grouping下,并将Survey Number放在Part,Sample ID下。
当我点击“确定”时,我收到一条消息“没有足够的数据来计算过程标准偏差。禁用需要标准偏差的选项“当我检查EMP结果时,我看到ICC(无偏差)为1,ICC(偏差)为0.9958,ICC(偏差和相互作用)为0.8539。 我无法弄清楚为什么第一个ICC值为1。 我唯一推断的可能是,ICC实际上可能告诉我内部可靠性,并且由于每个评估者只对一次评论每篇论文,因此每个评估者对每篇论文进行编码的方式没有变化。 但是,从我读到的内容来看,我没有看到任何明确解释第一个ICC值的内容,严格意义上是一个内部/内部操作符值。
感谢有关如何解释这些数字的任何提示,以及哪些(如果有的话)适合我的interrater可靠性问题!
Re:JMP中1的类内相关性?嗨jsjmp,
让我稍微谈谈peter.bartell所说的话。interrater可靠性的内部相关性是一个棘手的主题 - 根据您愿意做出的假设,有几种不同的模型。关键参考是Shrout和Fliess(1979) - 组内相关性:用于评估率... [心理公牛。1979] - PubMed - NCBI 。
基本思想是在Fit Model平台中构建适当的ANOVA模型,必要时具有固定和/或随机效果。根据您提供的信息,听起来您可能希望将N个评论作为Y,并将评判和论文建模为随机效果。可以从方差分量输出容易地计算出类内相关系数。
Re:JMP中1的类内相关性?由于每位评论者只对每篇论文进行一次评估,因此MSA平台可能不是尝试评估评审者之间一致性的最佳场所。我建议使用多变量平台,并对每篇论文的“代码”进行成对比较。也许使用Kendall的tau作为非参数热点中两位评论者的关联度量?