如何執行簡單的類內相關性來確定評估者間的可靠性?我正在嘗試找出完成相對簡單的類內相關性 (ICC) 分析的最佳方法。 在我的研究中,三位評估者對績效的各個組成部分進行了 100 項績效評估,評分範圍為 1-10。
每位評估者對每個績效評估進行一次評分。 我運行了測量系統分析平台,評級者為“X”,評估(1-100)為“部分”,得分為“Y”。 我收到警告「沒有足夠的數據來計算過程標準差。 禁用需要標準差的選項”,並且 EMP 結果的類內相關值(無偏差)為 1,這是難以置信的。
然後,我運行測量系統分析平台,將評估 (1-100) 作為“部分”,評分為“Y”(不包括評分者為“X”),似乎獲得了追蹤不同組件變化的合理相關值。 我本身並沒有進行可靠性研究,我只是使用所有三個評估者的平均績效分數進行實質分析,所以我不太關心評估者的具體趨勢。 我的問題是:
1) 當我報告結果時,我可以使用 ICC 輸出進行第二次分析(沒有評級員)嗎?
2)如果沒有,用JMP計算ICC的最佳方法是什麼?
感謝您提供的任何指導!
品質和工藝工程回覆:如何執行簡單的類內相關性來確定評估者間的可靠性?我認為第一個設定是正確的,但如果沒有複製,就無法估計重複性。 這種情況會導致您收到警告訊息。 您的 EMP 結果是否類似於以下範例:

如果是這樣,請注意 ICC 報告了 3 次。 它們都是正確的,但代表了不同問題的不同答案。 您是否可能同時存在評估者偏見和與組件的交互作用? 如果是這樣,請使用第二或第三個 ICC,而不是第一個。