評価者間信頼性を決定するために単純なクラス内相関を実行する方法は?比較的単純なクラス内相関 (ICC) 分析を完了するための最良の方法を見つけようとしています。 私の研究では、3 人の評価者が、パフォーマンスのさまざまな要素について 1 から 10 のスケールで 100 のパフォーマンス評価を採点しました。
各評価者は、各パフォーマンス評価を 1 回採点しました。 評価者を「X」、評価 (1-100) を「部分」、スコアを「Y」として、測定システム分析プラットフォームを実行しました。 「プロセスの標準偏差を計算するのに十分なデータがありません。 標準偏差を必要とするオプションを無効にする」と、EMP の結果のクラス内相関値 (バイアスなし) は 1 であり、これは信じがたいことです。
次に、評価 (1-100) を「部分」、スコアを「Y」(評価者を「X」として含まない) として測定システム分析プラットフォームを実行し、さまざまなコンポーネントの変動を追跡するもっともらしい相関値を取得するように見えました。 私は信頼性調査自体を行っているわけではなく、実質的な分析のために 3 人の評価者全員の平均パフォーマンス スコアを使用しているだけなので、評価者間の特定の傾向についてはそれほど心配していません。 私の質問は次のとおりです。
1) 結果を報告するときに、ICC の出力を 2 回目の分析 (評価者なし) に使用できますか?
2) そうでない場合、JMP で ICC を計算する最良の方法は何ですか?
あなたが提供できるガイダンスをありがとう！
分析Re: 評価者間の信頼性を判断するために単純なクラス内相関を実行する方法は?最初のセットアップは正しいと思いますが、再現性がなければ、再現性を見積もることは不可能です。 その状況は、受け取った警告メッセージにつながります。 EMP Result は次の例のようになりますか?
その場合、ICC が 3 回報告されることに注意してください。 それらはすべて正しいですが、さまざまな質問に対するさまざまな回答を表しています。 評価者のバイアスとコンポーネントとの相互作用の両方を持っている可能性はありますか? その場合は、最初の ICC ではなく、2 番目または 3 番目の ICC を使用してください。
