JMPの1のクラス内相関関係<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />こんにちは。 いくつかの連続変数に対する評価者間の信頼性を推定するために、クラス内相関を計算しようとしています。 私は2人の査読者があり、同じ調査報告書のうちの20に異なる種類のコメントをコーディングしました。 Measurement Systems Analysis(JMP 11.0.0 Mac)の下で、Y、Responseの下に連続変数(コメント数)を入力しました。 私はX、Groupingの下にReviewer Nameを配置し、Part、Sample IDの下にSurvey Numberを配置しました。
[OK]をクリックすると、「プロセスの標準偏差を計算するためのデータが足りません」というメッセージが表示されます。標準偏差を必要とするオプションを無効にする "とEMP結果を確認すると、ICC(バイアスなし)が1、ICC(バイアスあり)が0.9958、ICC(バイアスと相互作用がある)0.8539が表示されます。 最初のICC値が1になる理由がわかりません。 私が推論した唯一のことは、おそらくICCが実際に私に評価者内信頼性を伝えているということです、そして各評価者は各論文を一度だけ検討したので、各評価者が各論文をコーディングする方法に変化はありません しかし、私が読んだものから、最初のICC値を厳密に評価者内/オペレータ内の値として明確に説明しているものは何も見当たりませんでした。
これらの数字をどのように解釈するか、そしてもしあれば、それが評価者間の信頼性についての私の質問にふさわしいかどうかについてのどんなヒントでもありがとう!
再:JMPの1のクラス内相関?こんにちはjsjmp、
peter.bartellが言ったことを少し詳しく説明しましょう。評価者間の信頼性についてのクラス内相関は難しいトピックです - あなたがしたいと思う仮定に応じて、いくつかの異なるモデルがあります。主な参照はShrout and Fliess(1979)によるものです - クラス内相関:評価率の評価 [Psychol Bull。1979] - PubMed - NCBI 。
基本的な考え方は、必要に応じて固定効果および/または変量効果を使用して、Fit Modelプラットフォームで適切なANOVAモデルを構築することです。あなたが提供した情報に基づいて、それはあなたがおそらくYとしてコメントのNを欲しているように聞こえます、そして裁判官と論文は両方とも変量効果としてモデル化されました。クラス内相関係数は、分散成分の出力から簡単に計算できます。
再:JMPの1のクラス内相関?各査読者は各論文を1回しか評価しないため、MSAプラットフォームは査読者間の一致を試して評価するのに最適な場所ではないと思われます。多変量プラットフォームを使用して、各論文の「コード」でペアワイズ比較を行うことをお勧めします。ノンパラメトリックホットスポットの2人のレビューアのための関連性の尺度としてKendallのタウを使用しているのかもしれません。