<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ciao. Sto cercando di calcolare la correlazione intraclasse per stimare l'affidabilità dell'interoperabilità per alcune variabili continue. Ho due revisori che hanno codificato i numeri di diversi tipi di commenti in 20 degli stessi documenti di indagine. In Measurement Systems Analysis (JMP 11.0.0 Mac), ho inserito la variabile continua (numero di commenti) sotto Y, Risposta. Ho inserito il Nome del revisore sotto X, Raggruppamento e ho inserito il numero di sondaggio sotto Part, ID campione.
Quando faccio clic su "OK", viene visualizzato un messaggio che recita "Dati insufficienti per calcolare la deviazione standard del processo. Disabilitare le opzioni che richiedono la deviazione standard "e quando controllo i risultati EMP, vedo un ICC (nessun bias) di 1, ICC (con bias) di 0,9998 e ICC (con bias e interazioni) di 0,8539. Non riesco a capire perché il primo valore ICC sarebbe 1. L'unica cosa che ho dedotto è che forse ICC in effetti mi sta dicendo di avere un'affidabilità intrarater, e dato che ogni valutatore ha esaminato ogni foglio una sola volta, non c'è variazione nel modo in cui ogni singolo valutatore ha codificato ciascun documento. Da quello che ho letto, però, non ho visto nulla che esplicitamente spiegasse il primo valore ICC come un valore strettamente intratorter / intraoperatorio.
Grazie per eventuali suggerimenti su come interpretare questi numeri e quali, se del caso, è appropriato per la mia domanda di affidabilità interrater!
Ciao jsjmp,
Permettetemi di espandere un po 'quello che disse peter.bartell. La correlazione Intraclass per l'affidabilità degli interrattori è un argomento delicato: esistono diversi modelli, a seconda delle ipotesi che si è disposti a fare. Il riferimento chiave è di Shrout and Fliess (1979) - Correlazioni Intraclass: usi nella valutazione del tasso ... [Psychol Bull. 1979] - PubMed - NCBI .
L'idea di base è quella di costruire un modello ANOVA appropriato nella piattaforma Fit Model, con effetti fissi e / o casuali secondo necessità. Sulla base delle informazioni che hai fornito, sembra che tu voglia N di commenti come Y, e giudici e documenti sia modellati come effetti casuali. Il coefficiente di correlazione Intraclass è facilmente calcolato dall'output di componenti della varianza.
Poiché ogni revisore ha valutato ciascun documento una sola volta, la piattaforma MSA probabilmente non è il posto migliore per provare e valutare la concordanza tra i revisori. Suggerisco di usare la piattaforma Multivariata e fare un confronto a coppie sul "codice" di ogni carta. Forse usare il tau di Kendall come misura di associazione per i due revisori nell'hotspot non parametrico?
