<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hallo. Ich versuche, die Korrelation innerhalb einer Klasse zu berechnen, um die Zuverlässigkeit der Interrater für einige kontinuierliche Variablen abzuschätzen. Ich habe zwei Gutachter, die die Anzahl der verschiedenen Arten von Kommentaren in 20 der gleichen Umfragepapiere kodiert haben. Ich habe unter Measurement Systems Analysis (JMP 11.0.0 Mac) die stetige Variable (Anzahl der Kommentare) unter Y, Response eingegeben. Ich habe den Überprüfernamen unter X, Gruppierung und die Umfragennummer unter Part, Sample ID, platziert.
Wenn ich auf "OK" klicke, bekomme ich die Meldung "Nicht genügend Daten zur Berechnung der Prozessstandardabweichung. Deaktivieren von Optionen, die eine Standardabweichung erfordern "und wenn ich die EMP-Ergebnisse überprüfe, sehe ich eine ICC (keine Abweichung) von 1, eine ICC (mit Abweichung) von 0,9958 und eine ICC (mit Abweichungen und Interaktionen) von 0,8539. Ich kann nicht herausfinden, warum der erste ICC-Wert 1 ist. Das einzige, was ich daraus abgeleitet habe, ist, dass der ICC mir tatsächlich die Zuverlässigkeit von Insassen mitteilt, und da jeder Bewerter jedes Papier nur einmal geprüft hat, gibt es keine Unterschiede in der Art und Weise, wie jeder einzelne Benutzer jedes Papier codierte. Nach allem, was ich las, sah ich nichts, was den ersten ICC-Wert explizit als einen intrarateralen / intraoperatorischen Wert erklärte.
Vielen Dank für irgendwelche Tipps, wie man diese Zahlen interpretieren kann und welche, falls vorhanden, für meine Frage der Zuverlässigkeit von Interrater geeignet sind!
Hallo jsjmp,
Lassen Sie mich das, was peter.bartell gesagt hat, ein wenig erweitern. Intra-Klassen-Korrelation für Interrater-Zuverlässigkeit ist ein heikles Thema - es gibt verschiedene Modelle, abhängig von den Annahmen, die Sie machen wollen. Die Schlüsselreferenz stammt von Shrout und Fliess (1979) - Korrelationen innerhalb der Klassen: Verwendung bei der Bewertung der Rate ... [Psychol Bull. 1979] - PubMed - NCBI .
Die Grundidee besteht darin, ein geeignetes ANOVA-Modell in der Fit Model-Plattform mit festen und / oder zufälligen Effekten zu erstellen. Basierend auf den Informationen, die Sie zur Verfügung gestellt haben, scheint es, als würden Sie wahrscheinlich N Kommentare als Y und Richter und Papiere als zufällige Effekte modellieren. Der Intraclass-Korrelationskoeffizient lässt sich leicht aus den ausgegebenen Varianzkomponenten berechnen.
Da jeder Prüfer jedes Papier nur einmal bewertet hat, ist die MSA-Plattform wahrscheinlich nicht der beste Ort, um die Übereinstimmung zwischen den Prüfern zu bewerten. Ich schlage vor, die Multivariate-Plattform zu verwenden und einen paarweisen Vergleich mit dem "Code" der einzelnen Papiere durchzuführen. Vielleicht mit Kendalls Tau als Assoziationsmaß für die beiden Rezensenten im nichtparametrischen Hot Spot?
