Ich versuche herauszufinden, wie man eine relativ einfache Intraclass-Korrelationsanalyse (ICC) am besten durchführt. In meiner Studie bewerteten drei Bewerter 100 Leistungsbewertungen auf einer Skala von 1 bis 10 für verschiedene Leistungskomponenten.
Jeder Bewerter bewertete jede Leistungsbewertung einmal. Ich habe die Measurement Systems Analysis-Plattform mit Rater als „X“, Evaluation (1-100) als „Teil“ und Score als „Y“ ausgeführt. Ich habe die Warnung „Nicht genügend Daten zur Berechnung der Prozessstandardabweichung“ erhalten. Deaktivieren von Optionen, die eine Standardabweichung erfordern“ und die EMP-Ergebnisse hatten einen klasseninternen Korrelationswert (keine Verzerrung) von 1, was unplausibel ist.
Anschließend habe ich die Plattform „Measurement Systems Analysis“ mit der Bewertung (1–100) als „Teil“ und der Bewertung als „Y“ (ohne Einbeziehung des Bewerters als „X“) ausgeführt und scheinbar plausible Korrelationswerte erhalten, die Variationen für verschiedene Komponenten verfolgen. Ich führe keine Zuverlässigkeitsstudie an sich durch und nutze für meine inhaltliche Analyse lediglich die durchschnittliche Leistungsbewertung aller drei Bewerter, daher mache ich mir keine großen Sorgen über bestimmte Trends unter den Bewertern. Meine Fragen sind:
1) Kann ich die ICC-Ausgabe für die zweite Analyse (ohne Bewerter) verwenden, wenn ich Ergebnisse berichte?
2) Wenn nicht, wie lässt sich der ICC mit JMP am besten berechnen?
Vielen Dank für jede Anleitung, die Sie geben können!
Ich denke, dass die erste Einrichtung korrekt ist, aber ohne Replikation ist es unmöglich, die Wiederholbarkeit abzuschätzen. Diese Situation führt zu der Warnmeldung, die Sie erhalten haben. Sieht Ihr EMP-Ergebnis wie in diesem Beispiel aus:
Wenn ja, beachten Sie, dass ICC dreimal gemeldet wird. Sie sind alle richtig, stellen aber unterschiedliche Antworten auf unterschiedliche Fragen dar. Ist es möglich, dass Sie sowohl eine Bewertervoreingenommenheit haben als auch mit den Komponenten interagieren? Wenn ja, verwenden Sie den zweiten oder dritten ICC, nicht den ersten.
