두 세트의 평가자가 있을 때 속성 게이지를 사용하여 일치도를 계산하는 방법우리는 20건의 희귀 질환 사례를 대상으로 연구를 수행했고 전문가에게 해당 질병이 존재한다고 생각하는지 여부(Y/N)를 평가하도록 했습니다. 케이스가 길기 때문에 한 세트의 평가자(6명)가 처음 10개의 케이스를 평가하고 한 세트의 평가자(7명)가 마지막 10개의 케이스를 평가했습니다. 처음 10개 사례와 마지막 10개 사례를 별도로 분석하는 대신 모든 사례에 걸쳐 모든 검토자 간의 전반적인 진단적 일치도를 평가하고자 합니다. 진단을 내리는 전문가 간의 합의 정도만 알고 싶기 때문입니다. 두 개의 서로 다른 검토자 집합이 있더라도(예: 평가자가 검토하지 않은 사례에 대해 "누락된 데이터"가 있음) 모든 사례에 대해 일치율과 카파를 계산하기 위해 속성 게이지 보고서를 실행하는 방법이 있습니까? 감사
해석학제도법맥 OSRe: 두 세트의 평가자가 있을 때 속성 게이지를 사용하여 일치도를 계산하는 방법먼저 커뮤니티에 오신 것을 환영합니다. 귀하가 제시하는 정보에는 몇 가지 문제가 있습니다.
1. 평가자 내 변동에 대한 추정치가 없습니다. 평가자 신뢰할 수 있음 (예: 동일한 평가자에게 동일한 사례를 제공하는 경우 그들의 지식 없이 사건을 다시 평가하게 했습니다. 그들은 그것을 똑같이 평가할까요?)
2 평가자 간 변동, i 인터레이터 신뢰할 수 있음.평가자마다 사례가 다르기 때문에 동의(또는 부족)가 평가자 때문인지 사례 때문인지 구별할 수 없습니다. 평가자 및 사례로 인한 변동은 혼동됩니다.
흥미로운 내용을 읽을 수 있습니다.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3900052/