當有兩組評估者時如何使用屬性量規計算一致性我們對 20 例罕見疾病進行了一項研究，並請專家評估他們是否認為該疾病存在（Y/N）。 由於案例很長，我們讓一組評估者（6 人）對前 10 個案例進行評估，一組評估者（7 人）對後 10 個案例進行評估。 我們希望評估所有病例中所有審稿人之間的總體診斷一致性，而不是分別分析前 10 個和最後 10 個病例，因為我們只想知道專家之間在做出診斷時的一致性程度。 有沒有辦法運行屬性量規報告來計算所有案例的一致性百分比和 kappa，即使有兩組不同的審閱者，即對於評估者未審閱的案例，他們有“缺失數據”。 謝謝
蘋果系統質量和工藝工程回复：當有兩組評估者時如何使用屬性量規計算一致性首先，歡迎來到社區。 您提供的信息存在幾個問題：
1. 您沒有對評估者內部差異的估計，內部評估者可靠性（例如，如果您將相同的案例交給同一個評估者怎麼辦？在他們不知情的情況下並讓他們再次對案件進行評分。 他們會給予同樣的評價嗎？）
2 評估者之間的差異，i翻譯者可靠性。由於不同評估者的情況不同，因此您將無法區分他們的同意（或不同意）是由於評估者還是案例。 由於評估者和案例而產生的變化是令人困惑的。
您可能會發現這篇文章很有趣：
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3900052/
