如何比較幾種方法之間的敏感性和特異性？大家好
我有參考方法和三種替代方法的數據。 我在三種替代方法的每一列中都有一欄，每行分別指示標本是真陽性（TP），假陽性（FP），真陰性（TN）還是假陰性（FN）。 我想評估靈敏度（TP /（TP + FN）），特異性（TN /（TN + FP）），陽性預測值（TP /（TP + FP）），陰性預測值這三種方法之間的顯著性差異（TN /（TN + FN））和準確性（（TP + TN）/總計）。
如何通過公式得出匯總統計信息，以便可以判斷不同方法之間是否存在顯著差異？
莫琳
分析工具回复：如何比較幾種方法之間的敏感性和特異性？你好@莫琳，
有兩種解決方法，這取決於表格的佈局。 如果是堆疊式，這意味著您有一個列為“方法”的列，並且可能包含“引用”，“ Alt A”，“ Alt B”等條目，那麼您將為每個列創建一個統計列您要查看的統計信息，敏感性，特異性等。 每個統計信息都由您擁有的公式計算得出。 然後，您需要對堆積柱進行方差分析以提高靈敏度等。 ANOVA分析應讓您了解A，B，C等的靈敏度是否存在顯著差異。將其堆疊起來不僅可以幫助您不僅了解三種替代方法與參考方法的比較，而且還可以幫助您了解他們都互相比較。
如果您的表是通過實驗運行按行排列的，那麼您需要創建一個新的數據表，並在其中按stat列進行堆疊，以運行ANOVA。
如果您能夠共享數據表（必要時將其匿名化）以更好地了解數據結構以及您要去往何處，則可能更容易解決您的特定問題。
出於好奇，您的TP，FN，TN，FP值是二進制0還是1，還是介於0到1之間？ 另外，您是否要對實驗所有運行的統計信息（靈敏度等）求和以比較合計值，或在逐個運行的基礎上對其進行評估？
希望這可以幫助！，
DS
回复：如何比較幾種方法之間的敏感性和特異性？這些值實際上是表示“ TP”，“ TN”，“ FP”，“ FN”的字符。 因此，靈敏度，特異性等的計算是使用值計數的方法的摘要統計量，而不是為每一行計算的東西。 我確實有堆疊的數據，並且可以對四個計數進行卡方運算，但是每個摘要統計量僅使用四個可用選項中的兩個，所以我不確定如何僅用TP和FN的數量來做卡方運算它們用於計算靈敏度，而無需將TN和FP納入卡方的總體意義。
回复：如何比較幾種方法之間的敏感性和特異性？你好@莫琳，
我想我了解您的數據是如何組織的。 如果可以，並且如果您了解如何嘗試總結每種方法的統計評估，則將需要進行一些數據表操作以使其採用正確的格式。 這是我要做的：
- 對堆棧數據進行匯總，將包含TP，FP，TN，FN的列放在“組”條目中，然後將包含信息的列放入該行是引用，方法A，方法B還是方法C作為“子組”（確保取消選中“鏈接到原始數據表”框）。 這將創建一個新數據表，該表的一列包含FN，TN等字符，“ N行”列表示有該值的行數，然後是其他幾列，其名稱類似N（方法A），N（方法B），N（參考）等。這些列包含每個TP，FP，TN，FN事件的計數。
- 然後，您需要轉置該表。 您需要將所有標題為“ N（某物的名稱）”的列放入“轉置列”選擇中，然後對於“標籤”，您將要使用包含以下內容的列（可能名為“數據”） TP，TN等值。 這將生成一個新數據表，該表具有一個名為“ Label”的列，其中將包含前一個表的列名，即“ N（method A）”，依此類推。 現在將有名稱為“ TP”，“ TN”，“ FP”，“ FN”的列，每一行將包含針對特定方法發生特定事件的次數的計數。
- 現在，您將創建統計摘要列作為公式。 對於要計算的每個摘要統計信息，特異性將為TP /（TP + FN），依此類推。
- 最後一步是使用“ Fit Y by X”平台進行繪圖。 您將使用“標籤”列作為X因子（這是包含諸如“ N（方法A）”之類的值等的列，而您的摘要統計信息（敏感性，特異性等）作為“ Y響應”。 不幸的是，由於這是一個匯總統計信息，並且不查看每一行的統計信息，因此您將無法對數據進行ANOVA。 您將能夠看到每種方法的整體情況以及每種方法對不同統計數據的良好程度。
我希望我已經正確理解了這個問題。 同樣，它有助於查看數據結構，以準確地知道如何從您的位置移動到想要的位置。
希望這可以幫助！，
DS
回复：如何比較幾種方法之間的敏感性和特異性？謝謝。 所有這些工作都如您所述。 但是，如果這些匯總統計信息的方法之間存在重大差異，我確實希望有一種統計證明的方法。
我可以使用輸入來製作列聯表，但是每個匯總統計信息都是兩個輸入的組合，因此我不確定FP數量的顯著差異是否轉化為使用FP的兩次計算的顯著差異預測值）
回复：如何比較幾種方法之間的敏感性和特異性？你好@莫琳，
聽起來您想做類似利潤矩陣或成本敏感學習的事情。 這可以通過在擬合模型平台中進行名義邏輯擬合來完成。
要么這樣做，要么您必須重複幾次實驗以為每種方法收集足夠的統計信息，從而可以確定敏感性，特異性等摘要統計信息的p值。
例如，如果實驗的運行1結果為：
參考= TP
A = FP
B = TP
C = FN
但是，如果再次重複運行1（在完成所有其他運行之後），也許您會得到：
參考= TP
A = FP
B = FN
C = TP
對於不同的方法，這將導致運行1的數值計數不同。 結果，如果您隨後進行X擬合Y，其中y軸是每個不同行程的計數，x軸是不同的方法（參考，a，b，c），則每種方法（可能不是參考方法）應該在計數上有一定的分佈，這將導致匯總統計信息略有不同。 方差分析將查看這些匯總統計信息的均值和標準差，以發現這些方法之間是否存在重大差異。 由於您將比較四種不同的方法，因此您希望對均值而不是Student-t進行Tukey-Kramer分析。
另一個選擇是研究Bland-Altman分析。 您必須將TP，TN，FP，FN重新編碼為實際數值。 例如看這裡。 此分析將一種方法（與參考）的差異進行比較，並將其與測量的參考平均值進行比較。 換句話說，它將查看DIF = Ref-A（在y軸上）和AVG =（Ref + A）/ 2（在x軸上）。 您可以在FP，TN等或匯總統計信息上進行此分析。
根據行數（實驗運行）的不同，我認為最好像第一段那樣進行分析。
如前所述，如果您可以共享數據表（可以始終對其進行匿名處理（表>匿名化）），那麼確定確切的幫助方式會容易得多。
祝好運！，
DS
