如何比較幾種方法之間的敏感性和特異性？大家好
我有參考方法和三種替代方法的數據。 我為三種替代方法中的每一種提供了列，對於每一行，指示樣本是真陽性（TP）、假陽性（FP）、真陰性（TN）還是假陰性（FN）。 我想評估三種方法的敏感性(TP/(TP+FN))、特異性(TN/(TN+FP))、陽性預測值(TP/(TP+FP))、陰性預測值的顯著性差異(TN/(TN+FN)) 和準確度((TP+TN)/總計)。
如何根據公式進行匯總統計，以便判斷不同方法之間是否存在顯著差異？
莫林
高級統計建模數據探索和可視化回复：如何比較幾種方法的敏感性和特異性？你好@莫琳,
聽起來您想做一些諸如利潤矩陣或成本敏感學習之類的事情。 這可以通過在擬合模型平台中進行名義邏輯擬合來完成。
要么這樣，要么您必須多次重複實驗才能為每種方法收集足夠的統計數據，以便您可以確定敏感性、特異性等匯總統計數據的 p 值。
例如，如果實驗的運行 1 結果為：
參考 = TP
A=FP
B = TP
C=FN
但是，如果您再次重複運行 1（在完成所有其他運行之後），也許您會得到：
參考 = TP
A=FP
B=FN
C = TP
這將導致不同方法的運行 1 的數值計數不同。 因此，如果您隨後執行 Fit Y by X，其中 y 軸是每次不同運行的計數，x 軸是不同的方法 (ref、a、b、c)，則每種方法（參考方法除外）應該在計數中存在差異，這會導致匯總統計數據略有不同。 方差分析將查看這些匯總統計數據的平均值和標準差，以查找方法之間是否存在顯著差異。 由於您要比較四種不同的方法，因此您需要對均值進行 Tukey-Kramer 分析，而不是 Student's-t 分析。
另一種選擇是研究布蘭德-奧爾特曼分析。 您必須將 TP、TN、FP、FN 重新編碼為實際數值。 參見示例這裡。 該分析比較了一種方法（與參考）的差異，並將其與測量參考的平均值進行比較。 換句話說，它將查看 DIF = Ref-A（在 y 軸上）和 AVG = (Ref+A)/2（在 x 軸上）。 您可以對 FP、TN 等或匯總統計數據進行此分析。
根據您擁有的行數（實驗運行），我認為您最好像第一段那樣進行分析。
如前所述，如果您可以共享數據表（您始終可以將其匿名化（表 > 匿名化）），那麼確定如何幫助您會容易得多。
祝你好運！，
DS
回复：如何比較幾種方法的敏感性和特異性？謝謝。 所有這些都按照您的描述進行。 但我確實想要一種統計方法來證明這些匯總統計數據的方法之間是否存在顯著差異。
我可以使用輸入製作列聯表，但每個匯總統計量都是兩個輸入的組合，因此我不確定FP 數量的顯著差異是否會轉化為使用它的兩個計算中的顯著差異（特異性和正值）預測值）
回复：如何比較幾種方法的敏感性和特異性？你好@莫琳,
我想我了解您的數據是如何組織的。 如果我這樣做，並且如果我了解您如何嘗試總結每種方法的統計評估，您將需要進行一些數據表操作以使其採用正確的格式。 這就是我要做的：
- 對堆疊數據進行匯總，其中將包含 TP、FP、TN、FN 的列放入“組”條目中，然後將包含該行是否為引用、方法 A、方法 B 或方法 C 的信息的列放入其中作為“子組”（請務必取消選中“鏈接到原始數據表”框）。 這將創建一個新的數據表，其中包含FN、TN 等字符的列，“N 行”列表示有多少行具有該值，然後是其他幾個名稱為N(Method A)、N(method) 的列B)、N(參考)等。這些列包含每個 TP、FP、TN、FN 事件的計數。
- 然後您需要轉置該表。 您需要將所有標題為“N（某物的名稱）”的列放入“轉置列”選擇中，然後對於“標籤”，您需要使用包含以下內容的列（可能名為“數據”） TP 、TN等值。 這將生成一個新的數據表，其中有一列名為“Label”，其中將包含上一個表中的列名稱，即“N(方法 A)”等。 現在將出現名稱為“TP”、“TN”、“FP”、“FN”的列，每行將包含特定方法發生特定事件的次數計數。
- 現在，您將創建統計摘要列作為公式。 對於您想要計算的每個匯總統計量，特異性將為 TP/(TP+FN)，依此類推。
- 最後一步是使用 Fit Y by X 平台進行繪圖。 您可以使用“標籤”列作為 X 因子（該列包含“N（方法 A）”等值，並將匯總統計數據（敏感性、特異性等）用作 Y 響應。 不幸的是，由於這是一個匯總統計數據，而不是查看每一行的統計數據，因此您將無法對數據進行方差分析。 您將能夠看到每種方法的總體情況以及每種方法對於不同統計數據的效果。
我希望我已經正確理解了這個問題。 同樣，能夠查看數據結構以準確了解如何從當前位置移動到想要到達的位置也很有幫助。
希望這可以幫助！，
DS
回复：如何比較幾種方法的敏感性和特異性？這些值實際上是表示“TP”、“TN”、“FP”、“FN”的字符。 因此，靈敏度、特異性等的計算是使用值計數的方法的匯總統計量，而不是為每行計算的內容。 我確實堆積了數據，並且可以對四個計數進行卡方計算，但每個匯總統計數據僅使用四個可用選項中的兩個，因此我不確定如何僅使用TP 和FN 的數量進行卡方計算用於計算靈敏度，而不將 TN 和 FP 納入卡方的整體顯著性中。
回复：如何比較幾種方法的敏感性和特異性？你好@莫琳,
有幾種方法可以解決此問題，這取決於表格的佈局。 如果它是堆疊的，這意味著您有一個標記為“方法”的列，並且它可能有“參考”、“替代 A”、“替代 B”等條目，那麼您將為每個您正在查看的統計數據、敏感性、特異性等。 其中每個統計數據都是通過您擁有的公式計算的。 然後，您可以對堆積柱進行方差分析以提高靈敏度等。 方差分析應該讓您了解A、B、C 等的靈敏度是否存在顯著差異。將其疊加起來確實有助於了解不僅三種替代方法中的每一種與參考方法相比如何，還有助於了解如何他們都互相比較。
如果您的表按實驗運行按行排列，那麼您需要創建一個新的數據表，在其中按統計列堆疊以便運行方差分析。
如果您能夠共享數據表（如果需要的話將其匿名）以更好地理解數據結構和您想要去的地方，那麼解決您的特定問題可能會更容易。
出於好奇，您的 TP、FN、TN、FP 值是二進制 0 或 1，還是介於 0 和 1 之間？ 另外，您是否想要對所有實驗運行的統計數據（靈敏度等）進行求和以比較聚合值，或者逐個運行地對其進行評估？
希望這可以幫助！，
DS
