如何比较几种方法之间的敏感性和特异性？大家好
我有参考方法和三种替代方法的数据。 我在三种替代方法的每一列中都有一栏，每行分别指示标本是真阳性（TP），假阳性（FP），真阴性（TN）还是假阴性（FN）。 我想评估灵敏度（TP /（TP + FN）），特异性（TN /（TN + FP）），阳性预测值（TP /（TP + FP）），阴性预测值这三种方法之间的显着性差异（TN /（TN + FN））和准确性（（TP + TN）/总计）。
如何从公式中得出汇总统计信息，以便可以判断不同方法之间是否存在显着差异？
莫琳
分析工具回复：如何比较几种方法之间的敏感性和特异性？你好@莫琳，
有两种解决方法，这取决于表格的布局。 如果是堆叠式，这意味着您有一个列为“方法”的列，并且可能包含“引用”，“ Alt A”，“ Alt B”等条目，那么您将为每个列创建一个统计列您要查看的统计信息，敏感性，特异性等。 每个统计信息都由您拥有的公式计算得出。 然后，您需要对堆积柱进行方差分析以提高灵敏度等。 ANOVA分析应让您了解A，B，C等的灵敏度是否存在显着差异。将其堆叠起来不仅可以帮助您不仅了解三种替代方法与参考方法的比较，而且还可以帮助您了解他们都互相比较。
如果您的表是通过实验运行按行排列的，那么您需要创建一个新的数据表，并在其中按stat列进行堆叠，以运行ANOVA。
如果您能够共享数据表（必要时将其匿名化）以更好地了解数据结构以及您要去往何处，则可能更容易解决您的特定问题。
出于好奇，您的TP，FN，TN，FP值是二进制0还是1，还是介于0到1之间？ 另外，您是否要对实验所有运行的统计信息（灵敏度等）求和以比较合计值，或在逐个运行的基础上对其进行评估？
希望这可以帮助！，
DS
回复：如何比较几种方法之间的敏感性和特异性？这些值实际上是表示“ TP”，“ TN”，“ FP”，“ FN”的字符。 因此，灵敏度，特异性等的计算是使用值计数的方法的摘要统计量，而不是为每一行计算的东西。 我确实有堆叠的数据，并且可以对四个计数进行卡方运算，但是每个摘要统计量仅使用四个可用选项中的两个，所以我不确定如何仅用TP和FN的数量来做卡方运算它们用于计算灵敏度，而无需将TN和FP纳入卡方的总体意义。
回复：如何比较几种方法之间的敏感性和特异性？你好@莫琳，
我想我了解您的数据是如何组织的。 如果可以，并且如果您了解如何尝试总结每种方法的统计评估，则将需要进行一些数据表操作以使其采用正确的格式。 这是我要做的：
- 对堆栈数据进行汇总，将包含TP，FP，TN，FN的列放在“组”条目中，然后将包含信息的列放入该行是引用，方法A，方法B还是方法C作为“子组”（确保取消选中“链接到原始数据表”框）。 这将创建一个新数据表，该表的一列包含FN，TN等字符，“ N行”列表示有该值的行数，然后是其他几列，其名称类似N（方法A），N（方法B），N（参考）等。这些列包含每个TP，FP，TN，FN事件的计数。
- 然后，您需要转置该表。 您需要将所有标题为“ N（某物的名称）”的列放入“转置列”选择中，然后对于“标签”，您将要使用包含以下内容的列（可能名为“数据”） TP，TN等值。 这将生成一个新数据表，该表具有一个名为“ Label”的列，其中将包含前一个表的列名，即“ N（method A）”，依此类推。 现在将有名称为“ TP”，“ TN”，“ FP”，“ FN”的列，每一行将包含针对特定方法发生特定事件的次数的计数。
- 现在，您将创建统计摘要列作为公式。 对于要计算的每个摘要统计信息，特异性将为TP /（TP + FN），依此类推。
- 最后一步是使用“ Fit Y by X”平台进行绘图。 您将使用“标签”列作为X因子（这是包含诸如“ N（方法A）”之类的值等的列，而您的摘要统计信息（敏感性，特异性等）作为“ Y响应”。 不幸的是，由于这是一个汇总统计信息，并且不查看每一行的统计信息，因此您将无法对数据进行ANOVA。 您将能够看到每种方法的整体情况以及每种方法对不同统计数据的良好程度。
我希望我已经正确理解了这个问题。 同样，它有助于查看数据结构，以准确地知道如何从您的位置移动到想要的位置。
希望这可以帮助！，
DS
回复：如何比较几种方法之间的敏感性和特异性？谢谢。 所有这些工作都如您所述。 但是，如果这些汇总统计信息的方法之间存在重大差异，我确实希望有一种统计证明的方法。
我可以使用输入来制作列联表，但是每个汇总统计信息都是两个输入的组合，因此我不确定FP数量的显着差异是否转化为使用FP的两次计算的显着差异预测值）
回复：如何比较几种方法之间的敏感性和特异性？你好@莫琳，
听起来您想做类似利润矩阵或成本敏感学习的事情。 这可以通过在拟合模型平台中进行名义逻辑拟合来完成。
要么这样做，要么您必须重复几次实验以为每种方法收集足够的统计信息，从而可以确定敏感性，特异性等摘要统计信息的p值。
例如，如果实验的运行1结果为：
参考= TP
A = FP
B = TP
C = FN
但是，如果再次重复运行1（在完成所有其他运行之后），也许您会得到：
参考= TP
A = FP
B = FN
C = TP
对于不同的方法，这将导致运行1的数值计数不同。 结果，如果您随后进行X拟合Y，其中y轴是每个不同行程的计数，x轴是不同的方法（参考，a，b，c），则每种方法（可能不是参考方法）应该在计数上有一定的分布，这将导致汇总统计信息略有不同。 方差分析将查看这些汇总统计信息的均值和标准差，以发现这些方法之间是否存在重大差异。 由于您将比较四种不同的方法，因此您希望对均值而不是Student-t进行Tukey-Kramer分析。
另一个选择是研究Bland-Altman分析。 您必须将TP，TN，FP，FN重新编码为实际数值。 例如看这里。 此分析将一种方法（与参考）的差异进行比较，并将其与测量的参考平均值进行比较。 换句话说，它将查看DIF = Ref-A（在y轴上）和AVG =（Ref + A）/ 2（在x轴上）。 您可以在FP，TN等或汇总统计信息上进行此分析。
根据行数（实验运行）的不同，我认为最好像第一段那样进行分析。
如前所述，如果您可以共享数据表（可以始终对其进行匿名处理（表>匿名化）），那么确定确切的帮助方式会容易得多。
祝好运！，
DS
