如何比较几种方法之间的敏感性和特异性？大家好
我有参考方法和三种替代方法的数据。 我为三种替代方法中的每一种提供了列，对于每一行，指示样本是真阳性（TP）、假阳性（FP）、真阴性（TN）还是假阴性（FN）。 我想评估三种方法的敏感性(TP/(TP+FN))、特异性(TN/(TN+FP))、阳性预测值(TP/(TP+FP))、阴性预测值的显着性差异(TN/(TN+FN)) 和准确度((TP+TN)/总计)。
如何根据公式进行汇总统计，以便判断不同方法之间是否存在显着差异？
莫琳
高级统计建模数据探索和可视化回复：如何比较几种方法的敏感性和特异性？你好@莫琳,
听起来您想做一些诸如利润矩阵或成本敏感学习之类的事情。 这可以通过在拟合模型平台中进行名义逻辑拟合来完成。
要么这样，要么您必须多次重复实验才能为每种方法收集足够的统计数据，以便您可以确定敏感性、特异性等汇总统计数据的 p 值。
例如，如果实验的运行 1 结果为：
参考 = TP
A=FP
B = TP
C=FN
但是，如果您再次重复运行 1（在完成所有其他运行之后），也许您会得到：
参考 = TP
A=FP
B=FN
C = TP
这将导致不同方法的运行 1 的数值计数不同。 因此，如果您随后执行 Fit Y by X，其中 y 轴是每次不同运行的计数，x 轴是不同的方法 (ref、a、b、c)，则每种方法（参考方法除外）应该在计数中存在差异，这会导致汇总统计数据略有不同。 方差分析将查看这些汇总统计数据的平均值和标准差，以查找方法之间是否存在显着差异。 由于您要比较四种不同的方法，因此您需要对均值进行 Tukey-Kramer 分析，而不是 Student's-t 分析。
另一种选择是研究布兰德-奥尔特曼分析。 您必须将 TP、TN、FP、FN 重新编码为实际数值。 参见示例这里。 该分析比较了一种方法（与参考）的差异，并将其与测量参考的平均值进行比较。 换句话说，它将查看 DIF = Ref-A（在 y 轴上）和 AVG = (Ref+A)/2（在 x 轴上）。 您可以对 FP、TN 等或汇总统计数据进行此分析。
根据您拥有的行数（实验运行），我认为您最好像第一段那样进行分析。
如前所述，如果您可以共享数据表（您始终可以将其匿名化（表 > 匿名化）），那么确定如何帮助您会容易得多。
祝你好运！，
DS
回复：如何比较几种方法的敏感性和特异性？谢谢。 所有这些都按照您的描述进行。 但我确实想要一种统计方法来证明这些汇总统计数据的方法之间是否存在显着差异。
我可以使用输入制作列联表，但每个汇总统计量都是两个输入的组合，因此我不确定 FP 数量的显着差异是否会转化为使用它的两个计算中的显着差异（特异性和正值）预测值）
回复：如何比较几种方法的敏感性和特异性？你好@莫琳,
我想我了解您的数据是如何组织的。 如果我这样做，并且如果我了解您如何尝试总结每种方法的统计评估，您将需要进行一些数据表操作以使其采用正确的格式。 这就是我要做的：
- 对堆叠数据进行汇总，其中将包含 TP、FP、TN、FN 的列放入“组”条目中，然后将包含该行是否为引用、方法 A、方法 B 或方法 C 的信息的列放入其中作为“子组”（请务必取消选中“链接到原始数据表”框）。 这将创建一个新的数据表，其中包含 FN、TN 等字符的列，“N 行”列表示有多少行具有该值，然后是其他几个名称为 N(Method A)、N(method) 的列B)、N(参考)等。这些列包含每个 TP、FP、TN、FN 事件的计数。
- 然后您需要转置该表。 您需要将所有标题为“N（某物的名称）”的列放入“转置列”选择中，然后对于“标签”，您需要使用包含以下内容的列（可能名为“数据”） TP、TN等值。 这将生成一个新的数据表，其中有一列名为“Label”，其中将包含上一个表中的列名称，即“N(方法 A)”等。 现在将出现名称为“TP”、“TN”、“FP”、“FN”的列，每行将包含特定方法发生特定事件的次数计数。
- 现在，您将创建统计摘要列作为公式。 对于您想要计算的每个汇总统计量，特异性将为 TP/(TP+FN)，依此类推。
- 最后一步是使用 Fit Y by X 平台进行绘图。 您可以使用“标签”列作为 X 因子（该列包含“N（方法 A）”等值，并将汇总统计数据（敏感性、特异性等）用作 Y 响应。 不幸的是，由于这是一个汇总统计数据，而不是查看每一行的统计数据，因此您将无法对数据进行方差分析。 您将能够看到每种方法的总体情况以及每种方法对于不同统计数据的效果。
我希望我已经正确理解了这个问题。 同样，能够查看数据结构以准确了解如何从当前位置移动到想要到达的位置也很有帮助。
希望这可以帮助！，
DS
回复：如何比较几种方法的敏感性和特异性？这些值实际上是表示“TP”、“TN”、“FP”、“FN”的字符。 因此，灵敏度、特异性等的计算是使用值计数的方法的汇总统计量，而不是为每行计算的内容。 我确实堆积了数据，并且可以对四个计数进行卡方计算，但每个汇总统计数据仅使用四个可用选项中的两个，因此我不确定如何仅使用 TP 和 FN 的数量进行卡方计算用于计算灵敏度，而不将 TN 和 FP 纳入卡方的整体显着性中。
回复：如何比较几种方法的敏感性和特异性？你好@莫琳,
有几种方法可以解决此问题，这取决于表格的布局。 如果它是堆叠的，这意味着您有一个标记为“方法”的列，并且它可能有“参考”、“替代 A”、“替代 B”等条目，那么您将为每个您正在查看的统计数据、敏感性、特异性等。 其中每个统计数据都是通过您拥有的公式计算的。 然后，您可以对堆积柱进行方差分析以提高灵敏度等。 方差分析应该让您了解 A、B、C 等的灵敏度是否存在显着差异。将其叠加起来确实有助于了解不仅三种替代方法中的每一种与参考方法相比如何，还有助于了解如何他们都互相比较。
如果您的表按实验运行按行排列，那么您需要创建一个新的数据表，在其中按统计列堆叠以便运行方差分析。
如果您能够共享数据表（如果需要的话将其匿名）以更好地理解数据结构和您想要去的地方，那么解决您的特定问题可能会更容易。
出于好奇，您的 TP、FN、TN、FP 值是二进制 0 或 1，还是介于 0 和 1 之间？ 另外，您是否想要对所有实验运行的统计数据（灵敏度等）进行求和以比较聚合值，或者逐个运行地对其进行评估？
希望这可以帮助！，
DS
