Logistic 分析 > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?嗨 JMP 社区,
在进行逻辑分析时(即 Y = 分类和 X = 连续),数据结构、分布和/或抽样方法是否有任何假设,尤其是关于 ROC 分析?
具体来说,在旨在确定治疗反应预测因子的临床研究中,我注意到我的一些同事选择反应最好和反应最差的患者,排除反应分布的“中间”。 在确定候选预测变量后,他们继续生成 AUC 似乎相当夸大的 ROC 分析(相同的有偏差的数据集)。因此,有意选择患者是否违反了内置 ROC 分析的统计假设?
感谢您的帮助。
最好的,
TS
分析Re: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?也许有人应该质疑你的同事他们方法的有效性和严谨性。 它基于什么统计原理? 这种方法有什么风险? 它会给参数、AUC 和任何其他数据相关结果的估计带来什么偏差? 您的同事是统计分析方面的专家吗? 他们是否邀请了合格的专家来验证他们的方法?
(另请注意,这种做法可能会导致分离或准分离问题,从而导致对 logistic 模型参数的估计不稳定。 您可能已经知道这个问题。)
让我想起了早期的特别指定微阵列数据分析...
Re: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?嗨,马克,
感谢您的反馈:这正是我问这个问题的原因。 我确实担心用这种有偏见的方法设定不合理的期望:当我使用具有代表性的患者群体(随机选择)呈现 ROC 分析数据时,我经常被告知,我的挑选同事的结果“更强”。 因此,我需要有充分的理由。
最好的,
TSRe: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?即使用例不涉及患者结果,遗漏生物标志物分布的中间部分也会夸大灵敏度和特异性的估计值。 没有必要也没有理由对数据进行这种排除。 为什么要等到所有数据都用完后,才发现性能要低得多,甚至无法重现? 这种做法会设定错误的期望。
Re: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?你好,
感谢您的反馈意见。 澄清一下,我在原帖中引用的例子是关于探索性生物标志物研究,而不是关于临床开发:关于患者健康的决策从来都不是这样进行的。
最好的,
TSRe: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?Re: Logistic Analysis > Receiver Operator Curve Analysis:关于数据结构、分布和抽样的假设是什么?这是一个复杂的问题,但简单的答案是“是的,数据可以使 ROC 曲线倾斜”。这样做的原因是 ROC 曲线基于预测模型,如果使用“坏”数据生成该模型,那么 ROC 曲线也不会很好。
ROC 曲线是一种使用模型的不同阈值检查决策规则(预测离散二元结果 Y=0|1 的规则)的敏感性和特异性的方法。假设模型 (M) 具有数字输出值,然后使用以下规则根据阈值 (T) 做出决策
If(M > T) --> 预测 Y=1,否则 --> 预测 Y=0。
ROC 允许您查看阈值对分类的影响,一般来说,ROC 曲线下的面积越大,模型在一系列潜在阈值上进行正确分类的能力就越好。
没有真正对基础数据或分布做出其他假设。