我们收到审稿人意见如下:
为了确认截止值的效用,需要进行验证。但是,在这个队列中,没有进行验证分析。由于样本量很小,很难进行外部验证研究。但是,内部验证(或交叉验证)分析可能能够通过统计方法进行,例如留一法或k倍交叉验证法。
我无法理解审稿人想要使用的统计方法。
你能用 JMP 解决这个问题吗?
@Marimo ,
留一法是 k 折交叉验证的一个版本,其中数据集中的所有行都一次用作验证“集”。
例如,如果您的数据集中有 20 行,则可以采用 k 倍 5 交叉验证,这将使用 20% 的数据 5 次。在这种情况下,交叉验证需要 4 行,训练需要 16 行。
每 20% 都使用一种称为放回抽样的方法,以尝试确保所有数据都包含在五个 k 折之一中。此示例中的另一个选项是制作一个 k 折 20,然后使用数据集的每一行作为验证集。折数越高,用于交叉验证的数据百分比就越低。在 JMP 的大多数平台中都可以找到 K 折交叉验证。
另一种选择是使用 Bootstrap Forest 之类的方法,该方法在算法中内置了替换抽样。您需要 JMP Pro 才能充分利用此平台。Bootstrap Forest 使用模型平均法,通过构建许多具有不同数据子集的较小模型(树)来查找数据集中最重要的变量。
高血压
账单
问题:如果我有 20 行并使用 K=20 倍,这是否与“留一法”验证完全相同?我一直认为后者使用每个观察值作为验证集(在整个数据集中旋转),而 K 倍抽样则有放回,因此我不清楚每个观察值是否都用于验证。你能澄清一下吗?
嗨@Marimo ,
欢迎加入社区!
以下是我之前发布的帖子中有关验证、具体验证方法的使用以及如何在 JMP 中进行验证的一些信息: https://community.jmp.com/t5/Discussions/CROSS-VALIDATION-VALIDATION-COLUMN-METHOD/mp/588349/highlight/true#M79332
我希望这第一个答案能帮助你,