留一法交叉验证有人可以帮助我理解下面来自Gen Reg平台的图表,用于留一法验证(或者可以帮助我更好地了解留一法验证)吗?我使用糖尿病并预测Y(连续)。为什么在验证图中显示一条特定记录?据我了解,解决方案路径验证图可绘制所有留一法的平均值。


下方附有脚本的数据集。
回复:一劳永逸的交叉验证嗨,温迪,
我想如果你看看K折帮助文档这将有助于解释这一点。 遗漏只是k倍的一种特殊情况,其中k =数据行数。
“为获得最终模型,将为调整参数的最佳值导出的所有k个模型都适合整个数据集。 其中,具有最高验证对数似然性的模型被选为最终模型。 用于该最终模型的训练集被指定为训练集,该模型的保留折叠为验证集。 这些是绘图和最终解决方案的报告结果中使用的训练和验证集。”
因此,您只会看到k个模型之一的图:具有最高验证对数可能性的模型。
我同意只看到一个数据点的验证集的实际值与预测值有点奇怪。 但是希望这可以解释为什么现在。
干杯,
菲尔
回复:一劳永逸的交叉验证嗨,温迪,
是的,对K折或留一法验证方法中使用的Scaled-对数似然度(=对数对数似然度除以#个观测值)进行了平均,但是诊断图(例如Actual by Predicted)显示了单个模型的结果。
拉索惩罚回归的解决方案取决于单个调整参数。 当使用LOO验证在网格上搜索最佳值时,将有N个模型(例如442)适合每车削参数值。很多型号都适合! 将为442个LOO观测值中的每一个计算缩放后的-LL值,然后将它们的平均值与来自具有不同转向参数值的模型的另一个平均缩放后的-LL进行比较。这就是验证图中显示的内容。(请注意,比例参数估计的幅度值等于调整参数的值。)
然后从442个模型中选择最终模型,如@phil_kay :在“所有ķ为调整参数的最佳值而导出的模型适合整个数据集。”实际通过预测在训练集和LOO观察上绘制最终模型的结果;在这种情况下,它是行305,因为当用作LOO验证时,此数据点会产生最高的LL值。
如您所见,K折和LOO验证方法在惩罚回归中的操作与在Partition和NN中的操作有所不同。我希望这有帮助。
健