使用 k 倍拟合质量进行交叉验证我正在使用套索拟合和留一法或 K 折交叉验证。请告知在输出中查看 R 平方和其他拟合质量指标（例如 AIC）的最佳方法。对训练集和验证集（所有保留值的平均值）进行此操作会很有帮助。
预测模型和机器学习回复：使用 k 倍拟合质量进行交叉验证你好@丹尼尔斯 ，
欢迎加入社区！
为了获得 LASSO 回归在各个折叠和平均值上的性能指标，我认为从模型筛选平台启动广义回归更容易，只需选中“广义回归”和“附加方法”选项，指定可以进入模型的术语类型（例如引入交互作用和二次效应）、折叠数和可重复性的种子（如果需要）：
平台启动后，您将打开一个新窗口，其中包含有关各个折叠和摘要的所有信息：
希望这个答案能帮助你，
回复：使用 k 倍拟合质量进行交叉验证谢谢。这很有帮助。我了解到，我会选择最佳折叠并“运行选定”，然后您将获得套索拟合结果，并使用最佳 K 折叠作为验证
回复：使用 k 倍拟合质量进行交叉验证你好@丹尼尔斯 ，
在使用 K 折交叉验证启动 LASSO 模型后，确实有几种方法可以处理结果：
- 在“最佳”验证折叠上选择表现最佳的 LASSO 模型：不推荐，因为这看起来像“挑选”而不是“诚实的评估”和选择程序：它更像是为模型选择正确的数据，而不是将正确的模型拟合到您的数据中，所以您最终可能会过度拟合您的验证数据。
- 在评估结果的一致性和稳健性之后，在所有数据上重新训练模型：这种方法似乎合乎逻辑，因为一旦你评估了你的模型是稳健的并且在所有折叠中都有类似的结果，你可能会倾向于使用所有数据来进一步改进你的模型。如果你确定模型的参数（例如，包含的术语和惩罚值）在使用交叉验证数据和使用所有数据进行拟合之间可以保持不变，那么这可能是一个可行的选择，以确保你的模型不会在整个数据集上过度拟合。这种方法的缺点是忽视了模型验证，所以如果测试数据出现任何问题，在没有验证数据的情况下很难调试模型。
- 创建 K 个模型的模型平均值：这是我首选的方法（如果可能的话）。一旦有了 K 个模型，您就可以运行每个模型并使用“发布预测公式”保存其预测公式，以将您的模型存储在公式库中：
一旦模型公式进入公式库，您可以点击“公式库”旁边的红色三角形并选择“ 模型比较”。这将创建模型性能的简短摘要，如果您点击“模型比较”旁边的红色三角形，您可以创建一个模型平均：
此选项将在您的数据表中创建一个新公式，该公式对应于您的 K 个模型的平均方程（在我的例子中，是我的 5 个单独的交叉验证模型的平均方程/模型）：
然后，您可以使用相同的模型比较平台再次比较 K 个单独模型和平均模型的性能。
请注意，如果您有大量折叠，并且/或者使用的模型很复杂（如神经网络），则此方法可能不容易/不可行。对于回归模型和机器学习“基础模型”（如决策树、SVM、kNN 等）等简单模型，此方法有助于避免过度拟合并确保稳健性和泛化属性，而不会在验证中“丢失”任何数据。
您可以在以下文章中阅读有关交叉验证的更多信息：
交叉验证-验证列方法
k 倍 r2
我还强烈推荐 Cassie Kozyrkov 的播放列表“与机器学习交朋友”，以了解有关模型训练、验证和测试的更多信息： 与机器学习交朋友 - YouTube
希望这个回复能帮助你并回答你的问题，
回复：使用 k 倍拟合质量进行交叉验证谢谢！您的见解非常符合我所走的机器学习轨迹。
回复：使用 k 倍拟合质量进行交叉验证为了完成我的分析，如果我使用 K 折模型的平均模型，如上所述，我想查看每个模型独立变量的重要性。我通常会使用 VIF。请告诉我如何在平均公式上做到这一点？
谢谢。
回复：使用 k 倍拟合质量进行交叉验证嗨@丹尼尔斯
我不确定是否明白您的意思， 风险因子值有助于评估变量之间的共线性程度，但它并不能反映这些变量对响应的重要性。
您可以比较平均模型公式中的参数估计值来比较因素的重要性。
您还可以在分析器中加载平均公式（在菜单图形中可用，选中“扩展中间公式”以确保您的响应将链接到您的原始预测变量），并使用“ 评估变量重要性”选项根据Sobol 指数计算变量重要性（就主效应和总体效应而言）。
希望这个答案能帮助你，
回复：使用 k 倍拟合质量进行交叉验证谢谢！我还有很多东西需要学习，您的回复给了我继续学习的平台。
