在 GenReg 中评估模型你好，
在使用广义回归构建模型时，如果我使用标准最小二乘法（有或没有验证列），那么 JMP 会在模型摘要大纲下输出一些有用的指标。 但是，如果我使用不同的方法——前向选择或套索或其他任何方法——以便我可以使用除验证列之外的其他验证方法，则没有可以比较的单一指标。 因此，如果我有一个验证列，我可以获得训练集和验证集的 R^2 之类的东西。 但是，如果我使用留一法、AICc、保留集或其他任何东西，我将无法获得任何好的整体模型汇总统计数据。 我假设解决方案路径图是我能得到的最好的。
但是，如果我试图比较多种方法，解决方案路径图并不是特别有用。 如果我回到传统的逐步，我可以通过 AICc 选择和 BIC 选择运行相同的候选术语集，看到我得到不同的模型，并比较 R^2 或 RMSE 或 AICc 或 BIC 或其他模型汇总统计以查看哪个模型“更好”。 如果在传统的逐步我选择 K 折交叉验证，我可以获得“R 方 K 折”统计量。
广义回归中这些工具的类似物是什么？ 我真的很高兴能够利用 GenReg 可以提供的灵活性，但我不知道如何在各种选项之间进行选择。 我确信有一些简单的东西，但是对于 GenReg 来说相对较新，我只是不确定它是什么。
谢谢，
迈克尔
回复：在 GenReg 中评估模型感谢您与我们合作，请确保将您希望看到的内容添加到愿望清单中。
最好的，
账单
回复：在 GenReg 中评估模型是的... 我正在处理一些较小的数据集，这就是为什么我倾向于留一法，但这让我回到了尝试评估模型时的挫败感。 我喜欢一些更量化的东西来解释为什么 JMP 会到达一个特定的模型，而不是仅仅按下一个 Go 按钮并希望得到最好的结果。
回复：在 GenReg 中评估模型迈克尔，
我相信您可以通过 3 级验证列完成您想要的。培训、验证和测试。模型拟合中不使用测试数据，然后将测试集的 R 方与训练集和验证集的 R 方进行比较。越近越好。使用较小的数据集（< 100 行）实现这一点有点困难，但我发现它是确定“全模型”预测未来数据的好方法。
至于您的最后一点，我相信 Leave-one-out K-fold 是您可以为较小的数据集选择的最佳交叉验证技术之一。
回复：在 GenReg 中评估模型好的，比尔，
谢谢。 我还在学习，但我想我现在明白了一点。
我认为我得到的是全输入 R^2（在所有数据行上）很有用，但我正在寻找更像这样的东西：
训练集与验证集的模型拟合统计数据之间的差异给出了模型对拟合过程中保留的观察结果的鲁棒性的观点。 在构建模型时，我喜欢寻找的一件事是一些统计数据，它告诉我，如果我要获得更多的观察结果，我的模型仍然是合适的。
或许做到这一点的唯一方法是创建一个验证列并随机识别要保留的一组观察，而不是尝试进行多重验证（识别要保留的多组观察）。 我的想法是多重验证会导致模型更健壮，但也许这不是真的？
迈克尔
回复：在 GenReg 中评估模型迈克尔，
根据您的回复，我与开发人员进行了进一步的通信，以下是他发回的内容；
“......他正在比较的是模型比较中的 R^2（对于在genreg中构建的前向选择模型）与在逐步平台中构建的前向选择模型的 R^2。 他的模型比较 (.8704) 中的 R^2 是根据整个数据计算的。 逐步输出实际上也包含该信息，我在下面用红色圈出了它。 他在逐步报告中圈出的值 (.8514) 是 k 倍 R^2。 所以问题是他将整个数据的 R^2 与 k 倍的 R^2 进行比较。” 
开发人员继续谈论两个平台的差异；
“....（何时）将genreg中的前向选择与Stepwise中的前向选择进行比较。 两个平台进行前向选择的方式存在一些细微差别。 Genreg 着眼于分数测试来决定接下来要引入哪种效果，Stepwise 着眼于 wald 测试。”
最后是开发组方辰在 Stepwise 中对 K-fold Rsquare 的计算：
“逐步中的 K 折 R 方是通过遵循 R 方 = 1 – SSE/SST 的一般定义来计算的，其中 SSE 是根据每个 K 个保留样本的残差计算的。
K-Fold Rsquare = 1 - ResV`*ResV / ((Y-YMean)`*(Y-YMean)"
最后一点可能是您寻找 Rsquare 值不同的关键所在。我添加了其他位，希望提供更完整的答案。
高温高压
回复：在 GenReg 中评估模型账单，
我仍然很困惑。 GenReg 开发人员说 GenReg 正在对模型进行比较（R^2？其他什么？）但我不知道在哪里可以找到它，请参阅我的原始帖子说我找不到任何指标。 同样有趣的是，他说逐步和模型比较以相同的方式计算 R^2。 这很奇怪，因为我显然得到了两个不同的 R^2 值。
谢谢，
迈克尔
回复：在 GenReg 中评估模型迈克尔，
请参阅下面来自 GenReg 平台开发人员之一的解释。
“当我们计算 R^2 时，我们正在比较我们的模型与空（仅拦截）模型相比的拟合程度。 在训练集上，我们应该如何做到这一点很明显——我们将我们的拟合与在训练集上估计的仅截距模型进行比较。 在验证集上，存在一些歧义。 在genreg中，我们将我们拟合的模型与仅拦截模型进行比较建立在训练集上. 在逐步和模型比较中，将拟合模型与仅截距模型进行比较来计算 R^2建立在验证集上。”
开发人员接着说他觉得“一个答案不一定是对或错”。尽管如此，他还是非常喜欢在 GenReg 中完成的方式。 
回复：在 GenReg 中评估模型@Bill_Worley谢谢！ 从表面上看，这是一种有用的方法。 它确实不同意我在 Stepwise 中得到的东西。 我应该相信哪个平台？ （带有正向选择的 GenReg，留一个，表中有 38 行数据，相对于逐步，从红色三角形中指定 38 折的 k 折。）请参阅屏幕截图。 R^2 的差异相当明显，系数估计的差异很小。
回复：在 GenReg 中评估模型嘿迈克尔，
我对您的问题的第一反应是建议使用模型比较。将要比较的预测公式发布到公式库，然后从那里或直接从 Gen Reg 报告转到分析 > 预测建模 > 模型比较。不过，您必须先将预测公式保存到数据表中才能使用此选项。
高温高压
最好的，
账单
