在我们的免费在线课程中了解更多信息:
工业问题解决的统计思维
在本视频中,我们展示了如何在 JMP Pro 中比较和选择预测模型。 我们使用数据集 Bodyfat 07 来拟合使用所有可用预测变量的连续 %Fat 的预测模型。
验证 2 列将数据划分为训练集、验证集和测试集。
我们使用广义回归建立了三个线性模型。 我们还构建了一个回归树和一个简单的神经网络。
为了确定哪个模型表现最好,我们查看测试集的拟合统计量。 但是当您比较多个模型时,这可能会有点挑战。
相反,我们会将所有模型的公式保存到数据表中,然后使用 JMP Pro 中的模型比较平台来比较模型。
要保存广义回归模型,我们选择保存列,然后从模型的红色三角形中选择保存预测公式。 这会将预测公式列保存到模型的数据表中。
要将回归树模型保存到数据表中,我们还选择保存列,然后从模型的顶部红色三角形中选择保存预测公式。
为了保存神经网络模型,我们从模型的红色小三角中选择 Save Profile Formulas。 这不是将几列保存到数据表中,而是将整个神经模型保存在一个预测公式列中。
为了比较这些模型的性能,我们使用模型比较平台。 为此,我们选择分析、预测建模,然后选择模型比较。
我们选择五个预测列作为 Y,Predictors。 您也可以将 Y、预测变量字段留空,JMP 将为您找到所有包含预测公式的列。
我们想要报告训练集、验证集和测试集的单独拟合统计量因此,我们选择 Validation 2 作为 BY 变量并单击 OK。
您会看到每个数据分区的单独报告。
模型使用训练数据进行拟合,模型复杂度由验证数据确定。 所以我们使用测试集的统计数据来选择性能最好的模型。
为了更容易识别最佳模型,我们将对测试集的 RASE(均方根误差)进行排序。 为此,我们右键单击表格并选择按列排序。 然后我们选择 RASE,单击 Ascending 框,然后单击 OK。
在我们为这些数据构建的模型中,性能最好的模型是剪枝前向选择模型。 该模型具有最低的 RASE、最低的 AAE 和最高的 R 方。
将公式列保存到数据表的另一种方法是将它们发布到公式库。 例如,让我们看一下广义回归模型。
我们将选择发布预测公式,而不是从模型的保存列菜单中选择保存预测公式。
这会将模型写入公式库。
从这里我们可以使用顶部的红色三角形启动模型比较平台,您可以将模型应用于不同的数据表,您可以为模型生成不同编程语言的评分代码等等。
模型比较平台可以轻松比较和选择性能最佳的预测模型。 公式库提供对模型比较的访问,但它也使您能够轻松地将最佳模型应用于新数据。