在我们的免费在线课程中了解更多信息:
解决工业问题的统计思维
在本视频中,我们展示了如何在 JMP Pro 中使用广义回归来拟合惩罚回归模型。 我们使用文件 Bodyfat 07.jmp 并使用 Lasso 进行验证来拟合 %Fat 模型。
首先,我们拟合脂肪百分比的线性回归模型。
为此,我们从“分析”菜单中选择“拟合模型”。 我们为 Y 角色选择 %Fat,选择所有预测变量作为模型效应,并使用验证角色中的验证列。
然后我们从“个性”菜单中选择“广义回归”。
默认响应分布为正态。我们将使用正态分布运行该模型。
您可以看到我们已经拟合了标准的最小二乘回归模型。 当我们查看参数估计表时,您可以看到其中三个预测变量很重要。
然而,让我们看看 VIF(即方差膨胀因子),看看是否存在多重共线性问题。
为此,我们右键单击参数估计表并选择列,然后选择 VIF。 您可以看到其中许多值都大于 10,其中两个值大于 100。 这告诉我们多重共线性确实是这些数据的问题。
当您有相关预测变量时,您可以使用惩罚估计方法而不是最小二乘回归。
默认方法是 Lasso,它是最小绝对收缩和选择运算符的缩写。 套索应用惩罚来缩小参数估计。 因为 Lasso 可以将估计值缩小到零,所以它也可以用于变量选择。
套索有很多可用选项,但我们将使用默认值运行模型。
我们在指定模型时使用了验证列,因此验证列是默认的验证方法。
我们将单击“Go”来运行该模型。
显示了套索选择的最佳模型。 这是具有最佳惩罚参数 Lambda 值的模型。
让我们从模型中的所有项开始。 这与我们的最小二乘模型相同。 为此,我们将参数估计解路径中的红线一直拖动到右侧。
解路径显示了中心化和缩放后的参数估计值的大小。 为了显示这些估计值,我们从模型的红色三角形中选择回归报告,然后选择中心和缩放预测变量的参数估计值。
最上面一行是腹部的参数估计值,为 117.87。
从上往下数第二行是 BMI。 这个估计是88.9。
当我们从右向左拖动红线时,我们会增加惩罚参数 Lambda 的值。 您可以看到,当我们这样做时,许多参数估计值变得更小。 也就是说,它们收缩了。
例如,BMI 的估计值从 88.9 缩减至 51.25。 重量的参数估计值已缩小至零。 该术语已从模型中删除。
在这里,处以巨额罚款。 除了身高和腹部之外,模型的所有内容都已被删除。
如何确定何时停止从模型中删除项? 也就是说,我们如何确定惩罚参数的最优值?
该模型是使用验证列构建的,因此 JMP 使用称为缩放负对数似然的统计量。
该模型是使用训练集中的数据构建的。 最佳模型是验证集的缩放负对数似然值最小的模型。
该模型包括几个参数。 体重、BMI、大腿和膝盖的估计值已从模型中删除。
让我们看看这个简化的模型。 为此,我们从模型的红色小三角中选择“显示预测表达式”。
参数估计值只是线性模型中的系数,就像拟合多元线性回归模型时得到的一样。
这使得惩罚模型易于解释和解释。