884289_zh-CN

liliconcom

何时使用稳健拟合选项来减少异常值的影响

下图是使用 JMP 的“二元关系”功能显示的报表。在两张图中，我们可以看到 Y 轴上“甘油三酯”的值明显大于其他数据（这些值可以被视为异常值）。绿线显示的是“稳健拟合”的结果，该拟合降低了这些异常值的影响。

当 Y 为连续且 X 为连续时，JMP 的二元关系工具在二元报告中提供稳健拟合选项；当 Y 为连续且 X 为名义或序数时，JMP 的二元关系工具在单向报告中提供稳健拟合选项。

在本文中，我们将展示如何处理数据包含异常值的情况，并将解释一种方法，稳健估计，并提供示例并将其与传统的估计方法进行比较。

一位 JMP 客户之前评论说 JMP 具有这种强大的估计功能，我相信它对其他用户也可能有用。

出现异常值时该怎么办

在将模型拟合到数据时，有三种典型方法可以减少异常值的影响：

1. 删除异常值
2. 执行变量变换（例如对数变换）
3. 进行受异常值影响较小的拟合（稳健估计）

图表是 JMP 中许多报告的第一个显示内容，因此仔细检查图表中是否存在异常值非常重要。

第一步中去除异常值的方法必须经过仔细考量，包括从实际角度考虑。随意排除数据可能会给结果带来偏差。

2. 根据数据的分布和性质，变量变换可能很有用。对于本例中的临床测试值（胆固醇、甘油三酯），可以进行对数变换。然而，选择哪种类型的变换可能很困难，而且缺点是，当数据为零或负值时，它无法像对数变换那样应用。

因此，最有效的选择是使用“稳健估计”方法 (3)，该方法允许在包括异常值的同时进行模型估计。稳健估计有两种选择：稳健拟合 (Robust Fit)和谨慎拟合 (Cauthy Fit) 。这里我们将解释 稳健拟合 (Robust Fit) 选项。

稳健回归

开头展示的甘油三酯和胆固醇关系散点图是让我们思考一下。使用[拟合线]选项执行的常规回归分析（使用最小二乘法）会绘制一条直线，使得数据点与回归线之间的垂直距离（残差）的平方和最小。下图中，红色直线上绘制的垂直线（残差）显示了该距离。

在这种情况下，蓝色圈出的点（异常值）具有非常大的残差，我们可以看到这样的值倾向于拉动最小二乘法计算出的直线。

因此，在最小化这些异常值的影响的同时绘制直线的方法被称为“稳健回归”。

稳健拟合选项使用 Huber 的 M 估计，通过减少残差较大的观测值的权重来减少异常值的影响。

下面是应用稳健拟合和线性拟合选项时的报告。红色虚线是使用最小二乘法得到的回归线，绿色实线是使用稳健回归得到的回归线。稳健回归的斜率 (=0.471) 小于最小二乘回归的斜率 (=0.684)。这表明异常值的影响有所降低，导致 Y 的估计变化范围相对于 X 的变化范围较小。

稳健均值比较

单因素分析报告可以执行方差分析（ANOVA）来比较指定为X的变量各个水平上Y的平均值，但这对Y中的异常值也高度敏感。

因此，通过实施稳健拟合选项，我们可以使用 Huber 的 M 估计来计算每个级别的“稳健均值”，以减少异常值的影响。

下面是应用了稳健拟合和均值/方差分析/合并 t 检验选项的报告，红色虚线表示方差分析的平均水平，绿色实线表示稳健均值。

在“女性”层面，线条重叠，因为方差分析均值和稳健均值相等（=77.375），而在“男性”层面，有几个点的甘油三酯值异常高，因此稳健均值小于方差分析均值。

“方差分析”报告的 p 值为 0.0641，因此在显著性水平为 0.05 的情况下，我们无法得出“男性和女性之间的甘油三酯水平存在显著差异”的结论。另一方面，“稳健拟合”报告的 p 值为 0.0205，因此我们可以得出结论：“男性和女性之间的甘油三酯水平存在显著差异”。

参考：使用响应筛选平台进行稳健估计

还可以使用响应筛选平台进行稳健拟合，该平台允许同时测试多种组合。

「応答のスクリーニング」にて[ロバスト] のオプションを指定]在“响应筛选”中选择“稳健”选项。

ロバスト推定のp値、対数価値などを出力输出 p 值、对数值等，用于稳健估计

*本文使用 JMP 样本数据“Lipid Data.jmp”。

作者：Naohiro Masukawa（JMP 日本）

Naohiro Masukawa - JMP 用户社区

基础数据分析与建模