使用 JMP® Pro 的线性混合模型：一张脸，多种口味*
曹健 博士
SAS Institute, Inc.
2015 年 3 月 24 日
布鲁塞尔，比利时
抽象的
JMP Pro 11 中引入的新功能之一是混合模型。 Fit Model 平台中的这一新建模特性使人们能够拟合各种具有固定和随机效应以及适当的协方差结构的回归模型。 什么是混合模型？ 什么时候以及为什么应该适合混合模型？ JMP 如何拟合这样的模型？ 在本文中，我将尝试通过 1) 简要回顾统计背景，2) 讨论为什么混合模型提供更好的估计以及将传统回归模型拟合到响应变量的测量值相关或缺少关键的解释变量，以及 3) 通过拟合在现实生活中广泛使用的不同风格的混合模型来说明 JMP® Pro 的混合模型。
致谢：感谢 Christopher Gotwalt 和 Laura Lancaster 的帮助。
*本白皮书提供的材料也适用于 JMP Pro 12。新 JMP Pro 12 的关键增强是改进的优化算法，使 JMP 能够比 JMP Pro 11 更快地处理大数据.
JMP Pro 11 为其拟合模型平台添加了新的建模个性，混合模型。什么是混合模型？ JMP如何拟合这样的模型？ 可以应用混合模型的关键应用有哪些？ 在本文中，我将尝试消除关于混合模型的迷思，并通过实际示例展示 JMP 的功能。
什么是线性混合模型
线性混合模型是线性回归模型的推广, y=Xβ +ε . 扩展模型以允许随机效应， Z , 新模型变为y=Xβ+Z γ + ε . 这是线性混合模型，因为有两个固定效应， X，和随机效应， Z。
以下假设是为随机效应参数， γ和随机误差ε ：
(1) γ和ε呈正态分布，并且 (2) 之间没有相关性和ε .JMP 提供了几种常用的结构ε . 固定效应系数, ,和协方差矩阵和由受限最大似然法联合估计。 拟合混合模型需要一个每个横截面单元的附加数据，或者在建模空间数据的情况下，测量的维度。 存在非正态分布响应或非线性混合模型的混合模型;然而，我的讨论范围仅限于 JMP Pro 支持的线性混合模型。
为什么混合模型
当响应之间存在相关性或重要的解释变量缺失，未能说明这一点会导致对治疗效果和其他因素的估计有偏差。
以下是混合模型的一些常见用例：
- 允许系数
- 分析随机区组设计，以及难改和易改因素导致多个误差项的裂区设计；
- 以随机效应的形式控制未观察到的个体异质性（即面板数据模型）；
- 重复测量分析其中主体内错误是相关的；
- 相关的多个响应，因为测量是从相同的主题中获得的；
- 科目是分层的（即学校内的学生） . 这被称为层次线性模型或多层次模型；
- 空间变异性（即地理空间回归）；
借助 JMP Pro，您可以使用点击式界面轻松指定和拟合所有这些模型，并以用户友好的方式查看结果。
在 JMP Pro 中指定混合模型的步骤
- 1.选择分析=>拟合模型, 然后选择混合模型人格;
- 2.从您的数据表中选择一个连续响应变量作为是并像通常使用标准最小二乘拟合一样构造固定效应；
3A. 利用随机效应用于指定随机系数或随机效应的选项卡；
3B。 利用重复结构选项卡为模型错误选择协方差结构；
- 4.点击跑.
我现在将转向示例来展示四种不同风格的混合模型：随机系数模型、重复测量分析、面板数据模型和地理空间回归。
示例 1：随机系数模型——允许截距和斜率跨学科随机变化
在这个例子中，我们感兴趣的是估计播种前土壤水分对小麦产量的影响，同时允许每个小麦品种与种群效应有随机偏差。 因此，需要一个随机系数模型。 本实验从小麦种群中随机选取 10 个品种，分别分配给六块地.总共收集了每个品种的 60 个观测值和 6 个产量测量值。 （数据“小麦”可在 JMP 的样本数据目录中找到。）
我按照上面列出的步骤来指定模型。 从固定效应选项卡，将水分和默认截距指定为固定效果。
Fit Model: Fixed Effects拟合模型：固定效应
接下来，从随机效应选项卡，使用嵌套随机系数按钮请求每个品种的随机拦截和水分效果。 
Fit Model: Random Effects拟合模型：随机效应
最后，从重复结构选项卡，选择剩余的对于模型误差项。
Fit Model: Repeated Structures拟合模型：重复结构
以下截图显示随机效应协方差参数估计，固定效应参数估计和随机系数.让我们依次讨论它们。
截距的方差估计值为 18.89，标准误差估计值为 9.11，因此 z 得分为 2.07 (=18.89/9.11)。 使用 JMP 公式编辑器中的正态分布函数，我们可以发现 p 值为 0.0192，表明不同品种的基线产量差异具有统计显着性。同样， p -价值Cov（水分，拦截） 、0.3777 和 p 值Var(水分)是 0.0380。
这随机系数报告给出了 BLUP (B est 线性无偏预测器）每个品种与中报告的种群截距和种群水分效应有何不同的值固定效应参数估计。 对于品种 1，水分对其产量的估计影响为 0.61 (=0.66-0.05)，基准产量为 34.39 (=33.43+0.96)，预测产量方程为
结合固定效应和随机系数估计，我们发现水分对小麦产量有显着的整体影响，并发现不同品种的水分效应存在显着差异。
随机系数模型的其他应用
个体成长模型是一种随机系数模型，其中随机的时间效果是为每个人估计。他是通过指定一个连续的时间变量如日或月作为随机效应，和你唱歌嵌套随机系数按钮为每个人请求单独的斜率（即增长）和截距。
在教育研究中，主题通常按等级顺序嵌套。通过添加多组随机效果语句，您可以适应分层线性模型/多层次模型.
示例 2：重复测量分析——解释相关误差
重复测量是随着时间的推移从同一受试者收集的响应的多次测量。在这项临床试验中，受试者（即患者）被随机分配到不同的治疗组。 在试验期间，对每位受试者的总胆固醇水平进行了多次测量。 该研究的目的是测试是否新药可有效降低胆固醇。 什么使重复测量的分析与众不同的是对象内测量的相关性。 不考虑它通常会导致对治疗效果的错误结论。 （数据，堆积的胆固醇, 在 JMP 的样本数据目录中可用。
JMP Pro 提供三种常用的协方差结构：
- 非结构化
- 应收账款(1) （一阶自回归）估计相隔一个时间单位的两个测量值之间的相关性。随着时间差的增加，相关性下降。
- CS
以下屏幕截图显示了固定效应重复测量分析的一部分，其中包括治疗,月,上午下午, 以及他们的互动。
Fixed effects part of the model模型的固定效应部分
我将为主体内错误考虑三种不同的协方差结构。首先，让我们使用非结构化。 申请时间列为重复，和病人列为主题--这定义了一个主题内的重复测量。 请务必注意，JMP 要求主题列具有独特的价值，并且重复列是分类的非结构化选项。
Unstructured Covariance Structure非结构化协方差结构
主要报告包括重复效应协方差参数估计，固定效应参数估计，和测试固定效应测试.
Results using Unstructured使用非结构化的结果
测试协方差估计的统计显着性的一种方法是计算 z 分数并找到它们的 p 值，就像我在前面的随机系数模型示例中所做的那样。 然而，我们可以检查置信限度：如果协方差估计的 95% 置信区间包括零，那么我们可以说估计从零开始在统计上不显着α = 5%。正如我们所见，所有六个方差估计都与零有显着差异，但大多数协方差估计不是。 这表明应该考虑一个简约的结构，例如 AR (1)。
固定效应检验报告显示治疗效果非常显着。 C胆固醇水平还发现每个月以及从早上到下午都有显着差异。
接下来，我们考虑应收账款(1)作为主体内误差的协方差结构。 请注意重复JMP 在 AR(1) 中使用的列必须是连续变量。所以，哎——每次测量时从试验开始日期算起的天数——用于代替用于 UN 选项的分类变量。
AR(1) Covariance Structure AR(1) 协方差结构
这重复效应协方差参数估计报告显示高度显着的受试者内相关性为 0.95。固定效应结果与 UN 选项（未显示）中的结果相似——处理效应和时间效应具有统计显着性。
Results using AR(1)使用 AR(1) 的结果
为了完成我们的例子，最后，让我们用一个CS结构体。 为此，请选择剩余的作为重复协方差结构——但无需具体说明重复和主题带有此选项的列；相反，我们添加主题 ID，病人，作为对随机效应标签。 那是
w主体内协方差通过主题 ef 建模效果。
CS Covariance Structure with random subject effect and residual error具有随机主体效应和残差的 CS 协方差结构
Results using CS使用 CS 的结果
根据 95% 置信限判断，同一主题的任意两个度量之间的协方差在统计上不显着α =0.05（实际上，p 值= 0.0621 ). 固定效应检验结果与之前的模型相似，此处不再展示。
那么，应该采用哪种重复结构呢？ 模型比较的一个标准是 AICc。 来自拟合统计JMP 报告（未显示），AICc 为：非结构化—703.84，应收账款(1) —652.63 和CS —832.55。 所以，应收账款(1)是赢家。
示例 3：面板数据模型——控制未观察到的异质性
这个例子取自Vella 和 Verbeek (1998)，在计量经济学导论由杰弗里伍德里奇作为例 14.4 . 有关详细信息，请参阅下面的参考资料。
原始数据来自1979 年队列全国纵向调查(NLSY79)。 在数据中，从 1980 年到 1987 年，545 名男性工人每年都在工作。 我们有兴趣估计工会会员对工资收入的影响，控制教育、工作经验、种族等。
尽管 NLSY79 收集了工人的详细背景信息作为控制变量，但仍然存在无法观察或测量的个体差异。 面板数据提供了一种解释个体异质性的方法：如果可以假设未观察到的异质性与模型中包含的所有解释变量不相关，我们可以通过将其视为随机效应来解释它。
在 Woodridge 的讨论之后，一个 Log(Wage) 方程式被拟合，其中工人的 ID 作为随机效应输入以捕获未观察到的差异。
Fixed effects part of the Log(Wage) Equation Log(Wage) 方程的固定效应部分
Random effects part of the Log(Wage) EquationLog(Wage) 方程的随机效应部分
我选择剩余的对于模式误差项。 该模型称为单向随机效应模型在计量经济学.
结果如下所示。
Panel Model Results面板模型结果
来自随机效应协方差参数估计报告我们发现那个人异质性占总变异的 47.8% (=0.11/(0.11+0.12))，表明存在较大的未观察到的异质性效应。 换句话说，OLS 分析可能会产生误导性的结果。
这固定效应参数估计报告显示，教育的估计回报率为 9.2%，工会保险费为 10.5%，两者均具有高度统计显着性。 作为比较，合并 OLS 估计工会溢价为 18.2%。 参见伍德里奇（2013 年，第 495 页）。
参考
Francis Vella 和 Marno Verbeek (1998)，“工会提高谁的工资？ 青年工会主义和工资率决定的动态模型", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. 数据可从期刊网站下载http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
杰弗里·伍德里奇 (2013)，计量经济学入门：一种现代方法（5日编辑),圣智学习。
示例 4：建模地理空间数据——考虑空间相关性
就像重复测量随时间相关一样，空间数据也可能在空间上相关。也就是说，测量是相距较近的人比相距较远的人更相似。 因此，我们需要在分析中考虑空间依赖性。
空间数据与坐标一起记录，例如纬度和经度，行和列的位置，南北和东西方向。 两次测量之间的距离使用欧氏距离函数，用于形成协方差结构。 我fa 距离函数不依赖于测量的方向，那么协方差被称为各向同性的；否则它是各向异性.此外，一个掘金可以添加效果以解决局部区域中小距离的突然变化。
JMP Pro 提供了四种欧氏距离各向同性结构的函数：幂函数、指数函数、高斯函数和球函数。可以使用各种形式的各向异性结构。块金效应也可以添加到协方差结构中。
以下示例取自用于混合模型的 SAS，第 2 版, 2006 年，第 457-460 页。 ( http://www.sas.com/store/prodBK_59882_en.htm ). 为了调查危险废物处置场的排水情况，在现场的不同位置采集了 30 个样本，并按它们的南北和东西方向进行了记录。排水量之间的线性关系（由对数透射率）并提出了一层盐的厚度。 (吨他的数据，危险废物， 是数据集 11.6在压缩文件中
http://support.sas.com/publishing/bbu/59882/59882.zip .)
使用具有金块效应的空间各向异性幂结构拟合空间回归模型。 这种结构允许 (1) 距离是空间相关性的幂函数，(2) 空间相关性在不同方向上不同，以及 (3) 小距离内的变化。
Spatial anisotropic power with nugget带金块的空间各向异性幂
Results using spatial anisotropic power with nugget使用具有块金的空间各向异性幂的结果
协方差参数估计报告表明空间相关性非常显着，两个相关系数分别为 0.81（东西）和 0.91（南北）。 但是，似乎没有基于置信限度的金块。固定效应参数估计盐厚度对排水有显着的负面影响 (-0.025)。
我通过移除金块效应来改装模型。
Results using spatial anisotropic power without nugget使用无块金空间各向异性幂的结果
我们注意到一些微小的变化：估计的空间相关性分别为 0.86 和 0.82，盐层厚度的影响为 -0.021。 比较使用 AICc 的拟合优度，第二个模型稍好一些，因为它的 AIC 较小（84.7 对 86.4）
为了正式测试空间相关性的存在，我们通过选择来拟合一个独立的误差模型剩余的作为结构（即假设没有空间相关性）。 两个模型之间-2 Residual Log Likelihood 值的差异形成了 χ2 似然比检验。 独立误差模型的 -2 残差对数似然为 94.07，因此差值为 13.72 (=94.07-80.35)。 对于 DF=2，这会产生 0.001 的 p 值。 因此，在该站点发现了显着的空间相关性。
概括
希望这些示例说明了线性混合模型的多功能性以及使用 JMP 拟合混合模型的简便性。 在结束之前，我想分享一些一般性技巧。
