使用 JMP® Pro 的线性混合模型：一个面，多种风味*
Jian Cao, PhD
SAS 研究所
2015 年 3 月 24 日
比利时布鲁塞尔
抽象的
JMP Pro 11 中引入的新功能之一是混合模型。拟合模型平台中的这一新建模特性使人们能够拟合具有固定和随机效应以及适当协方差结构的各种回归模型。什么是混合模型？何时以及为什么要拟合混合模型？JMP 如何拟合这样的模型？在本文中，我将尝试通过以下方式消除对混合模型的误解：1）简要回顾统计背景；2）讨论为什么混合模型提供更好的估计值以及将传统回归模型拟合到响应变量测量值相关或关键解释变量缺失的数据的结果；3）通过拟合广泛用于实际生活的不同类型的混合模型来说明 JMP® Pro 的混合模型。
致谢：我要感谢 Christopher Gotwalt 和 Laura Lancaster 的帮助。
*本文中介绍的材料也适用于 JMP Pro 12。 新版 JMP Pro 12 的关键增强功能是改进了优化算法，使得 JMP 在处理大数据时比 JMP Pro 11 运行得更快。
JMP Pro 11 在其“拟合模型”平台中添加了新的建模功能“混合模型”。什么是混合模型？JMP 如何拟合这种模型？混合模型可以应用于哪些主要应用？在本文中，我将尝试消除人们对混合模型的误解，并通过实际示例展示 JMP 的功能。
什么是线性混合模型
线性混合模型是线性回归模型的推广， y=Xβ +e扩展模型以允许随机效应Z ，新模型变为y=Xβ+Z γ + ε. 这是线性混合模型，因为既有固定效应X，也有随机效应， 和。
对于随机效应参数， γ和随机误差ε:
（1） c 和ε 呈正态分布，且 (2) 之间没有相关性 和 ε. JMP 提供了几个常用的结构ε. 固定效应系数， , 和协方差矩阵 和 采用限制最大似然法联合估计。拟合混合模型需要a每个横截面单元的附加数据，或在建模空间数据的情况下的测量维度。有非正态分布响应的混合模型或非线性混合模型; 然而， 我将讨论范围限制在 JMP Pro 中支持的线性混合模型。
为什么采用混合模型
当反应之间存在相关性或 重要的解释变量缺失，未能解释导致对治疗效果和其他因素的估计出现偏差。
以下是混合模型的一些常见用例：
- 允许系数
- 随机区组设计和裂区设计分析，其中难以改变和易于改变的因素会导致多个误差项；
- 以随机效应（即面板数据模型）的形式控制未观察到的个体异质性；
- 重复测量分析其中受试者内错误是相关的；
- 由于测量对象是同一对象，因此多个反应具有相关性；
- 学科是分层次的（即学校内的学生）。这被称为层次线性模型或多级模型；
- 空间变异性（即地理空间回归）；
利用 JMP Pro，您可以使用点击界面轻松指定和拟合所有这些模型，并以用户友好的方式查看结果。
在 JMP Pro 中指定混合模型的步骤
- 1.选择分析=>拟合模型，并选择混合模型个性；
- 2.从数据表中选择一个连续响应变量作为Y ，并构建固定效应，就像使用标准最小二乘拟合通常所做的那样；
3A. 使用“随机效应”选项卡指定随机系数或随机效应；
3B. 使用重复结构选项卡选择模型误差的协方差结构；
- 4.单击运行。
现在我将通过例子来展示四种不同类型的混合模型：随机系数模型、重复测量分析、面板数据模型和地理空间回归。
例 1：随机系数模型—允许截距和斜率在不同受试者之间随机变化
在这个例子中，我们感兴趣的是估计种植前土壤水分对小麦产量的影响，同时允许每个小麦品种与群体效应存在随机偏差。因此，需要一个随机系数模型。试验从小麦群体中随机选取 10 个品种，并将其分配到六块土地。总共收集了 60 个观测值，每个品种有 6 个产量测量值。（“小麦”数据可在 JMP 的样本数据目录中找到。）
我按照上面列出的步骤指定模型。从“固定效应”选项卡中，指定湿度以及默认截距作为固定效应。
Fit Model: Fixed Effects拟合模型：固定效应拟合模型：固定效应
接下来，从“随机效应”选项卡中，使用“嵌套随机系数”按钮请求每个品种的随机截距和水分效应。 
Fit Model: Random Effects拟合模型：随机效应拟合模型：随机效应
最后，从“重复结构”选项卡中，选择“残差”作为模型误差项。 
Fit Model: Repeated Structures拟合模型：重复结构拟合模型：重复结构
下面的截图展示了随机效应协方差参数估计、固定效应参数估计和随机系数。让我们依次讨论它们。 
截距的方差估计值为 18.89，标准误差估计值为 9.11，因此 z 分数为 2.07 (=18.89/9.11)。使用 JMP 公式编辑器中的正态分布函数，我们可以发现 p 值为 0.0192，这表明不同品种的基线产量差异具有统计显著性。同样， Cov(水分，截距)的p值为 0.3777， Var(水分)的 p 值为 0.0380。
随机系数报告给出了 BLUP (Best 线性无偏预测器)值表示每个品种与固定效应参数估计中报告的种群截距和种群水分效应之间的差异。对于品种 1，估计的水分对其产量的影响为 0.61（=0.66-0.05），基线产量为 34.39（=33.43+0.96），预测产量方程为
结合固定效应和随机系数估计，我们发现水分对小麦产量的总体影响显著，并且发现不同品种之间水分效应存在显著差异。
随机系数模型的其他应用
个体成长模型是一种随机系数模型，其中随机时间效应是估计每个人的期望。他的方法是指定一个连续的时间变量，例如日或月作为随机效应，以及using 嵌套随机系数 button to request separate slope (i.e., growth) and intercept for each individual.
在教育研究中，研究对象通常以层级顺序嵌套。通过添加多组随机效应陈述，您可以拟合分层线性模型/多层级模型。
例 2：重复测量分析——考虑相关误差
重复测量是指在一段时间内从同一受试者收集的多次反应测量值。在这项临床试验中，受试者（即患者）被随机分配到不同的治疗组。在试验期间，每位受试者的总胆固醇水平被测量了几次。该研究的目的是测试新药能有效降低胆固醇。重复测量分析的独特之处在于受试者内测量值的相关性。不考虑这一点通常会导致对治疗效果得出错误的结论。（数据“胆固醇堆叠”可在 JMP 的样本数据目录中找到。
JMP Pro 提供三种常用的协方差结构：
- 非结构化
- 增强现实(1)（一阶自回归）估计相隔一个时间单位的两个测量值之间的相关性。相关性随时间差的增加而下降。
- CS
以下屏幕截图显示了重复测量分析的固定效应部分，其中包括治疗，月份，上午/下午及其相互作用。 
Fixed effects part of the model模型的固定效应部分模型的固定效应部分
我将考虑三种不同的协方差结构来处理受试者内误差。首先，让我们使用非结构化。应用时间列为重复，患者列为主题——这定义了主题内的重复测量。需要注意的是，对于非结构化选项，JMP 要求主题列具有唯一值，重复列具有分类值。 
Unstructured Covariance Structure非结构化协方差结构非结构化协方差结构
主要报告包括重复效应协方差参数估计、固定效应参数估计，和检验固定效应检验。 
Results using Unstructured使用非结构化结果使用非结构化结果
检验协方差估计的统计显著性的一种方法是计算 z 分数并找到它们的 p 值，就像我在前面的随机系数模型示例中所做的那样。但是，我们可以检查置信限度：如果协方差估计的 95% 置信区间包括零，那么我们可以说该估计在零时不具有统计显著性α=5%。我们可以看到，所有六个方差估计值都与零有显著差异，但大多数协方差估计不是。这表明应该考虑简约结构，例如 AR (1)。
固定效应检验报告显示治疗效果十分显著。C胆固醇水平还发现不同月份之间以及早上与下午之间存在很大差异。
接下来，我们将增强现实(1)视为受试者内误差的协方差结构。请注意，JMP 在 AR(1) 中使用的重复列必须是连续变量。因此，使用 D ays（每次测量时距试验开始日期的天数）代替 UN 选项使用的分类变量。 
AR(1) Covariance Structure AR(1) 协方差结构AR(1) 协方差结构
重复效应协方差参数估计报告显示受试者内相关性非常显著，为 0.95。固定效应结果与 UN 选项中的结果相似（未显示）——治疗效应和时间效应具有统计学意义。 
Results using AR(1)使用 AR(1) 得到的结果使用 AR(1) 得到的结果
为了完成我们的示例，最后让我们用CS结构拟合模型。为此，选择残差作为重复协方差结构— 但无需使用此选项指定重复和主题列；相反，我们在随机效应选项卡上添加受试者 ID患者作为随机效应。即
w受试者内部协方差通过受试者效应建模完美。 
CS Covariance Structure with random subject effect and residual error具有随机主体效应和残差误差的 CS 协方差结构具有随机主体效应和残差误差的 CS 协方差结构
Results using CS使用 CS 的结果使用 CS 的结果
以 95% 的置信区间来判断，同一主题的任何两个测量值之间的协方差在统计上并不显著α=0.05（实际上，p 值= 0.0621）。固定效应检验结果与前面模型类似，此处不再赘述。
So, which repeated structure should be adopted? One criterion for model comparison is AICc. From the 适合统计reported by JMP (not shown), AICcs are: 非结构化—703.84, 增强现实(1)—652.63 and CS—832.55. So, 增强现实(1) is the winner.
示例 3： 面板数据模型——控制未观察到的异质性
此示例取自Vella 和 Verbeek (1998)，Jeffrey Woodridge 在《计量经济学导论》中对此进行了讨论，例 14.4. 请参阅下面的参考资料以了解更多信息。
原始数据来自1979 年青年群体全国纵向调查(NLSY79)。在数据中，545 名男性工人从 1980 年到 1987 年每年都在工作。我们感兴趣的是估计工会会员对工资收入的影响，同时控制教育、工作经验、种族等因素。
虽然NLSY79收集了工人的详细背景信息作为控制变量，但仍然存在无法观察或测量的个体差异。面板数据提供了一种解释个体异质性的方法：如果可以假设未观察到的异质性与模型中包含的所有解释变量不相关，我们可以将其视为随机效应来解释它。
按照伍德里奇的讨论，可以拟合一个 Log(工资) 方程，其中工人的 ID 作为随机效应输入，以捕捉未观察到的差异。 
Fixed effects part of the Log(Wage) Equation Log(工资) 方程的固定效应部分Log(工资) 方程的固定效应部分
Random effects part of the Log(Wage) Equation对数（工资）方程的随机效应部分对数（工资）方程的随机效应部分
选取残差作为众数误差项，该模型在计量经济学中称为单向随机效应模型。
结果如下所示。 
Panel Model Results面板模型结果面板模型结果
从随机效应协方差参数估计报告中我们发现个体异质性占总变异的 47.8%（=0.11/(0.11+0.12)），表明存在较大的未观测到的异质性效应。换句话说，OLS 分析可能会产生误导性结果。
固定效应参数估计报告显示，教育回报率估计为 9.2%，工会溢价为 10.5%，这两项数据都具有高度统计显著性。作为比较，汇总 OLS 估计工会溢价为 18.2%。请参阅 Woodridge（2013 年，第 495 页）。
参考
Francis Vella 和 Marno Verbeek (1998)，《工会提高了谁的工资？工会主义和年轻人工资率决定的动态模型》，《应用计量经济学杂志》，第 13 卷，第 2 期，第 163-183 页。数据可从杂志网站下载http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
杰弗里·M·伍德里奇（Jeffrey M. Woodridge）（2013），计量经济学导论：现代方法（第 5 版），CENGAGE 学习。
示例 4：对地理空间数据进行建模 - 考虑空间相关性
就像重复测量随时间相关一样，空间数据也可能在空间中相关。也就是说，测量距离较近的个体更相似，距离较远的个体更相似。因此，我们需要在分析中考虑空间依赖性。
空间数据与坐标一起记录，例如纬度和经度、行和列的位置、南北和东西方向。两个测量值之间的距离使用欧几里得距离计算 函数，用于形成协方差结构。我如果距离函数不依赖于测量方向，则协方差为各向同性；否则它是各向异性的。此外，可以添加块金效应来解释局部区域内小距离的突然变化。
JMP Pro 提供四种欧几里德距离 各向同性结构的函数：幂函数、指数函数、高斯函数和球面函数。有各种形式的各向异性结构可供选择。还可以将块金效应添加到协方差结构中。
以下示例取自SAS for Mixed Models，第 2 版，2006 年，第 457-460 页。（http://www.sas.com/store/prodBK_59882_en.htm)。为调查某危险废物处置场排水情况，在场内不同位置采集了30个样品，并按南北和东西方向记录。提出排水量（以对数透过率测量）与盐层厚度之间存在线性关系。(T危险废物数据是压缩文件中的数据集 11.6
http://support.sas.com/publishing/bbu/59882/59882.zip。
空间回归模型使用具有块金效应的空间各向异性幂结构进行拟合。该结构允许 (1) 距离为空间相关性的幂函数，(2) 空间相关性在不同方向上有所不同，以及 (3) 小距离内的变化。 
Spatial anisotropic power with nugget带块金的空间各向异性功率带块金的空间各向异性功率
Results using spatial anisotropic power with nugget使用空间各向异性功率和块金的结果使用空间各向异性功率和块金的结果
协方差参数估计报告显示空间相关性非常显著，两个相关系数分别为0.81（东西）和0.91（南北）。然而，似乎没有基于置信限度的块金。固定效应参数估计对盐厚度排水有显著的负面影响（-0.025）。
我通过消除块金效应来重新拟合模型。 
Results using spatial anisotropic power without nugget使用无块金的空间各向异性功率的结果使用无块金的空间各向异性功率的结果
我们注意到一些细微的变化：估计的空间相关性分别为 0.86 和 0.82，盐厚度的影响为 -0.021。使用 AICc 比较拟合优度，第二个模型略好一些，因为它的 AIC 较小（84.7 vs. 86.4）
为了正式检验空间相关性的存在，我们通过选择残差作为结构（即假设没有空间相关性）来拟合独立误差模型。两个模型之间的 -2 残差对数似然值差异形成 χ2 似然比检验。独立误差模型的 -2 残差对数似然为 94.07，因此差异为 13.72（=94.07-80.35）。这为 DF=2 得出 p 值为 0.001。因此，在该站点发现显著的空间相关性。
概括
希望这些示例能够说明线性混合模型的多功能性以及使用 JMP 拟合混合模型的简易性。在结束之前，我想分享一些通用技巧。
