使用 JMP® Pro 的线性混合模型：一张脸，多种口味*
曹健 博士
SAS 研究所
2015 年 3 月 24 日
布鲁塞尔，比利时
抽象的
JMP Pro 11 中引入的新功能之一是混合模型。 拟合模型平台中的这一新的建模特性使人们能够拟合具有固定和随机效应以及适当协方差结构的各种回归模型。 什么是混合模型？ 何时以及为何应该采用混合模型？ JMP 如何拟合这样的模型？ 在本文中，我将尝试通过以下方式消除有关混合模型的误解：1）简要回顾统计背景，2）讨论为什么混合模型可以提供更好的估计以及将传统回归模型拟合到响应变量的测量值相关或与数据相关的数据的结果。缺少关键解释变量，3) 通过拟合现实生活应用中广泛采用的不同风格的混合模型来说明 JMP® Pro 的混合模型。
致谢：我要感谢 Christopher Gotwalt 和 Laura Lancaster 的帮助。
*本文中提供的材料也适用于 JMP Pro 12。新 JMP Pro 12 的关键增强功能是改进的优化算法，使 JMP 在处理大数据时运行速度比 JMP Pro 11 更快。
JMP Pro 11 在其拟合模型平台中添加了新的建模个性“混合模型”。什么是混合模型？ JMP 如何拟合这样的模型？ 可以应用混合模型的关键应用有哪些？ 在本文中，我将尝试消除有关混合模型的误解，并通过现实生活中的示例展示 JMP 的功能。
什么是线性混合模型
线性混合模型是线性回归模型的推广, y=Xβ +ε 。 扩展模型以允许随机效应， Z ，新模型变为y=Xβ+Z γ + ε 。 这是线性混合模型，因为有固定效应， X，和随机效应， Z。
做出以下假设随机效应参数， γ和随机误差ε ：
(1) γ和ε呈正态分布，并且 (2) 之间不存在相关性和ε 。JMP 提供了几种常用的结构ε 。 固定效应系数, ,和协方差矩阵和通过限制最大似然法联合估计。 拟合混合模型需要A每个横截面单元的附加数据，或者在建模空间数据的情况下，测量尺寸。 有非正态分布响应的混合模型或非线性混合模型;然而，我将讨论范围限制为 JMP Pro 支持的线性混合模型。
为什么选择混合模型
当响应之间存在相关性或重要解释变量缺失，未能解释这一点会导致对治疗和其他因素的影响的估计出现偏差。
以下是混合模型的一些常见用例：
- 允许系数
- 分析随机区组设计和裂区设计，其中难以改变和容易改变的因素会导致多个误差项；
- 以随机效应（即面板数据模型）的形式控制未观察到的个体异质性；
- 重复测量分析其中受试者内错误是相关的；
- 由于测量是针对同一受试者采取的，因此多个响应是相关的；
- 科目是分层的（即学校内的学生） 。 这称为层次线性模型或多级模型；
- 空间变异性（即地理空间回归）；
借助 JMP Pro，您可以使用点击界面轻松指定和拟合所有这些模型，并以用户友好的方式查看结果。
在 JMP Pro 中指定混合模型的步骤
- 1.选择分析=>拟合模型，并选择混合模特个性;
- 2.从数据表中选择一个连续响应变量作为是并像通常使用标准最小二乘拟合一样构造固定效应；
3A。 使用随机效应选项卡指定随机系数或随机效应；
3B. 使用重复结构用于选择模型误差的协方差结构的选项卡；
- 4. 单击跑步。
现在我将通过示例展示四种不同风格的混合模型：随机系数模型、重复测量分析、面板数据模型和地理空间回归。
示例 1：随机系数模型 —允许截距和斜率随科目随机变化
在这个例子中，我们感兴趣的是估计种植前土壤水分对小麦产量的影响，同时允许每个小麦品种与群体效应存在随机偏差。 因此，需要随机系数模型。 实验从小麦群体中随机选择 10 个品种，并将每个品种分配给六块土地。总共收集了 60 个观测值，每个品种有 6 次产量测量值。 （数据“Wheat”可在 JMP 的示例数据目录中找到。）
我按照上面列出的步骤来指定模型。 从固定效应选项卡中，指定湿度以及默认截距作为固定效果。
Fit Model: Fixed EffectsFit Model: Fixed Effects拟合模型：固定效应
接下来，从随机效应选项卡，使用嵌套随机系数按钮请求每个品种的随机截距和湿度效果。 
Fit Model: Random EffectsFit Model: Random Effects拟合模型：随机效应
最后，从重复结构选项卡，选择剩余的为模型误差项。
Fit Model: Repeated StructuresFit Model: Repeated Structures拟合模型：重复结构
下面的截图显示随机效应协方差参数估计、固定效应参数估计和随机系数。让我们依次讨论它们。
截距的方差估计值为 18.89，标准误差估计值为 9.11，因此 z 得分为 2.07 (=18.89/9.11)。 使用 JMP 公式编辑器中的正态分布函数，我们可以发现 p 值为 0.0192，这表明不同品种的基线产量差异具有统计显着性。同样， p - 价值Cov（水分，拦截） 、0.3777 和 p 值Var(水分)是 0.0380。
这随机系数报告给出了 BLUP (B est 线性无偏预测器）各个品种与群体截距和群体水分效应的不同之处的值固定效应参数估计。 对于品种 1，估计水分对其产量的影响为 0.61 (=0.66-0.05)，基线产量为 34.39 (=33.43+0.96)，预测产量方程为
结合固定效应和随机系数估计，我们发现水分对小麦产量有显着的总体影响，并且发现不同品种的水分效应存在显着差异。
随机系数模型的其他应用
个体成长模型是一种随机系数模型，其中随机的时间效果是为每个人估计。他是通过指定一个连续的时间变量如天或月作为随机效应，以及你唱歌嵌套随机系数按钮来请求每个个体的单独斜率（即增长）和截距。
在教育研究中，主题通常按层次顺序嵌套。通过添加多组随机效应语句，您可以拟合分层线性模型/多级模型。
示例 2：重复测量分析 - 考虑相关误差
重复测量是随着时间的推移从同一受试者收集的响应的多次测量。在这项临床试验中，受试者（即患者）被随机分配到不同的治疗组。 在试验期间，对每个受试者的总胆固醇水平进行了多次测量。 该研究的目的是测试是否新药可有效降低胆固醇。 什么使重复测量的分析变得清晰的是受试者内测量的相关性。 如果不考虑这一点，通常会导致对治疗效果得出错误的结论。 （数据，胆固醇堆积，可在 JMP 的示例数据目录中找到。
JMP Pro 提供三种常用的协方差结构：
- 非结构化
- 增强现实(1) （一阶自回归）估计间隔一个时间单位的两个测量值之间的相关性。随着时间差的增加，相关性下降。
- CS
下面的屏幕截图显示了固定效应重复测量分析的一部分，其中包括治疗,月,上午下午，以及他们的相互作用。
Fixed effects part of the modelFixed effects part of the model模型的固定效应部分
我将考虑三种不同的协方差结构来处理受试者内错误。首先，我们使用非结构化。 申请时间列为重复，和病人列为主题--这定义了受试者内的重复测量。 值得注意的是，JMP 要求主题列具有唯一价值并且重复列是分类的非结构化选项。
Unstructured Covariance StructureUnstructured Covariance Structure非结构化协方差结构
主要报告包括重复效应协方差参数估计，固定效应参数估计，和测试固定效应测试。
Results using UnstructuredResults using Unstructured使用非结构化的结果
测试协方差估计的统计显着性的一种方法是计算 z 分数并找到它们的 p 值，就像我在前面的随机系数模型示例中所做的那样。 但是，我们可以检查置信限：如果协方差估计的 95% 置信区间包括零，那么我们可以说该估计从零开始不具有统计显着性α = 5%。正如我们所看到的，所有六个方差估计都显着不同于零，但大多数协方差估计则不然。 这表明应考虑简约的结构，例如 AR (1)。
固定效应测试报告显示治疗效果非常显着。 C胆固醇水平还发现每个月以及从早上到下午都有很大差异。
接下来，我们考虑增强现实(1)作为主体内误差的协方差结构。 请注意重复JMP 在 AR(1) 中使用的列必须是连续变量。所以，D是的——每次测量时距试验开始日期的天数，而不是用于联合国选项的分类变量。
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) 协方差结构
这重复效果协方差参数估计报告显示受试者内相关性非常显着，达 0.95。固定效应结果与联合国选项中的结果类似（未显示）——治疗效应和时间效应具有统计显着性。
Results using AR(1)Results using AR(1)使用 AR 的结果(1)
最后，为了完成我们的示例，让我们用CS结构。 为此，请选择剩余的作为重复协方差结构——但无需具体说明重复和主题具有此选项的列；相反，我们添加主题 ID，病人，作为对的随机效应随机效应标签。 那是
w ithin-subject 协方差是通过 subject ef 建模的效果。
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error具有随机主体效应和残差的 CS 协方差结构
Results using CSResults using CS使用 CS 的结果
根据 95% 置信限判断，同一主题的任何两个测量之间的协方差在统计上不显着α =0.05（实际上，p值= 0.0621 ）。 固定效应测试结果与之前的模型类似，因此此处不再显示。
那么，应该采用哪种重复结构呢？ 模型比较的标准之一是 AICc。 来自拟合统计据 JMP 报告（未显示），AICc 是：非结构化—703.84,增强现实(1) —652.63 和CS —832.55。 所以，增强现实(1)是赢家。
示例3：面板数据模型——控制未观察到的异质性
这个例子取自Vella 和 Verbeek (1998)，在计量经济学导论作者：杰弗里·伍德里奇 饰例14.4 。 请参阅下面的参考资料了解更多信息。
原始数据来自于全国青年纵向调查 1979 年队列（NLSY79）。 数据中，545名男性工人从1980年到1987年每年都有工作。 我们有兴趣估计在控制教育、工作经验、种族等因素的情况下工会成员对工资收入的影响。
尽管NLSY79收集了工人的详细背景信息作为控制变量，但仍然存在无法观察或测量的个体差异。 面板数据提供了一种解释个体异质性的方法：如果可以假设未观察到的异质性与模型中包含的所有解释变量不相关，我们可以通过将其视为随机效应来解释它。
根据 Woodridge 的讨论，拟合了一个对数（工资）方程，其中将工人的 ID 作为随机效应输入，以捕获未观察到的差异。
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation对数（工资）方程的固定效应部分
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) Equation对数（工资）方程的随机效应部分
我选择剩余的为模式误差项。 该模型称为单向随机效应模型在计量经济学中。
结果如下所示。
Panel Model ResultsPanel Model Results面板模型结果
来自随机效应协方差参数估计报告中我们发现个人异质性占总变异的 47.8% (=0.11/(0.11+0.12))，表明存在较大的未观察到的异质性效应。 换句话说，OLS 分析可能会产生误导性结果。
这固定效应参数估计报告显示，预计教育回报率为 9.2%，工会保险费为 10.5%，两者均具有高度统计显着性。 作为比较，合并 OLS 估计工会保费为 18.2%。 参见伍德里奇（2013 年，第 495 页）。
参考
弗朗西斯·维拉和马诺·维贝克 (1998)，“工会涨谁的工资？ 工会主义和青年男性工资率确定的动态模型》，Journal of Applied Econometrics，第 13 卷，第 2 期，第 163-183 页。数据可从期刊网站下载http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
杰弗里·伍德里奇 (2013),计量经济学导论：现代方法 (5 th编辑），圣智学习。
示例 4：地理空间数据建模——考虑空间相关性
就像重复测量随着时间的推移而相关一样，空间数据也可能在空间中相关。也就是说，测量值是距离较近的人比相距较远的人更相似。 因此，我们在分析时需要考虑空间依赖性。
空间数据与坐标一起记录，例如经纬度、行列位置、南北方向、东西方向。 两次测量之间的距离是使用欧氏距离函数，用于形成协方差结构。 我fa 距离函数不依赖于测量方向，则协方差为各向同性；否则就是各向异性。此外， A金块可以添加效果来解释局部区域小距离内的突然变化。
JMP Pro 提供四种欧氏距离各向同性结构的函数：幂函数、指数函数、高斯函数和球函数。可以使用各种形式的各向异性结构。块金效应也可以添加到协方差结构中。
下面的例子取自适用于混合模型的 SAS，第二版，2006 年，第 457-460 页。 （ http://www.sas.com/store/prodBK_59882_en.htm ）。 为调查某危废处置场排水情况，在该处置场不同地点采集了30个样品，并按南北、东西方向记录。排水之间的线性关系（通过测量对数透射率）并提出了盐层的厚度。 （时间他的数据，危险废物， 是数据集11.6在压缩文件中
http://support.sas.com/publishing/bbu/59882/59882.zip .)
使用具有块金效应的空间各向异性功率结构来拟合空间回归模型。 这种结构允许（1）距离是空间相关性的幂函数，（2）空间相关性在不同方向上不同，以及（3）小距离上的变化。
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget具有块金的空间各向异性功率
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nugget使用空间各向异性功率和块金的结果
协方差参数估计报告表明存在高度显着的空间相关性，两个相关系数分别为 0.81（东西）和 0.91（南北）。 然而，似乎没有基于置信极限的金块。固定效应参数估计盐层厚度对排水有显着的负面影响（-0.025）。
我通过消除金块效应来重新拟合模型。
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget使用无块核的空间各向异性功率的结果
我们注意到一些细微的变化：估计的空间相关性分别为 0.86 和 0.82，盐厚度的影响为 -0.021。 比较使用 AICc 的拟合优度，第二个模型稍好一些，因为它的 AIC 更小（84.7 vs. 86.4）
为了正式测试空间相关性的存在，我们通过选择来拟合独立误差模型剩余的作为结构（即假设没有空间相关性）。 两个模型之间 -2 残差对数似然值的差异形成 χ2 似然比检验。 独立误差模型的 -2 残差对数似然为 94.07，因此差异为 13.72 (=94.07-80.35)。 对于 DF=2，这会产生 0.001 的 p 值。 因此，在该站点发现了显着的空间相关性。
概括
希望这些示例能够说明线性混合模型的多功能性以及使用 JMP 拟合混合模型的简便性。 在结束之前，我想分享一些一般性提示。
