使用 JMP® Pro 的線性混合模型：一張臉，多種口味*
曹健 博士
SAS Institute, Inc.
2015 年 3 月 24 日
布魯塞爾，比利時
抽象的
JMP Pro 11 中引入的新功能之一是混合模型。 Fit Model 平台中的這一新建模特性使人們能夠擬合各種具有固定和隨機效應以及適當的協方差結構的回歸模型。 什麼是混合模型？ 什麼時候以及為什麼應該適合混合模型？ JMP 如何擬合這樣的模型？ 在本文中，我將嘗試通過 1) 簡要回顧統計背景，2) 討論為什麼混合模型提供更好的估計以及將傳統回歸模型擬合到響應變量的測量值相關或缺少關鍵的解釋變量，以及 3) 通過擬合在現實生活中廣泛使用的不同風格的混合模型來說明 JMP® Pro 的混合模型。
致謝：感謝 Christopher Gotwalt 和 Laura Lancaster 的幫助。
*本白皮書提供的材料也適用於 JMP Pro 12。新 JMP Pro 12 的關鍵增強是改進的優化算法，使 JMP 能夠比 JMP Pro 11 更快地處理大數據.
JMP Pro 11 為其擬合模型平台添加了新的建模個性，混合模型。什麼是混合模型？ JMP如何擬合這樣的模型？ 可以應用混合模型的關鍵應用有哪些？ 在本文中，我將嘗試消除關於混合模型的迷思，並通過實際示例展示 JMP 的功能。
什麼是線性混合模型
線性混合模型是線性回歸模型的推廣, y=Xβ +ε . 擴展模型以允許隨機效應， Z , 新模型變為y=Xβ+Z γ + ε . 這是線性混合模型，因為有兩個固定效應， X，和隨機效應， Z.
以下假設是為隨機效應參數， γ和隨機誤差ε :
(1) γ和ε呈正態分佈，並且 (2) 之間沒有相關性和ε .JMP 提供了幾種常用的結構ε . 固定效應係數, ,和協方差矩陣和由受限最大似然法聯合估計。 擬合混合模型需要一個每個橫截面單元的附加數據，或者在建模空間數據的情況下，測量的維度。 存在非正態分佈響應或非線性混合模型的混合模型;然而，我的討論範圍僅限於 JMP Pro 支持的線性混合模型。
為什麼混合模型
當響應之間存在相關性或重要的解釋變量缺失，未能說明這一點會導致對治療效果和其他因素的估計有偏差。
以下是混合模型的一些常見用例：
- 允許係數
- 分析隨機區組設計，以及難改和易改因素導致多個誤差項的裂區設計；
- 以隨機效應的形式控制未觀察到的個體異質性（即面板數據模型）；
- 重複測量分析其中主體內錯誤是相關的；
- 相關的多個響應，因為測量是從相同的主題中獲得的；
- 科目是分層的（即學校內的學生） . 這被稱為層次線性模型或多層次模型；
- 空間變異性（即地理空間回歸）；
借助 JMP Pro，您可以使用點擊式界面輕鬆指定和擬合所有這些模型，並以用戶友好的方式查看結果。
在 JMP Pro 中指定混合模型的步驟
- 1.選擇分析=>擬合模型, 然後選擇混合模型人格;
- 2.從您的數據表中選擇一個連續響應變量作為是並像通常使用標準最小二乘擬合一樣構造固定效應；
3A. 利用隨機效應用於指定隨機係數或隨機效應的選項卡；
3B。 利用重複結構選項卡為模型錯誤選擇協方差結構；
- 4.點擊跑.
我現在將轉向示例來展示四種不同風格的混合模型：隨機係數模型、重複測量分析、面板數據模型和地理空間回歸。
示例 1：隨機係數模型——允許截距和斜率跨學科隨機變化
在這個例子中，我們感興趣的是估計播種前土壤水分對小麥產量的影響，同時允許每個小麥品種與種群效應有隨機偏差。 因此，需要一個隨機係數模型。 本實驗從小麥種群中隨機選取 10 個品種，分別分配給六塊地.總共收集了每個品種的 60 個觀測值和 6 個產量測量值。 （數據“小麥”可在 JMP 的樣本數據目錄中找到。）
我按照上面列出的步驟來指定模型。 從固定效應選項卡，將水分和默認截距指定為固定效果。
Fit Model: Fixed Effects擬合模型：固定效應
接下來，從隨機效應選項卡，使用嵌套隨機係數按鈕請求每個品種的隨機攔截和水分效果。 
Fit Model: Random Effects擬合模型：隨機效應
最後，從重複結構選項卡，選擇剩餘的對於模型誤差項。
Fit Model: Repeated Structures擬合模型：重複結構
以下截圖顯示隨機效應協方差參數估計，固定效應參數估計和隨機係數.讓我們依次討論它們。
截距的方差估計值為 18.89，標準誤差估計值為 9.11，因此 z 得分為 2.07 (=18.89/9.11)。 使用 JMP 公式編輯器中的正態分佈函數，我們可以發現 p 值為 0.0192，表明不同品種的基線產量差異具有統計顯著性。同樣， p -價值Cov（水分，攔截） 、0.3777 和 p 值Var(水分)是 0.0380。
這隨機係數報告給出了 BLUP (B est 線性無偏預測器）每個品種與中報告的種群截距和種群水分效應有何不同的值固定效應參數估計。 對於品種 1，水分對其產量的估計影響為 0.61 (=0.66-0.05)，基準產量為 34.39 (=33.43+0.96)，預測產量方程為
結合固定效應和隨機係數估計，我們發現水分對小麥產量有顯著的整體影響，並發現不同品種的水分效應存在顯著差異。
隨機係數模型的其他應用
個體成長模型是一種隨機係數模型，其中隨機的時間效果是為每個人估計。他是通過指定一個連續的時間變量如日或月作為隨機效應，和你唱歌嵌套隨機係數按鈕為每個人請求單獨的斜率（即增長）和截距。
在教育研究中，主題通常按等級順序嵌套。通過添加多組隨機效果語句，您可以適應分層線性模型/多層次模型.
示例 2：重複測量分析——解釋相關誤差
重複測量是隨著時間的推移從同一受試者收集的響應的多次測量。在這項臨床試驗中，受試者（即患者）被隨機分配到不同的治療組。 在試驗期間，對每位受試者的總膽固醇水平進行了多次測量。 該研究的目的是測試是否新藥可有效降低膽固醇。 什麼使重複測量的分析與眾不同的是對象內測量的相關性。 不考慮它通常會導致對治療效果的錯誤結論。 （數據，堆積的膽固醇, 在 JMP 的樣本數據目錄中可用。
JMP Pro 提供三種常用的協方差結構：
- 非結構化
- 應收賬款(1) （一階自回歸）估計相隔一個時間單位的兩個測量值之間的相關性。隨著時間差的增加，相關性下降。
- CS
以下屏幕截圖顯示了固定效應重複測量分析的一部分，其中包括治療,月,上午下午, 以及他們的互動。
Fixed effects part of the model模型的固定效應部分
我將為主體內錯誤考慮三種不同的協方差結構。首先，讓我們使用非結構化。 申請時間列為重複，和病人列為主題--這定義了一個主題內的重複測量。 請務必注意，JMP 要求主題列具有獨特的價值，並且重複列是分類的非結構化選項。
Unstructured Covariance Structure非結構化協方差結構
主要報告包括重複效應協方差參數估計，固定效應參數估計，和測試固定效應測試.
Results using Unstructured使用非結構化的結果
測試協方差估計的統計顯著性的一種方法是計算 z 分數並找到它們的 p 值，就像我在前面的隨機係數模型示例中所做的那樣。 然而，我們可以檢查置信限度：如果協方差估計的 95% 置信區間包括零，那麼我們可以說估計從零開始在統計上不顯著α = 5%。正如我們所見，所有六個方差估計都與零有顯著差異，但大多數協方差估計不是。 這表明應該考慮一個簡約的結構，例如 AR (1)。
固定效應檢驗報告顯示治療效果非常顯著。 C膽固醇水平還發現每個月以及從早上到下午都有顯著差異。
接下來，我們考慮應收賬款(1)作為主體內誤差的協方差結構。 請注意重複JMP 在 AR(1) 中使用的列必須是連續變量。所以，哎——每次測量時從試驗開始日期算起的天數——用於代替用於 UN 選項的分類變量。
AR(1) Covariance Structure AR(1) 協方差結構
這重複效應協方差參數估計報告顯示高度顯著的受試者內相關性為 0.95。固定效應結果與 UN 選項（未顯示）中的結果相似——處理效應和時間效應具有統計顯著性。
Results using AR(1)使用 AR(1) 的結果
為了完成我們的例子，最後，讓我們用一個CS結構體。 為此，請選擇剩餘的作為重複協方差結構——但無需具體說明重複和主題帶有此選項的列；相反，我們添加主題 ID，病人，作為對隨機效應標籤。 那是
w主體內協方差通過主題 ef 建模效果。
CS Covariance Structure with random subject effect and residual error具有隨機主體效應和殘差的 CS 協方差結構
Results using CS使用 CS 的結果
根據 95% 置信限判斷，同一主題的任意兩個度量之間的協方差在統計上不顯著α =0.05（實際上，p 值 = 0.0621 ). 固定效應檢驗結果與之前的模型相似，此處不再展示。
那麼，應該採用哪種重複結構呢？ 模型比較的一個標準是 AICc。 來自擬合統計JMP 報告（未顯示），AICc 為：非結構化—703.84，應收賬款(1) —652.63 和CS —832.55。 所以，應收賬款(1)是贏家。
示例 3：面板數據模型——控制未觀察到的異質性
這個例子取自Vella 和 Verbeek (1998)，在計量經濟學導論由杰弗裡伍德里奇作為例 14.4 . 有關詳細信息，請參閱下面的參考資料。
原始數據來自1979 年隊列全國縱向調查(NLSY79)。 在數據中，從 1980 年到 1987 年，545 名男性工人每年都在工作。 我們有興趣估計工會會員對工資收入的影響，控制教育、工作經驗、種族等。
儘管 NLSY79 收集了工人的詳細背景信息作為控制變量，但仍然存在無法觀察或測量的個體差異。 面板數據提供了一種解釋個體異質性的方法：如果可以假設未觀察到的異質性與模型中包含的所有解釋變量不相關，我們可以通過將其視為隨機效應來解釋它。
在 Woodridge 的討論之後，一個 Log(Wage) 方程式被擬合，其中工人的 ID 作為隨機效應輸入以捕獲未觀察到的差異。
Fixed effects part of the Log(Wage) Equation Log(Wage) 方程的固定效應部分
Random effects part of the Log(Wage) EquationLog(Wage) 方程的隨機效應部分
我選擇剩餘的對於模式誤差項。 該模型稱為單向隨機效應模型在計量經濟學.
結果如下所示。
Panel Model Results面板模型結果
來自隨機效應協方差參數估計報告我們發現那個人異質性佔總變異的 47.8% (=0.11/(0.11+0.12))，表明存在較大的未觀察到的異質性效應。 換句話說，OLS 分析可能會產生誤導性的結果。
這固定效應參數估計報告顯示，教育的估計回報率為 9.2%，工會保險費為 10.5%，兩者均具有高度統計顯著性。 作為比較，合併 OLS 估計工會溢價為 18.2%。 參見伍德里奇（2013 年，第 495 頁）。
參考
Francis Vella 和 Marno Verbeek (1998)，“工會提高誰的工資？ 青年工會主義和工資率決定的動態模型", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. 數據可從期刊網站下載http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
杰弗裡·伍德里奇 (2013)，計量經濟學入門：一種現代方法（5日編輯),聖智學習。
示例 4：建模地理空間數據——考慮空間相關性
就像重複測量隨時間相關一樣，空間數據也可能在空間上相關。也就是說，測量是相距較近的人比相距較遠的人更相似。 因此，我們需要在分析中考慮空間依賴性。
空間數據與坐標一起記錄，例如緯度和經度，行和列的位置，南北和東西方向。 兩次測量之間的距離使用歐氏距離函數，用於形成協方差結構。 我fa 距離函數不依賴於測量的方向，那麼協方差被稱為各向同性的；否則它是各向異性.此外，一個掘金可以添加效果以解決局部區域中小距離的突然變化。
JMP Pro 提供了四種歐氏距離各向同性結構的函數：冪函數、指數函數、高斯函數和球函數。可以使用各種形式的各向異性結構。塊金效應也可以添加到協方差結構中。
以下示例取自用於混合模型的 SAS，第 2 版, 2006 年，第 457-460 頁。 ( http://www.sas.com/store/prodBK_59882_en.htm ). 為了調查危險廢物處置場的排水情況，在現場的不同位置採集了 30 個樣本，並按它們的南北和東西方向進行了記錄。排水量之間的線性關係（由對數透射率）並提出了一層鹽的厚度。 (噸他的數據，危險廢物， 是數據集 11.6在壓縮文件中
http://support.sas.com/publishing/bbu/59882/59882.zip .)
使用具有金塊效應的空間各向異性冪結構擬合空間回歸模型。 這種結構允許 (1) 距離是空間相關性的冪函數，(2) 空間相關性在不同方向上不同，以及 (3) 小距離內的變化。
Spatial anisotropic power with nugget帶金塊的空間各向異性冪
Results using spatial anisotropic power with nugget使用具有塊金的空間各向異性冪的結果
協方差參數估計報告表明空間相關性非常顯著，兩個相關係數分別為 0.81（東西）和 0.91（南北）。 但是，似乎沒有基於置信限度的金塊。固定效應參數估計鹽厚度對排水有顯著的負面影響 (-0.025)。
我通過移除金塊效應來改裝模型。
Results using spatial anisotropic power without nugget使用無塊金空間各向異性冪的結果
我們注意到一些微小的變化：估計的空間相關性分別為 0.86 和 0.82，鹽層厚度的影響為 -0.021。 比較使用 AICc 的擬合優度，第二個模型稍好一些，因為它的 AIC 較小（84.7 對 86.4）
為了正式測試空間相關性的存在，我們通過選擇來擬合一個獨立的誤差模型剩餘的作為結構（即假設沒有空間相關性）。 兩個模型之間-2 Residual Log Likelihood 值的差異形成了 χ2 似然比檢驗。 獨立誤差模型的 -2 殘差對數似然為 94.07，因此差值為 13.72 (=94.07-80.35)。 對於 DF=2，這會產生 0.001 的 p 值。 因此，在該站點發現了顯著的空間相關性。
概括
希望這些示例說明了線性混合模型的多功能性以及使用 JMP 擬合混合模型的簡便性。 在結束之前，我想分享一些一般性技巧。
