使用 JMP® Pro 的線性混合模型：一個面，多種風味*
Jian Cao, PhD
SAS 研究所
2015 年 3 月 24 日
比利時布魯塞爾
抽象的
JMP Pro 11 引入的新功能之一是混合模型。 Fit Model 平台中的這種新建模特性使人們能夠擬合具有固定和隨機效應以及適當協方差結構的各種迴歸模型。什麼是混合模型？何時以及為什麼要擬合混合模型？ JMP 又是如何擬合這模型的呢？在本文中，我將嘗試透過以下方式消除人們對混合模型的誤解：1）簡要回顧統計背景；2）討論為什麼混合模型能夠提供更好的估計值，以及將傳統回歸模型擬合到響應變量的測量值相關或缺少關鍵解釋變量的數據中會產生什麼後果；3）通過擬合在實際應用中廣泛採用的不同類型的混合模型來說明 JMP® Pro 的混合模型。
致謝：我要感謝 Christopher Gotwalt 和 Laura Lancaster 的幫忙。
*本文介紹的資料也適用於 JMP Pro 12。 新版 JMP Pro 12 的關鍵增強功能是改進了最佳化演算法，使得 JMP 在處理大數據時比 JMP Pro 11 運行得更快。
JMP Pro 11 在其擬合模型平台中新增了一個新建模功能—混合模型。什麼是混合模型？ JMP 如何擬合這樣的模型？混合模型可以應用於哪些主要應用？在本文中，我將嘗試消除有關混合模型的誤解，並透過現實生活中的例子展示 JMP 的功能。
什麼是線性混合模型
線性混合模型是線性迴歸模型的推廣， y=Xβ +e。擴展模型以允許隨機效應Z ，新模型變為y=Xβ+Z γ + ε. 這是線性混合模型，因為既有固定效應X，也有隨機效應， 和。
對於隨機效應參數， γ和隨機誤差ε:
（1） c 和ε 呈常態分佈，且 (2) 之間沒有相關性 和 ε。 JMP 提供了幾種常用的結構ε. 固定效應係數， , 和協方差矩陣 和 透過受限最大似然法聯合估計。擬合混合模型需要a每個橫斷面單元的附加數據，或在建模空間數據的情況下，測量維度。具有非常態分佈響應的混合模型或非線性混合模型; 然而， 我將討論範圍限制在 JMP Pro 中支援的線性混合模型。
為什麼採用混合模型
當反應之間存在相關性或 重要的解釋變數缺失，未能解釋導致對治療效果和其他因素的估計偏差。
以下是混合模型的一些常見用例：
- 允許係數
- 隨機區組設計和裂區設計分析，其中難以改變和易於改變的因素會導致多個誤差項；
- 以隨機效應（即面板資料模型）的形式控制未觀察到的個體異質性；
- 重複測量分析其中受試者內錯誤是相關的；
- 由於測量對像是同一對象，因此多個反應具有相關性；
- 學科是分層次的（即學校內的學生）。這被稱為層次線性模型或多層次模型；
- 空間變異性（即地理空間迴歸）；
利用 JMP Pro，您可以使用點擊介面輕鬆指定和擬合所有這些模型，並以使用者友好的方式查看結果。
在 JMP Pro 中指定混合模型的步驟
- 1.選擇分析=>擬合模型，選擇混合模型個性；
- 2.從資料表中選擇一個連續反應變數作為Y ，並建立固定效應，就像使用標準最小二乘擬合通常所做的那樣；
3A.使用「隨機效應」標籤指定隨機係數或隨機效應；
3B.使用重複結構標籤為模型誤差選擇協方差結構；
- 4.單擊運行。
現在我將透過例子來展示四種不同類型的混合模型：隨機係數模型、重複測量分析、面板資料模型和地理空間回歸。
例 1：隨機係數模型—允許截距和斜率在不同受試者之間隨機變化
在這個例子中，我們感興趣的是估計種植前土壤水分對小麥產量的影響，同時允許每個小麥品種與族群效應有隨機偏差。因此，需要一個隨機係數模型。試驗從小麥群體中隨機選取 10 個品種，並將其分配到六塊土地。總共收集了每個品種 60 個觀測值和 6 個產量測量。 （資料「小麥」可在 JMP 的樣本資料目錄中找到。）
我按照上面列出的步驟指定模型。從「固定效應」標籤中，指定濕度以及預設截距作為固定效應。
Fit Model: Fixed Effects擬合模型：固定效應擬合模型：固定效應
接下來，從「隨機效應」標籤中，使用「嵌套隨機係數」按鈕請求每個品種的隨機截距和水分效應。 
Fit Model: Random Effects擬合模型：隨機效應擬合模型：隨機效應
最後，從「重複結構」標籤中，選擇「殘差」作為模型誤差項。 
Fit Model: Repeated Structures擬合模型：重複結構適配模型：重複結構
以下螢幕截圖顯示了隨機效應協方差參數估計、固定效應參數估計和隨機係數。讓我們依序討論一下。 
截距的變異數估計值為 18.89，標準誤差估計值為 9.11，因此 z 分數為 2.07（= 18.89/9.11）。使用 JMP 公式編輯器中的「常態分佈」函數，我們可以發現 p 值為 0.0192，這表明不同品種的基線產量差異具有統計意義。類似地， Cov（水分、截留）的p值為 0.3777， 哪裡(水分)的 p 值為 0.0380。
隨機係數報告給出了 BLUP (Best 線性無偏預測器)每種品種與固定效應參數估計中報告的族群截距和族群水分效應之間的差異值。對於品種 1，估計水分對其產量的影響為 0.61（=0.66-0.05），基準產量為 34.39（=33.43+0.96），預測產量方程式為
結合固定效應和隨機係數估計，我們發現水分對小麥產量的整體影響顯著，並且發現不同品種之間水分效應有顯著差異。
隨機係數模型的其他應用
個體成長模型是一種隨機係數模型，其中隨機時間效應是針對每個人進行估算。他是透過指定一個連續的時間變數，例如日或月作為隨機效應，以及using 嵌套隨機係數 button to request separate slope (i.e., growth) and intercept for each individual.
在教育研究中，主題通常按層次順序嵌套。透過新增多組隨機效應語句，您可以擬合分層線性模型/多層模型。
例 2：重複測量分析－考慮相關誤差
重複測量是在一段時間內從同一受試者收集的反應的多次測量。在本次臨床試驗中，受試者（即患者）被隨機分配到不同的治療組。試驗期間對每個受試者的總膽固醇水平進行了多次測量。研究的目的是測試新藥能有效降低膽固醇。什麼重複測量分析的獨特之處在於同一受試者內的測量值的相關性。如果不考慮這一點，往往會導致對治療效果得出錯誤的結論。 （膽固醇堆疊數據可在 JMP 的樣本數據目錄中找到。
JMP Pro 提供三種常用的協方差結構：
- 非結構化
- 擴增實境(1)（一階自迴歸）估計相隔一個時間單位的兩個測量值之間的相關性。隨著時間差的增加，相關性下降。
- CS
以下截圖顯示了重複測量分析的固定療效部分，其中包括治療，月份，上午/下午，以及它們的相互作用。 
Fixed effects part of the model模型的固定效應部分模型的固定效應部分
我將考慮針對受試者內誤差的三種不同的協方差結構。首先，讓我們使用非結構化。申請時間列為重複，患者列為主題- 這定義了主題內的重複測量。值得注意的是，JMP 要求「主題」列具有唯一的值，而「重複」列對於「非結構化」選項必須是分類的。 
Unstructured Covariance Structure非結構化協方差結構非結構化協方差結構
主要報告包括重複效應協方差參數估計、固定效應參數估計，和檢驗固定效應檢定。 
Results using Unstructured使用非結構化結果使用非結構化結果
檢定協方差估計的統計顯著性的一種方法是計算 z 分數並找到它們的 p 值，就像我在前面的隨機係數模型範例中所做的那樣。但是，我們可以檢查置信區間：如果協方差估計的 95% 置信區間包含零，那麼我們可以說，該估計在統計上不顯著，即α=5%。我們可以看到，所有六個變異數估計值都顯著不同於零，但大多數協方差估計則不然。這表明應該考慮諸如 AR (1) 之類的簡約結構。
固定效應檢定報告顯示治療效果十分顯著。碳膽固醇水平也發現不同月份之間以及早上與下午之間存在很大差異。
接下來，我們將擴增實境(1)視為受試者內誤差的協方差結構。請注意JMP在AR(1)中使用的重複列必須是連續變數。因此，使用 D ays（每次測量距離試驗開始日期的天數）來取代 UN 選項所使用的分類變數。 
AR(1) Covariance Structure AR(1) 協方差結構AR(1) 協方差結構
重複效應協方差參數估計報告顯示，受試者內相關性非常顯著，為 0.95。固定效應結果與聯合國選項的結果相似（未顯示）－治療效果和時間效應具有統計意義。 
Results using AR(1)使用 AR(1) 得到的結果使用 AR(1) 得到的結果
為了完成我們的例子，最後讓我們用CS結構來擬合模型。為此，選擇殘差作為重複協方差結構- 但無需使用此選項指定重複和主題列；相反，我們將受試者 ID（患者）作為隨機效應添加到隨機效應選項卡上。那是
w受試者內部協方差透過受試者效應建模完美。 
CS Covariance Structure with random subject effect and residual error具有隨機主體效應和殘差誤差的 CS 協方差結構具有隨機主體效應和殘差誤差的 CS 協方差結構
Results using CS使用 CS 的結果使用 CS 的結果
以 95% 的置信區間來判斷，同一主題的任何兩個測量值之間的協方差在統計上並不顯著α=0.05（實際上，p 值= 0.0621）。固定效應檢定結果與前面的模型類似，因此這裡不再展示。
So, which repeated structure should be adopted? One criterion for model comparison is AICc. From the 適合統計reported by JMP (not shown), AICcs are: 非結構化—703.84, 擴增實境(1)—652.63 and CS—832.55. So, 擴增實境(1) is the winner.
範例 3： 面板資料模型－控制未觀察到的異質性
此範例取自Vella 與 Verbeek (1998)，Jeffrey Woodridge 在《計量經濟學導論》中對此進行了討論，例 14.4. 請參閱下面的參考資料以了解更多資訊。
原始資料來自1979 年青年全國縱貫調查(NLSY79)。在數據中，545 名男性工人從 1980 年到 1987 年每年都工作。我們感興趣的是估計工會會員資格對薪資收入的影響，同時控制教育、工作經驗、種族等因素。
雖然NLSY79收集了工人的詳細背景資訊作為控制變量，但仍存在無法觀察或測量的個體差異。面板資料提供了一種解釋個體異質性的方法：如果可以假設未觀察到的異質性與模型中包含的所有解釋變數不相關，我們就可以將其視為隨機效應來解釋它。
按照伍德里奇的討論，可以擬合一個 Log(工資) 方程，其中工人的 ID 作為隨機效應輸入，以捕捉未觀察到的差異。 
Fixed effects part of the Log(Wage) Equation Log(薪資) 方程式的固定效應部分Log(薪資) 方程式的固定效應部分
Random effects part of the Log(Wage) Equation對數（工資）方程式的隨機效應部分對數（工資）方程式的隨機效應部分
我選擇殘差作為模式誤差項。此模型在計量經濟學中稱為單向隨機效應模型。
結果如下圖所示。 
Panel Model Results面板模型結果面板模型結果
從隨機效應協方差參數估計報告我們發現個體異質性解釋了總變異的 47.8% (=0.11/(0.11+0.12))，表明存在很大的未觀察到的異質性效應。換句話說，OLS 分析可能會產生誤導性的結果。
固定效應參數估計報告顯示，教育報酬率預計為 9.2%，工會保費為 10.5%，這兩個數字都具有高度的統計意義。作為比較，合併 OLS 估計工會保費為 18.2%。請參閱 Woodridge (2013 年，第 495 頁)。
參考
Francis Vella 和 Marno Verbeek (1998)，《工會提高了誰的薪水？青年男性工會主義和工資率確定的動態模型》，《應用計量經濟學雜誌》卷。 13，第 2 期，第 163-183 頁。數據可從期刊網站下載http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
伍德里奇（Jeffrey M. Woodridge）（2013），計量經濟學導論：現代方法（第 5 版），CENGAGE 學習。
範例 4：對地理空間資料進行建模 - 考慮空間相關性
就像重複測量隨時間推移具有相關性一樣，空間資料在空間中也可能具有相關性。也就是說，測量距離較近的個體比距離較遠的個體更相似。因此，我們需要在分析中考慮空間依賴性。
空間資料與座標一起記錄，例如緯度和經度、行和列的位置、南北和東西方向。使用歐幾里德距離計算兩次測量之間的距離 函數，用於形成協方差結構。我如果距離函數不依賴測量方向，則協方差為各向同性；否則它是各向異性的。此外，可以加入塊金效應來解釋局部區域內小距離的突然變化。
JMP Pro 提供四種歐幾里德距離 各向同性結構的函數：冪、指數、高斯和球面。有多種形式的各向異性結構可供選擇。也可以將塊金效應加到協方差結構中。
以下範例取自SAS for Mixed Models，第 2 版，2006 年，第 457-460 頁。 （http://www.sas.com/store/prodBK_59882_en.htm）。為了調查某危險廢棄物處置場排水情況，在處置場內不同位置採集了30個樣本，並以南北和東西方向進行記錄。提出了排水量（以對數透射率測量）和鹽層厚度之間的線性關係。(T危險廢棄物資料是壓縮檔案中的資料集 11.6
http://support.sas.com/publishing/bbu/59882/59882.zip。
利用具有塊金效應的空間各向異性動力結構來擬合空間迴歸模型。這種結構允許（1）距離成為空間相關性的冪函數，（2）空間相關性在不同方向上有所不同，以及（3）在小距離內變化。 
Spatial anisotropic power with nugget帶塊金的空間各向異性功率帶塊金的空間各向異性功率
Results using spatial anisotropic power with nugget使用空間各向異性功率和塊金的結果使用空間各向異性功率和塊金的結果
協方差參數估計報告顯示空間相關性非常顯著，兩個相關係數分別為0.81（東西）和0.91（南北）。然而，根據置信限度似乎沒有金塊。固定效應參數估計顯示對鹽層厚度的排水有顯著的負面影響（-0.025）。
我透過消除塊金效應來重新擬合模型。 
Results using spatial anisotropic power without nugget使用無塊金的空間各向異性功率的結果使用無塊金的空間各向異性功率的結果
我們注意到一些細微的變化：估計的空間相關性分別為 0.86 和 0.82，鹽厚度的影響為 -0.021。使用 AICc 比較配適優度，第二個模型略好一些，因為其 AIC 較小（84.7 vs. 86.4）
為了正式檢驗空間相關性的存在，我們透過選擇殘差作為結構（即假設沒有空間相關性）來擬合獨立誤差模型。兩個模型之間的 -2 殘差對數似然值的差異形成 χ2 似然比檢定。獨立誤差模型的 -2 個殘差對數似然為 94.07，因此差異為 13.72 (=94.07-80.35)。這得出 DF=2 的 p 值為 0.001。因此，該站點存在顯著的空間相關性。
概括
希望這些範例能夠說明線性混合模型的多功能性以及使用 JMP 來擬合混合模型的簡易性。在結束之前我想分享一些一般性的技巧。
