使用 JMP® Pro 的線性混合模型：一張臉，多種口味*
曹健 博士
SAS 研究所
2015 年 3 月 24 日
布魯塞爾，比利時
抽象的
JMP Pro 11 中引入的新功能之一是混合模型。 擬合模型平台中的這一新的建模特性使人們能夠擬合具有固定和隨機效應以及適當協方差結構的各種迴歸模型。 什麼是混合模型？ 何時以及為何應該採用混合模型？ JMP 如何擬合這樣的模型？ 在本文中，我將嘗試透過以下方式消除有關混合模型的誤解：1）簡要回顧統計背景，2）討論為什麼混合模型可以提供更好的估計以及將傳統迴歸模型擬合到反應變數的測量值相關或與數據相關的數據的結果。缺少關鍵解釋變量，3) 透過擬合現實生活應用中廣泛採用的不同風格的混合模型來說明 JMP® Pro 的混合模型。
致謝：我要感謝 Christopher Gotwalt 和 Laura Lancaster 的幫忙。
*本文提供的資料也適用於 JMP Pro 12。新 JMP Pro 12 的關鍵增強功能是改進的最佳化演算法，使 JMP 在處理大數據時運行速度比 JMP Pro 11 更快。
JMP Pro 11 在其擬合模型平台中加入了新的建模個性「混合模型」。什麼是混合模型？ JMP 如何擬合這樣的模型？ 可以應用混合模型的關鍵應用有哪些？ 在本文中，我將嘗試消除有關混合模型的誤解，並透過現實生活中的範例展示 JMP 的功能。
什麼是線性混合模型
線性混合模型是線性迴歸模型的推廣, y=Xβ +ε 。 擴展模型以允許隨機效應， Z ，新模型變成y=Xβ+Z γ + ε 。 這是線性混合模型，因為有固定效應， X，和隨機效應， Z。
做出以下假設隨機效應參數， γ和隨機誤差ε ：
(1) γ和ε呈常態分佈，且 (2) 之間不存在相關性和ε 。JMP 提供了幾種常用的結構ε 。 固定效應係數, ,和協方差矩陣和透過限制最大似然法聯合估計。 擬合混合模型需要A每個橫斷面單元的附加數據，或在建模空間數據的情況下，測量尺寸。 具有非常態分佈響應的混合模型或非線性混合模型;然而，我將討論範圍限制為 JMP Pro 支援的線性混合模型。
為什麼選擇混合模型
當響應之間存在相關性或重要解釋變數缺失，未能解釋這一點會導致對治療和其他因素的影響的估計偏差。
以下是混合模型的一些常見用例：
- 允許係數
- 分析隨機區組設計和裂區設計，其中難以改變和容易改變的因素會導致多個誤差項；
- 以隨機效應（即面板資料模型）的形式控制未觀察到的個體異質性；
- 重複測量分析其中受試者內錯誤是相關的；
- 由於測量是針對同一受試者進行的，因此多個反應是相關的；
- 科目是分層的（即學校內的學生） 。 這稱為層次線性模型或多層模型；
- 空間變異性（即地理空間迴歸）；
借助 JMP Pro，您可以使用點擊介面輕鬆指定和擬合所有這些模型，並以使用者友好的方式查看結果。
在 JMP Pro 中指定混合模型的步驟
- 1.選擇分析=>擬合模型，並選擇混合模特兒個性;
- 2.從資料表中選擇一個連續反應變數作為是並像通常使用標準最小平方法擬合一樣建構固定效應；
3A。 使用隨機效應選項卡指定隨機係數或隨機效應；
3B. 使用重複結構用於選擇模型誤差的協方差結構的選項卡；
- 4. 單擊跑步。
現在我將透過範例展示四種不同風格的混合模型：隨機係數模型、重複測量分析、面板資料模型和地理空間回歸。
範例 1：隨機係數模型 —允許截距和斜率隨科目隨機變化
在這個例子中，我們感興趣的是估計種植前土壤水分對小麥產量的影響，同時允許每個小麥品種與群體效應有隨機偏差。 因此，需要隨機係數模型。 實驗從小麥群體中隨機選擇 10 個品種，並將每個品種分配給六塊土地。總共收集了 60 個觀測值，每個品種有 6 次產量測量。 （資料「Wheat」可在 JMP 的範例資料目錄中找到。）
我按照上面列出的步驟來指定模型。 從固定效應選項卡中，指定濕度以及預設截距作為固定效果。
Fit Model: Fixed EffectsFit Model: Fixed Effects擬合模型：固定效應
接下來，從隨機效應選項卡，使用嵌套隨機係數按鈕請求每個品種的隨機截距和濕度效果。 
Fit Model: Random EffectsFit Model: Random Effects擬合模型：隨機效應
最後，從重複結構選項卡，選擇剩餘的為模型誤差項。
Fit Model: Repeated StructuresFit Model: Repeated Structures擬合模型：重複結構
下面的截圖顯示隨機效應協方差參數估計、固定效應參數估計和隨機係數。讓我們依次討論它們。
截距的變異數估計值為 18.89，標準誤差估計值為 9.11，因此 z 分數為 2.07 (=18.89/9.11)。 使用 JMP 公式編輯器中的常態分佈函數，我們可以發現 p 值為 0.0192，這表明不同品種的基線產量差異具有統計顯著性。同樣， p - 價值Cov（水分，攔截） 、0.3777 和 p 值Var(水分)是 0.0380。
這隨機係數報告給了 BLUP (B est 線性無偏預測器）各個品種與群體截距和群體水分效應的不同之處的值固定效應參數估計。 對於品種 1，估計水分對其產量的影響為 0.61 (=0.66-0.05)，基線產量為 34.39 (=33.43+0.96)，預測產量方程式為
結合固定效應和隨機係數估計，我們發現水分對小麥產量有顯著的整體影響，並且發現不同品種的水分效應有顯著差異。
隨機係數模型的其他應用
個體成長模型是一種隨機係數模型，其中隨機的時間效果是為每個人估計。他是透過指定一個連續的時間變數如天或月作為隨機效應，以及你唱歌嵌套隨機係數按鈕來請求每個個體的單獨斜率（即成長）和截距。
在教育研究中，主題通常按層次順序嵌套。透過加入多組隨機效應語句，您可以擬合分層線性模型/多層模型。
範例 2：重複測量分析 - 考慮相關誤差
重複測量是隨著時間的推移從同一受試者收集的反應的多次測量。在這項臨床試驗中，受試者（即患者）被隨機分配到不同的治療組。 在試驗期間，對每個受試者的總膽固醇水平進行了多次測量。 研究的目的是測試是否新藥可有效降低膽固醇。 什麼使重複測量的分析變得清晰的是受試者內測量的相關性。 如果不考慮這一點，通常會導致對治療效果得出錯誤的結論。 （數據，膽固醇堆積，可在 JMP 的範例資料目錄中找到。
JMP Pro 提供三種常用的協方差結構：
- 非結構化
- 擴增實境(1) （一階自迴歸）估計間隔一個時間單位的兩個測量值之間的相關性。隨著時間差的增加，相關性下降。
- CS
下面的螢幕截圖顯示了固定效應重複測量分析的一部分，其中包括治療,月,上午下午，以及他們的相互作用。
Fixed effects part of the modelFixed effects part of the model模型的固定效應部分
我將考慮三種不同的協方差結構來處理受試者內錯誤。首先，我們使用非結構化。 申請時間列為重複，和病人列為主題--這定義了受試者內的重複測量。 值得注意的是，JMP 要求主題列具有唯一價值並且重複列是分類的非結構化選項。
Unstructured Covariance StructureUnstructured Covariance Structure非結構化協方差結構
主要報告包括重複效應協方差參數估計，固定效應參數估計，和測試固定效應測試。
Results using UnstructuredResults using Unstructured使用非結構化的結果
測試協方差估計的統計顯著性的一種方法是計算 z 分數並找到它們的 p 值，就像我在前面的隨機係數模型範例中所做的那樣。 但是，我們可以檢查置信區間：如果協方差估計的 95% 置信區間包括零，那麼我們可以說該估計從零開始不具有統計顯著性α = 5%。正如我們所看到的，所有六個變異數估計值都顯著不同於零，但大多數協方差估計則不然。 這表示應考慮簡約的結構，例如 AR (1)。
固定效應測試報告顯示治療效果非常顯著。 C膽固醇水平也發現每個月以及從早上到下午都有很大差異。
接下來，我們考慮擴增實境(1)作為主體內誤差的協方差結構。 請注意重複JMP 在 AR(1) 中使用的欄位必須是連續變數。所以，D是的——每次測量時距試驗開始日期的天數，而不是用於聯合國選項的分類變數。
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) 協方差結構
這重複效果協方差參數估計報告顯示受試者內相關性非常顯著，達 0.95。固定效應結果與聯合國選項的結果類似（未顯示）—治療效應和時間效應具有統計顯著性。
Results using AR(1)Results using AR(1)使用 AR 的結果(1)
最後，為了完成我們的範例，讓我們用CS結構。 為此，請選擇剩餘的作為重複協方差結構——但無需具體說明重複和主題具有此選項的列；相反，我們會添加主題 ID，病人，作為對的隨機效應隨機效應標籤。 那是
w ithin-subject 協方差是透過 subject ef 建模的效果。
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error具有隨機主體效應和殘差的 CS 協方差結構
Results using CSResults using CS使用 CS 的結果
根據 95% 置信區間判斷，同一主題的任何兩個測量之間的協方差在統計上不顯著α =0.05（實際上，p值= 0.0621 ）。 固定效應測試結果與先前的模型類似，因此此處不再顯示。
那麼，應該採用哪一種重複結構呢？ 模型比較的標準之一是 AICc。 來自擬合統計根據 JMP 報告（未顯示），AICc 是：非結構化—703.84,擴增實境(1) —652.63 和CS —832.55。 所以，擴增實境(1)是贏家。
範例3：面板資料模型－控制未觀察到的異質性
這個例子取自Vella 與 Verbeek (1998)，在計量經濟學導論作者：傑弗瑞‧伍德里奇 飾例14.4 。 請參閱下面的參考資料以了解更多資訊。
原始數據來自於全國青年縱貫調查 1979 年隊列（NLSY79）。 數據中，545名男性工人從1980年到1987年每年都有工作。 我們有興趣估計在控制教育、工作經驗、種族等因素的情況下工會成員對薪資收入的影響。
儘管NLSY79收集了工人的詳細背景資訊作為控制變量，但仍存在無法觀察或測量的個體差異。 面板資料提供了一種解釋個體異質性的方法：如果可以假設未觀察到的異質性與模型中包含的所有解釋變數不相關，我們可以透過將其視為隨機效應來解釋它。
根據 Woodridge 的討論，擬合了一個對數（工資）方程，其中將工人的 ID 作為隨機效應輸入，以捕捉未觀察到的差異。
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation對數（工資）方程式的固定效應部分
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) Equation對數（工資）方程式的隨機效應部分
我選擇剩餘的為模式誤差項。 此模型稱為單向隨機效應模型在計量經濟學中。
結果如下圖所示。
Panel Model ResultsPanel Model Results面板模型結果
來自隨機效應協方差參數估計報告中我們發現個人異質性佔總變異的 47.8% (=0.11/(0.11+0.12))，顯示存在較大的未觀察到的異質性效應。 換句話說，OLS 分析可能會產生誤導性結果。
這固定效應參數估計報告顯示，教育回報率預計為 9.2%，工會保險費為 10.5%，兩者均具有高度統計顯著性。 作為比較，合併 OLS 估計工會保費為 18.2%。 參見伍德里奇（2013 年，第 495 頁）。
參考
弗朗西斯·維拉和馬諾·維貝克 (1998)，“工會加薪誰的薪水？ 工會主義和青年男性工資率確定的動態模型》，Journal of Applied Econometrics，第 13 卷，第 2 期，第 163-183 頁。資料可從期刊網站下載http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
傑弗瑞‧伍德里奇 (2013),計量經濟學導論：現代方法 (5 th編輯），聖智學習。
範例 4：地理空間資料建模—考慮空間相關性
就像重複測量隨著時間的推移而相關一樣，空間數據也可能在空間中相關。也就是說，測量值是距離較近的人比相距較遠的人相似。 因此，我們在分析時需要考慮空間依賴性。
空間資料與座標一起記錄，例如經緯度、行列位置、南北方向、東西方向。 兩次測量之間的距離是使用歐氏距離函數，用於形成協方差結構。 我fa 距離函數不依賴測量方向，則協方差為各向同性；否則就是各向異性。此外， A金塊可以加入效果來解釋局部區域小距離內的突然變化。
JMP Pro 提供四種歐氏距離各向同性結構的函數：冪函數、指數函數、高斯函數和球函數。可以使用各種形式的各向異性結構。塊金效應也可以添加到協方差結構中。
下面的例子取自適用於混合模型的 SAS，第二版，2006 年，第 457-460 頁。 （ http://www.sas.com/store/prodBK_59882_en.htm ）。 為調查某危險廢棄物處置場排水狀況，在該處置場不同地點採集了30個樣品，並依南北、東西方向記錄。排水之間的線性關係（透過測量對數透射率）並提出了鹽層的厚度。 （時間他的數據，危險廢棄物， 是數據集11.6在壓縮檔中
http://support.sas.com/publishing/bbu/59882/59882.zip .)
使用具有塊金效應的空間各向異性功率結構來擬合空間迴歸模型。 這種結構允許（1）距離是空間相關性的冪函數，（2）空間相關性在不同方向上不同，以及（3）小距離上的變化。
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget具有塊金的空間各向異性功率
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nugget使用空間各向異性功率和塊金的結果
協方差參數估計報告顯示存在高度顯著的空間相關性，兩個相關係數分別為 0.81（東西）和 0.91（南北）。 然而，似乎沒有基於置信極限的金塊。固定效應參數估計鹽層厚度對排水有顯著的負面影響（-0.025）。
我透過消除金塊效應來重新擬合模型。
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget使用無塊核的空間各向異性功率的結果
我們注意到一些細微的變化：估計的空間相關性分別為 0.86 和 0.82，鹽厚度的影響為 -0.021。 比較使用 AICc 的適合度，第二個模型稍好一些，因為它的 AIC 較小（84.7 vs. 86.4）
為了正式測試空間相關性的存在，我們透過選擇來擬合獨立誤差模型剩餘的作為結構（即假設沒有空間相關性）。 兩個模型之間 -2 殘差對數似然值的差異形成 χ2 似然比檢定。 獨立誤差模型的 -2 個殘差對數似然為 94.07，因此差異為 13.72 (=94.07-80.35)。 對於 DF=2，這會產生 0.001 的 p 值。 因此，在該站點發現了顯著的空間相關性。
概括
希望這些範例能夠說明線性混合模型的多功能性以及使用 JMP 來擬合混合模型的簡單性。 在結束之前，我想分享一些一般提示。
