共線性。 共線性。 共線性。 在掌握 JMP 課程中,我們經常會遇到有關共線性、如何理解它、如何檢測它、它與 JMP 報告中顯示的 VIF 的關係、如何解釋 VIF 以及如何構建準確考慮共線性的模型的問題。
JMP 提供了在建模過程中檢測、理解和解釋共線性的所有工具。 JMP 教育統計學家 Di Michelson 最近的一段視頻展示了具體方法。 當您想了解響應與預測變量之間的關係時,她建議採取以下步驟,並在視頻中遵循這些步驟,識別和理解共線性的影響。
以圖形和統計方式總結成對行為
- 通過將所有變量放入 Y 角色,可視化多元平台中的數據(分析 > 多元方法 > 多元)。
- 檢查相關性(使用相關矩陣),其中包含變量之間的成對相關性。 它是對稱的,因為 X1 和 Y 之間的相關性與 Y 和 X1 之間的相關性相同。
Correlation Matrix相關矩陣
- 將相關性視為顏色圖(從多元紅色小三角中,選擇相關性 > 顏色圖),其中 JMP 將相關性表中的數字轉換為顏色。 在她使用默認 JMP 顏色的示例中,紅色方塊顯示正相關,藍色方塊顯示負相關。 您可以將鼠標懸停在正方形上以獲得相關值。
- 查看成對散點圖矩陣(從多元紅色小三角中,選擇散點圖矩陣),它繪製了 Y 與 X 的關係圖。 同樣,這個矩陣是對稱的。
- 由於散點圖矩陣是對稱的,因此您不需要它的兩邊。 因此,您可以打開熱圖(從散點圖矩陣紅色小三角中,選擇矩陣選項 > 熱圖)。
Scatterplot Matrix with Heat Map帶熱圖的散點圖矩陣
- 尋找與高度正相關或負相關相關的 X 變量。 在她的示例中,紅色具有高正相關性,藍色具有高負相關性。
- 將散點圖矩陣點替換為密度橢圓(從散點圖矩陣紅色小三角中,選擇密度橢圓),然後檢查整個圖以查看是否存在偏度或任何異常值。

迪的總結:您會看到 Y 與一些預測變量相關,並且許多預測變量彼此相關。 紅色表示高度正相關,藍色表示高度負相關。 預測變量的高度相關性可能會損害您的線性回歸模型。 線性回歸中的這個問題稱為共線性或多重共線性。
擬合模型並探索方差膨脹因子
- 擬合模型(分析 > 擬合模型)。 (Di 使用“擬合模型”窗口中的“最小報告”選擇。)
Fit Model Standard Least Squares Minimal Report Selection Window擬合模型標準最小二乘最小報告選擇窗口
- 檢查模型的擬合摘要、方差分析,以確定模型是否很好地解釋了 Y 的變異性。
Summary of Fit - Looks Like Useful Model for Explaining Variability in Y擬合摘要 - 看起來是解釋 Y 變異性的有用模型
- 右鍵單擊“參數估計值”表可確定是否因相關預測變量而發生方差膨脹以及發生的程度。
How to Add VIF如何添加 VIF
- 按 VIF 列排序,以確定具有最高 VIF 的因素,這是由其他預測變量解釋的該因素的變異性。 在這種情況下,X11 具有最高的 VIF。
Parameter Estimate Showing VIF for Each Variable顯示每個變量的 VIF 的參數估計
- 將最高 VIF 因子建模為響應,將所有其他因子建模為預測變量,然後查看 R 平方值,看看該預測變量中的變異性是否可以由其他預測變量來解釋,從而揭示可能的共線性。 高 VIF 表示高共線性。
Model and Examine R-Squared for Highest VIF Factor to Uncover Collinearity建模並檢查 R 平方以獲得最高 VIF 因子以揭示共線性
- 檢查槓桿圖以獲得共線性的直觀表示。 它們很有用,因為與散點圖或相關矩陣不同,它們一次可以理解兩個以上的變量。 當點在 X 方向收縮並且不填充整個 X 軸時,該因素與其他因素相關。
Examine Leverage Plots Visually Represent Collinearity檢查直觀地表示共線性的槓桿圖
- 檢查預測刻畫器(從“響應紅三角”>“因子刻畫”>“刻畫器”),其中每個響應對應一行,每個因子對應一列。 設置的組合給出了分析器左側顯示的預測響應。 當存在共線性時,該因子的刻畫圖邊緣的置信區間非常寬。
Accessing Prediction Profiler訪問預測刻畫器
Prediction Profiler Gives Numeric and Cisual Results for Factor Interactions預測刻畫器給出因子相互作用的數字和視覺結果
迪的總結:當存在共線性時,您可以執行主成分分析 (PCA),這是一種派生新自變量(主成分)的分析類型,這些變量按解釋的變異性降序排列。 然後,您可以使用主成分而不是原始預測變量來構建模型。 觀看她的視頻如何在 JMP 中使用 PCA 。