共線性。 共線性。 共線性。 在掌握 JMP 課程中,我們經常會遇到有關共線性、如何理解它、如何檢測它、它與 JMP 報告中顯示的 VIF 有何關係、如何解釋 VIF 以及如何構建準確考慮共線性的模型的問題。
JMP 提供了在建模過程中檢測、理解和解釋共線性的所有工具。 JMP 教育統計學家 Di Michelson 最近的一段視頻展示了具體方法。 當您想了解響應與預測變量之間的關係時,她建議採取以下步驟,並在視頻中遵循這些步驟,識別和理解共線性的影響。
以圖形和統計方式總結成對行為
- 通過將所有變量放入 Y 角色,可視化多元平台中的數據(分析 > 多元方法 > 多元)。
- 檢查相關性(使用相關矩陣),其中包含變量之間的成對相關性。 它是對稱的,因為 X1 和 Y 之間的相關性與 Y 和 X1 之間的相關性相同。
Correlation MatrixCorrelation MatrixCorrelation MatrixCorrelation MatrixCorrelation Matrix相關矩陣
- 將相關性視為顏色圖(從多元紅色小三角中,選擇相關性 > 顏色圖),其中 JMP 將相關性表中的數字轉換為顏色。 在她使用默認 JMP 顏色的示例中,紅色方塊顯示正相關,藍色方塊顯示負相關。 您可以將鼠標懸停在正方形上以獲得相關值。
- 查看成對散點圖矩陣(從多元紅色小三角中,選擇散點圖矩陣),它繪製了 Y 與 X 的關係圖。 同樣,這個矩陣是對稱的。
- 由於散點圖矩陣是對稱的,因此您不需要它的兩邊。 因此,您可以打開熱圖(從散點圖矩陣紅色小三角中,選擇矩陣選項 > 熱圖)。
Scatterplot Matrix with Heat MapScatterplot Matrix with Heat MapScatterplot Matrix with Heat MapScatterplot Matrix with Heat MapScatterplot Matrix with Heat Map帶熱圖的散點圖矩陣
- 尋找與高度正相關或負相關相關的 X 變量。 在她的示例中,紅色具有高正相關性,藍色具有高負相關性。
- 將散點圖矩陣點替換為密度橢圓(從散點圖矩陣紅色小三角中,選擇密度橢圓),然後檢查整個圖以查看是否存在偏度或任何異常值。

迪的總結:您會看到 Y 與一些預測變量相關,並且許多預測變量彼此相關。 紅色表示高度正相關,藍色表示高度負相關。 預測變量的高度相關性可能會損害您的線性回歸模型。 線性回歸中的這個問題稱為共線性或多重共線性。
擬合模型並探索方差膨脹因子
- 擬合模型(分析 > 擬合模型)。 (Di 使用“擬合模型”窗口中的“最小報告”選擇。)
Fit Model Standard Least Squares Minimal Report Selection WindowFit Model Standard Least Squares Minimal Report Selection WindowFit Model Standard Least Squares Minimal Report Selection WindowFit Model Standard Least Squares Minimal Report Selection WindowFit Model Standard Least Squares Minimal Report Selection Window擬合模型標準最小二乘最小報告選擇窗口
- 檢查模型的擬合摘要、方差分析,以確定模型是否很好地解釋了 Y 的變異性。
Summary of Fit - Looks Like Useful Model for Explaining Variability in YSummary of Fit - Looks Like Useful Model for Explaining Variability in YSummary of Fit - Looks Like Useful Model for Explaining Variability in YSummary of Fit - Looks Like Useful Model for Explaining Variability in YSummary of Fit - Looks Like Useful Model for Explaining Variability in Y擬合摘要 - 看起來是解釋 Y 變異性的有用模型
- 右鍵單擊“參數估計值”表可確定是否因相關預測變量而發生方差膨脹以及發生的程度。
How to Add VIFHow to Add VIFHow to Add VIFHow to Add VIFHow to Add VIF如何添加 VIF
- 按 VIF 列排序,以確定具有最高 VIF 的因素,這是由其他預測變量解釋的該因素的變異性。 在這種情況下,X11 具有最高的 VIF。
Parameter Estimate Showing VIF for Each VariableParameter Estimate Showing VIF for Each VariableParameter Estimate Showing VIF for Each VariableParameter Estimate Showing VIF for Each VariableParameter Estimate Showing VIF for Each Variable顯示每個變量的 VIF 的參數估計
- 將最高 VIF 因子建模為響應,將所有其他因子建模為預測變量,然後查看 R 平方值,看看該預測變量中的變異性是否可以由其他預測變量來解釋,從而揭示可能的共線性。 高 VIF 表示高共線性。
Model and Examine R-Squared for Highest VIF Factor to Uncover CollinearityModel and Examine R-Squared for Highest VIF Factor to Uncover CollinearityModel and Examine R-Squared for Highest VIF Factor to Uncover CollinearityModel and Examine R-Squared for Highest VIF Factor to Uncover CollinearityModel and Examine R-Squared for Highest VIF Factor to Uncover Collinearity建模並檢查 R 平方以獲得最高 VIF 因子以揭示共線性
- 檢查槓桿圖以獲得共線性的直觀表示。 它們很有用,因為與散點圖或相關矩陣不同,它們一次可以理解兩個以上的變量。 當點在 X 方向收縮並且不填充整個 X 軸時,該因素與其他因素相關。
Examine Leverage Plots Visually Represent CollinearityExamine Leverage Plots Visually Represent CollinearityExamine Leverage Plots Visually Represent CollinearityExamine Leverage Plots Visually Represent CollinearityExamine Leverage Plots Visually Represent Collinearity檢查直觀地表示共線性的槓桿圖
- 檢查預測刻畫器(從“響應紅三角”>“因子刻畫”>“刻畫器”),其中每個響應對應一行,每個因子對應一列。 設置的組合給出了分析器左側顯示的預測響應。 當存在共線性時,該因子的刻畫圖邊緣的置信區間非常寬。
Accessing Prediction ProfilerAccessing Prediction ProfilerAccessing Prediction ProfilerAccessing Prediction ProfilerAccessing Prediction Profiler訪問預測刻畫器
Prediction Profiler Gives Numeric and Cisual Results for Factor InteractionsPrediction Profiler Gives Numeric and Cisual Results for Factor InteractionsPrediction Profiler Gives Numeric and Cisual Results for Factor InteractionsPrediction Profiler Gives Numeric and Cisual Results for Factor InteractionsPrediction Profiler Gives Numeric and Cisual Results for Factor Interactions預測刻畫器給出因子相互作用的數字和視覺結果
迪的總結:當存在共線性時,您可以執行主成分分析 (PCA),這是一種派生新自變量(主成分)的分析類型,這些變量按解釋的變異性降序排列。 然後,您可以使用主成分而不是原始預測變量來構建模型。 觀看她的視頻如何在 JMP 中使用 PCA 。