多重共線性是指用於估計因變量的假定獨立變量之間存在如此高度的相關性，以至於無法確定每個獨立變量對因變量變化的貢獻。數據集中的高度多重共線性意味著您構建的任何模型幾乎肯定會過度擬合，除非您使用技術來緩解此問題。有幾種建模技術可用於通過限制多重共線性來提高構建良好預測模型的可能性。其中包括 JMP 中可用的主成分分析和偏最小二乘法，以及 JMP Pro 中作為擬合模型選項提供的廣義回歸。
查看如何：
- 執行主成分分析 (PCA)，通過限制可變性和減輕多重共線性，使用少量成分對一組數據建模
- 用於 PCA 分析的最佳數據集要么是高的，要么是寬的。 可能兩者都是
- 不將變量解釋為輸入或輸出 - 在單個矩陣中處理
- 提取變量的線性組合，以盡可能多地解釋可變性
- 這一切都從第一主成分和算法一直持續到解釋了 100% 的變異。 希望這是一個比你原來的變量集小得多的數字
- 每個連續的 PC 解釋盡可能多的變化，並且與先前提取的加載向量正交
- 檢查和解釋匯總圖和特徵值
- 將主成分保存到數據表並使用 Graph>Profiler (提醒：選中展開中間值框）
- 使用偏最小二乘法擬合基於因素的線性模型，即解釋變量（Xs）的線性組合
- 這些因子是通過嘗試最大化 X 與一個或多個響應 (Y) 之間的協方差的方式獲得的。
- PLS 利用 X 和 Y 之間的相關性來揭示潛在的潛在結構
- PLS 在使用普通最小二乘法 (OLS) 不能產生令人滿意的結果的情況下表現良好，包括當 X 變量多於觀測值時；高度相關的 X 變量；大量的 X 變量；以及幾個 Y 變量和許多 X 變量。
- 當預測變量多於觀測值時可以使用 PLS
- PLS 廣泛應用於光譜學、化學計量學、基因組學、心理學、教育學、經濟學、政治學和環境科學等領域的高維數據建模。
- 了解如何將 JMP PLS 用於兩種可用的模型擬合算法：非線性迭代偏最小二乘法 (NIPALS) 和“PLS 的統計啟發修改”(SIMPLS)
- 對於單個響應，兩種方法都給出相同的模型；對於多個響應，存在細微差異
- PLS 使用 van der Voet T2 檢驗和交叉驗證來幫助您選擇要提取的最佳因子數。
- 解釋均方根 PRESS（預測殘差平方和）圖，它顯示具有最低 PRESS 值的因子數量，該模型是您將獲得的數據更好模型中最少的
- 使用方差重要性圖 (VIP) 定位要移除的因素
- 解釋百分比變異圖
- van der Voet T2 統計量檢驗以確定具有不同因子數的模型是否與具有最小 PRESS 值的模型存在顯著差異
- 通常的做法是提取 van der Voet 顯著性水平超過 0.10 的最少數量的因子
- 使用 JMP Pro 廣義回歸高級懲罰回歸技術，特別適合高度相關和/或非正態分佈的數據和變量選擇
- 構建 LASSO 模型、解釋結果並了解其一些局限性。
- 構建 Elastic Net 模型並解釋高度相關的數據，並了解 LASSO 的一些優勢
- 使用 JMP Pro 廣義回歸分析高維光譜數據
- 檢查和解釋 PCA 模型驅動的多元控製圖、PCA 相關性摘要圖和特徵值
- 檢查和解釋 PLS 結果
- 解釋彈性網絡廣義回歸，包括廣義 R 平方
- 使用 JMP Pro 廣義回歸獲取非常廣泛的數據並解釋結果
注意：附加的 .jmpprj 文件包含用於運行演示中的分析的腳本。
Bill Worley 回答的問題@Bill_Worley和斯科特·艾倫@scott_allen在現場網絡研討會上：
Q：Pred Formula Y1 是否來自 PCA 回歸？
A：是的，Y1和Y2的預測公式是通過主成分回歸分析得出的。 當您使用這些預測公式構建刻畫器時，您可以選中一個框，以便您查看單個效果而不是主成分。
問：您在 PCA 示例中消除變量的主要標準是什麼？
答：有關一種方法，請參見下面的視頻。
問：在 PLS 中，是否有必要指定相互作用或變量之間的關係是否包含在基礎模型（例如 NIPALS）中？
答：對於 PLS，您必須指定要測試交互或其他項的模型效果。 在標準 JMP 中，您可以僅使用主效應運行 PLS 分析。 在 JMP Pro 中，您可以使用擬合模型中的 PLS 特性運行 PLS 和其他模型效應，例如交互作用或多項式。
問：麵筋數據集是否也與很多多重共線性有關？
答：是的。 每個波長都依賴於下一個波長，因此波長與波長之間存在很多共線性。
問：是否可以說 PLS 或廣義回歸在處理高度自相關的數據時通常更優，還是僅依賴於數據集？ 我覺得 PLS 更好，但聽起來不一定。
答：這取決於情況，這可能在某種程度上取決於數據。 兩者都給出了彼此非常接近的好模型。
問：哪些建模選項最適合逆向預測？
答：對於寬數據，您可能難以獲得正確的設置。 所有選項都可以用於逆向預測。
問：您能否介紹一下如何將 PCA 公式保存到表格中。 我只知道如何自己保存坐標。
A：從紅色小三角，將公式保存到數據表。
問：如果我使用 PLS 模型和 Prediction Profiler 進行優化，優化是否會考慮變量之間的相關性，或者如果打開外推控制，那麼是否會考慮變量之間的相關性？
A: 在 PLS 中，您可以進行變量選擇，然後使用結果來構建具有重要變量的模型。 然後，使用帶有 VIP 的 Make Model 並重新運行。 如果將這些模型保存到數據表中，它們會很大並且包含所有變量。
問：模型篩選有用嗎？
答：是的。 這需要時間。 選擇其他方法。請注意，通過選擇它，它將通過 Elastic Net。 它還將通過 Ridge Regression，如果你有 K-folds 和 cross validation，這將需要時間。 而且，在廣義回歸和 PLS 模型篩選中，您可以添加 2 向交互作用，它會適合有和沒有 2 向交互作用。
資源
