影片於 2024 年 8 月更新。
多重共線性是指用於估計因變數的自變數之間存在高度相關性，以至於無法確定每個自變數對因變數變化的貢獻。資料集中的高度多重共線性意味著您建立的任何模型幾乎肯定會過度擬合，除非您使用技術來緩解此問題。有多種建模技術可用於透過限制多重共線性來提高建立良好預測模型的可能性。其中包括主成分分析和偏最小二乘（均在 JMP 中提供）以及廣義迴歸（在 JMP Pro 中作為擬合模型選項提供）。
請參閱如何：
- 執行主成分分析 (PCA)，透過限制變異性和減輕多重共線性，使用少量成分對一組資料進行建模
- 使用偏最小二乘法擬合基於因子的線性模型，即解釋變數 (Xs) 的線性組合
- 這些因子是透過嘗試最大化 X 與一個或多個反應 (Y) 之間的協方差的方式獲得的。
- PLS 利用 X 和 Y 之間的相關性來揭示潛在的潛在結構
- 在使用普通最小平方法 (OLS) 不能產生令人滿意的結果的情況下，包括當 X 變數多於觀測值時，PLS 表現良好；高度相關的 X 變數；大量的X變數；以及多個 Y 變數和許多 X 變數。
- 當預測變數數量超過觀測值時，可以使用 PLS
- PLS 廣泛應用於光譜學、化學計量學、基因組學、心理學、教育、經濟學、政治學和環境科學等領域的高維度資料建模。
- 了解如何將 JMP PLS 用於兩種可用的模型擬合演算法：非線性迭代偏最小二乘法 (NIPALS) 和「PLS 的統計啟發修改」(SIMPLS)
- 對於單一響應，兩種方法給出相同的模型；對於多個響應，存在細微差別
- PLS 使用 van der Voet T2 測試和交叉驗證來幫助您選擇要提取的最佳因子數。
- 解釋平均值根 PRESS（預測殘差平方和）圖，該圖顯示具有最低 PRESS 值的因子數量，該模型是您將獲得的資料較好模型中最少的一個
- 使用變異數重要性圖 (VIP) 尋找要刪除的因素
- 解釋百分比變化圖
- van der Voet T2 統計檢定以確定具有不同數量因子的模型是否與具有最小 PRESS 值的模型有顯著差異
- 常見的做法是提取 van der Voet 顯著性水準超過 0.10 的最小數量的因子
- 使用 JMP Pro 廣義回歸進階懲罰迴歸技術，該技術特別適合高度相關和/或非常態分佈的資料和變數選擇
- 建立 LASSO 模型、解釋結果並了解其一些限制。
- 建立彈性網路模型並解釋高度相關的數據，並了解 LASSO 的一些優勢
- 使用 JMP Pro 廣義回歸處理高維度光譜數據
- 檢查和解釋 PCA 模型驅動的多元控製圖、相關總和圖和特徵值的 PCA
- 檢查並解釋 PLS 結果
- 解釋彈性網絡廣義迴歸，包括廣義 R 平方
- 使用 JMP Pro 廣義回歸處理非常廣泛的數據並解釋結果
注意：隨附的 .jmpprj 檔案包含用於執行演示中分析的腳本。
Bill Worley @Bill_Worley和 Scott Allen @scott_allen在現場網路研討會上回答的問題：
問：他說 PCA 的首選數據是高和寬是什麼意思？
A：你可以把「高」資料想像成行多列少的資料表； 「寬」資料有很多列和較少的行（較少的觀察）。另一方面，當因子數量多於觀測值數量時，通常使用 PLS。
Q：如果您有高度相關的變量，並且其中一種演算法正在建議一個變量，您如何選擇保留哪個變量或不使用哪個變量？
答：方差膨脹因子 (VIF) 是一種找出哪些值高度相關的方法。 VIF 只是告訴您它們與其他變數的相關程度。您可以找到高度相關的因素，當刪除一個因素時，您將影響 VIF。然後使用多變量分析進一步了解哪些變數高度相關。看影片：
Q：在廣義迴歸中使用 BIC 比使用 AIC 更好嗎？
答：這取決於你的模型的目標。 BIC 比 AICc 對參數更多的模型進行懲罰。因此，它通常會導致模型參數較少。
Q：使用者是否可以選擇使用哪個模型而不是 JMP Selected 模型？
答：您可以執行模型比較並檢查最佳驗證或測試結果。您也可以使用工具 - 刪除彈性網路 Alph 和 JMP 透過三個選項向您展示三個模型中最好的一個。如果您有大量數據，運行這些可能需要一段時間。
Q：您將如何將這些技術用於時間序列資料？
答：時間序列資料最好使用 JMP 中的時間序列或 FDE 工具進行分析。請參閱有關時間序列的資訊和有關分析曲線資料的影片。
先前有關此主題的網路研討會回答的問題：
Q：Pred Formula Y1 是來自 PCA 回歸嗎？
答：是的，Y1和Y2的預測公式是透過主成分迴歸分析產生的。當您使用這些預測公式建立刻畫器時，您可以選取一個框，該框可讓您查看單獨的效果而不是主要成分。
Q：在 PCA 範例中消除變數的主要標準是什麼？
答：請參閱下面的影片以了解一種方法。
Q：在 PLS 中，是否有必要指定交互作用或變數之間的關係是否包含在基礎模型（例如 NIPALS）中？
答：對於 PLS，您必須指定要測試交互作用的模型效果或其他項目。在標準 JMP 中，您可以僅執行具有主效應的 PLS 分析。在 JMP Pro 中，您可以透過使用擬合模型中的 PLS 特性來執行具有其他模型效果的 PLS，例如交互作用或多項式。
Q：麩質資料集是否也與大量多重共線性相關？
答：是的。每個波長都依賴下一個波長，因此波長與波長之間存在著許多共線性。
Q：是否可以說 PLS 或廣義迴歸對於高度自相關的資料通常更優越，還是僅依賴資料集？我以為 PLS 比較好，但聽起來不一定。
答：這取決於具體情況，這可能在某種程度上取決於數據。兩者都給出了非常接近的好模型。
Q：下列哪一種建模選項最適合逆預測？
答：對於大量數據，您可能難以獲得正確的設定。所有選項都可以用於逆預測。
Q：您能否回顧一下如何將 PCA 公式儲存到表中。我只知道如何保存座標本身。
答：從紅色小三角中，將公式儲存到資料表。
Q：如果我使用 PLS 模型和 Prediction Profiler 進行最佳化，最佳化是否會考慮變數之間的相關性，或者如果開啟外推控制，是否會考慮變數之間的相關性？
答：在 PLS 中，您可以進行變數選擇，然後使用結果與重要變數建立模型。然後，使用 VIP 製作模型並重新運行。如果將這些模型保存到資料表中，它們很大並且包含所有變數。
Q：模型篩選有用嗎？
答：是的。這需要一些時間。選擇其他方法。請注意，選擇該選項後，它將通過 Elastic Net。它還將經歷嶺回歸，並且如果您有 K 折和交叉驗證，則需要時間。而且，在廣義迴歸和 PLS 模型篩選中，您可以新增 2 向交互作用，並且無論有或沒有 2 向交互作用，它都適合。
資源
