建構相關高維度資料的預測模型
影片於2024年8月更新。
多重共線性是指用於估計因變數的看似獨立的變數之間存在高度相關性，以至於無法確定每個自變數對因變數變異的貢獻。如果資料集中存在高度多重共線性，除非使用一些技術來緩解這個問題，否則您建立的任何模型幾乎都必然會過度擬合。有幾種建模技術可以透過限制多重共線性來提高建立良好預測模型的可能性。這些技術包括主成分分析和偏最小二乘法（JMP 中均提供），以及廣義迴歸（JMP Pro 中以「擬合模型」選項提供）。
看看如何：
- 執行主成分分析（PCA），利用少量成分對一組資料進行建模，從而限制變異性並減輕多重共線性。
- 使用偏最小平方法擬合基於因子的線性模型，即解釋變數（X）的線性組合。
- 這些因素的獲取方式旨在最大化 X 與反應（Y）之間的協方差。
- PLS利用X和Y之間的相關性來揭示潛在的結構。
- 在一般最小平方法 (OLS) 無法產生令人滿意的結果的情況下，PLS 表現良好，包括 X 變數多於觀測值；X 變數高度相關；X 變數數量眾多；以及 Y 變數和 X 變數數量較多。
- 當預測變數的數量多於觀測變數時，可以使用偏最小平方法（PLS）。
- PLS 被廣泛用於光譜學、化學計量學、基因組學、心理學、教育學、經濟學、政治學和環境科學等領域的高維度資料建模。
- 請參閱如何使用 JMP PLS，其中提供了兩種模型擬合演算法：非線性迭代偏最小二乘法 (NIPALS) 和「受統計啟發的 PLS 改進法」(SIMPLS)。
- 對於單一反應變量，兩種方法得到的模型相同；對於多個反應變量，則存在細微差異。
- PLS 使用 van der Voet T2 檢定和交叉驗證來幫助您選擇要提取的最佳因子數。
- 解讀均方根 PRESS（預測殘差平方和）圖，該圖顯示了 PRESS 值最低的因子數量，該模型是針對該數據所能得到的最優模型中性能最差的。
- 使用變異數重要性圖 (VIP) 來確定需要移除的因子。
- 解讀百分比變化圖
- van der Voet T2 統計量用於檢定具有不同因子數的模型是否與 PRESS 值最小的模型有顯著差異。
- 常見的做法是提取范德沃特顯著水準大於 0.10 的最小因子數。
- 使用 JMP Pro 廣義迴歸的進階懲罰迴歸技術，這些技術特別適用於高度相關和/或非常態分佈的資料以及變數選擇。
- 建立 LASSO 模型，解釋結果並了解其一些限制。
- 建立彈性網路模型並解釋其在高相關性資料下的應用，以了解其相對於 LASSO 的一些優勢。
- 使用 JMP Pro 的廣義回歸功能處理高維光譜數據
- 檢查並解釋基於主成分分析模型的多變量控製圖、相關性主成分分析總和圖和特徵值
- 檢查並解釋PLS結果
- 解釋彈性網絡廣義迴歸，包括廣義R平方
- 使用 JMP Pro 的廣義回歸功能處理非常大的資料集並解釋結果
注意：附件中的 .jmpprj 檔案包含用於執行演示分析的腳本。
在網路研討會直播中，Bill Worley ( @Bill_Worley ) 和 Scott Allen (@scott_allen ) 回答了以下問題：
問：他說PCA的理想數據是又高又寬，這是什麼意思？
答：你可以把「高」資料想像成行數多列數少的資料表；「寬」資料則指列數多行數少（觀測值較少）的資料。而PLS則常用於因子數多於觀測值數的情況。
問：如果變數之間高度相關，而某個演算法建議使用其中一個變數而不是另一個，那麼如何選擇保留哪個變數或不使用哪個變數？
答：方差膨脹因子 (VIF) 是一種用於尋找高度相關變數的方法。 VIF 可以指示變數與其他變數之間的相關性程度。您可以找到高度相關的變量，移除其中一個變數會影響 VIF 值。然後，您可以使用多元分析來進一步了解哪些變數高度相關。
Q：在廣義迴歸中，使用BIC是否比AIC更好？
答：這取決於你的模型目標。 BIC 對參數較多的模型懲罰力度比 AICc 更大，因此通常會得到參數較少的模型。
Q：除了 JMP 選擇的模型之外，使用者是否可以選擇使用其他模型？
答：您可以執行模型比較，並查看最佳的驗證或測試結果。您還可以使用一些工具，例如“移除 Elastic Net Alpha”，JMP 會提供三種選項，並向您展示三個型號中的最佳方案。如果您有大量數據，運行這些工具可能需要一些時間。
Q：您會如何將這些技術應用於時間序列資料？
答：時間序列資料最好使用 JMP 中的時間序列工具或 FDE 工具進行分析。請參閱相關資訊。 時間序列 以及一段分析視頻 曲線數據。
先前關於此主題的網路研討會中解答的問題：
Q：Pred Formula Y1 是否來自 PCA 回歸？
答：是的，Y1 和 Y2 的預測公式是透過主成分迴歸分析產生的。當您使用這些預測公式建立分析器時，您可以勾選一個複選框，以便查看各個因素的影響，而不是主成分的影響。
問：在PLS中，是否需要指定交互作用，還是變數之間的關係已包含在底層模型中（例如，NIPALS）？
答：對於偏最小平方法 (PLS) 分析，您必須指定要檢驗的模型效應，例如交互作用或其他項目。在標準版 JMP 中，您只能執行包含主效果的 PLS 分析。在 JMP Pro 中，您可以使用「擬合模型」中的 PLS 功能，執行包含其他模型效應（例如交互作用或多項式）的 PLS 分析。
Q：麩質資料集是否也存在大量多重共線性問題？
答：是的。每個波長都依賴下一個波長，因此波長之間存在大量的共線性。
Q：對於高度自相關的數據，PLS 和廣義迴歸哪一個通常比較優？還是說取決於具體的數據集？我之前覺得 PLS 比較好，但現在看來並非如此。
答：這取決於具體情況，而具體情況又在一定程度上取決於數據。兩者給出的模型都很好，而且非常接近。
Q：哪種建模方法最適合反向預測？
答：如果資料量很大，可能很難找到合適的設定。所有選項對於反向預測都是可以接受的。
Q：您能否詳細說明如何將PCA公式儲存到表格中？我只知道如何保存座標本身。
A：點選紅色三角形，將公式儲存到資料表。
Q：如果我使用 PLS 模型和 Prediction Profiler 進行最佳化，最佳化過程是否會考慮變數之間的相關性？或者，如果啟用外推控制，變數之間的相關性是否會被處理？
答：在偏最小平方法（PLS）中，您可以進行變數選擇，然後使用選擇結果建立包含重要變數的模型。之後，使用“使用重要變數建立模型”並重新運行。如果您將這些模型保存到資料表中，它們會非常大，並且包含所有變數。
Q：模型篩選有用嗎？
答：是的，這需要一些時間。請選擇“其他方法”。請注意，選擇此選項後，模型將使用彈性網路進行分析。此外，如果使用 K 折交叉驗證，模型也會使用嶺迴歸，這將耗費更多時間。另外，在廣義迴歸和 PLS 模型篩選中，您可以新增雙向交互項，模型將分別在包含和不包含雙向交互項的情況下進行擬合。
gail_massari_1-1731005860636.jpeg
資源
