人們是否曾經使用 PLS 對歷史資料進行變數選擇，以找到作為 DOE 輸入的重要變數？我看過幾次 JMP 網路研討會，他們使用 Bootstrap 森林來查找 VIP 變量，通常隨後使用彈性網絡或逐步回歸來進一步縮小可能對未來 DOE 很重要的術語？
我很好奇是否有人在這個過程中使用 PLS 回歸 - 也許在 Bootstrap 森林之後，在進行 Elastic Net 等之前進一步識別重要或相關的變量，或者 Elastic net 保留/刪除相關變量集的事實是否否定了這樣做的必要性？
只是想知道是否有人在他們的過程中使用過它？我見過一些網路研討會，其中 PLS 用於挖掘生物過程數據？
預測模型和機器學習回覆：人們是否曾經使用 PLS 對歷史資料進行變數選擇，以找到作為 DOE 輸入的重要變數？你好@mjz5448 ，
與所有統計方法一樣，最簡單的答案是「視情況而定」。您說得對，事實上 Elastic Net 已經有效地執行了變數選擇，因此您可能不需要/不想在其基礎上應用 PLS - 另一個優點是 EN 中的模型係數可以直接解釋，因此您可以將預測變數與回應變數直接關聯起來。您還需要考慮 PLS 的目的，它主要用於產生預測模型，而不是解釋模型（儘管您可以這樣做，但由於所有因素的負載和線性組合而增加了複雜性），在選擇 DOE 因素的情況下，您想要嘗試使用更適合解釋與預測模型的方法。
希望這會有所幫助，我相信其他人也會有一些有價值的討論可以補充。
謝謝，
本
回覆：人們是否曾經使用 PLS 對歷史資料進行變數選擇，以找到作為 DOE 輸入的重要變數？幾年前，我在一家大型化學公司工作，該公司非常擅長在基材上塗覆材料（例如攝影膠片和紙張），我們一直使用 PLS 來幫助指導設計實驗，原因如下：
1. 生產過程中運行次數極少，投入因素眾多。考慮廣泛而短的資料集。為 PLS 量身訂做。
2. 因素間存在大量多重共線性。
3. 真正的工藝流程理解已經失傳了…有些產品我們已經生產了幾十年，而製造過程中通常的口頭禪是「像上次一樣生產」…因為我們真的不知道這一切是如何運作的。
4.基於懲罰迴歸/樹的變數選擇方法尚未在軟體中普及。
5. 推動整個努力的動力是“昨晚當我們試圖製造（填空）時，物理、化學或生物的魔力並沒有結合在一起。我們不知道根本原因。”
因此，我們使用 PLS 嘗試識別關鍵因素，然後進入中試/小規模設施運行設計實驗，以此作為了解流程的一種手段，以便我們能夠識別系統故障模式的根本原因。與我共事的兩位工程師說過一些話，引起了我的共鳴（作為許多此類問題解決團隊的統計員）……“有時候，知道‘不是’和知道‘是’一樣有價值。”另一位工程師說：“除非你能打開和關閉故障模式……否則你無法知道根本原因。”
簡而言之，PLS 和 DOE 的結合使我們得到了想要的結果。希望這有幫助嗎？
回覆：人們是否曾經使用 PLS 對歷史資料進行變數選擇，以找到作為 DOE 輸入的重要變數？你好@mjz5448 ，
我完全同意@P_Bartell關於使用 PLS 的觀點，主要是在涉及輸入和輸出之間的共線性/相關性的情況，其中輸入變數的數量高於實驗的數量。 偏最小平方法用於開發利用 Y 和 X 之間的相關性的模型。
PLS 通常是化學計量學中用於分析光譜數據的模型，因為您有大量相關的 X（例如每個波長的強度）和少量的觀察/實驗來預測一些反應。在這種情況下，您可以利用 X 之間的相關性，透過使用 PLS（採用適當的驗證和測試方法）來獲得良好的預測模型。這種模型類型可以具有解釋性/可解讀性，並且在化學計量學的背景下，您可以使用變數重要性圖和其他圖表來識別與特定化學功能/基團/分子相關的重要波長帶/區域。此平台提供的 Profiler 的使用也有助於以互動方式視覺化變數的重要性，您也可以透過「 評估變數重要性」選項在 Profiler 中計算Sobol 敏感度指數。
任何建模方法的使用都應與先前知識的程度、目標和實驗環境相聯繫。
在非常早期的篩選階段，由於先驗知識很少且實驗運行很少，目標通常是識別重要影響，而不管影響估計的精確度如何（然後可以透過 DoE 收集資訊資料來確認和精確影響）。在這種情況下， 懲罰回歸（Lasso、Ridge、Elastic Net、Dantzig 選擇器）通常有助於識別重要效應，但代價是增加效應估計的偏差。請注意，不同懲罰方法的使用取決於您對效應稀疏性的假設：Lasso 將透過強制對相關變數進行 0 的估計來進行變數選擇，如果您預計在大量候選變數中只有少數重要的預測變量，這可能會很好。一種不那麼「激進」的方法是 Ridge，即在不對 0 進行任何估計的情況下減小相關效應的大小（在多個相關預測因子具有相似重要性的情況下），或者 Elastic Net 估計，它結合了 Lasso 和 Ridge 懲罰。
如果您有更多的觀察/實驗，您可以嘗試其他不依賴偏見/懲罰的特徵選擇方法，例如隨機森林或將其用作預測篩選選項，透過使用特徵重要性（列貢獻）來識別最重要的/活躍的特徵。您也可以嘗試使用預測器選擇助理插件，該插件基於使用 Boruta 特徵選擇方法和隨機森林的預測器篩選的升級版本來幫助選擇變數。
您也可以查看以下主題中的相關對話：
具有相關變數的多元迴歸
最適合特徵選擇的 JMP 平台是？
JMP 中是否存在與分類變數的多重共線性相當的現象？
我的建議是測試、比較並（最終）結合上述不同的建模方法（以及更多方法），並比較所獲得的模型以查看包含哪些術語以及模型的相似/差異。這可以極大地幫助您了解最重要的事情。
希望這個答案能對你有幫助，
回覆：人們是否曾經使用 PLS 對歷史資料進行變數選擇，以找到作為 DOE 輸入的重要變數？沒有一種正確的工具，也沒有一種正確的工具使用順序，能夠為所有人提供洞察。毫無疑問，我們每個人都會根據具體情況，選擇最有效或最高效的工具。無論如何，答案並不在於工具本身。關鍵在於批判性思維，而批判性思考需要反覆練習。
可以從基於科學或工程的假設入手（例如熱力學、熵）。如果沒有假設，那麼「資料探勘」或許會有所幫助。我經常使用資料探勘。基本上，我透過查看數據來發現模式（或尋找模式的缺失）。當然，最好用圖形的方式。
有許多迴歸方法試圖量化相關關係（例如，OLS、逐步迴歸、PCR、嶺迴歸、PCA、PLS 等）。如果這些方法要求研究者解釋結果，這將非常有用（例如，為什麼這個因素看起來顯著，或者為什麼這個因素不顯著）。這可以作為假設的提出（或許可以在設計實驗中進行驗證）。
只是使用歷史或觀察資料時的一些警告。
1. 如果某個因素在過去某個時間點（無論以何種方式）被認為是關鍵因素，那麼可能會有一些控制措施，使其無法發生太大變化。對該因素的分析可能會表明，在任何迴歸分析中，它都不顯著（它變化不大）。
2. 可能存在隱藏的混雜因素（資料集中未識別或標記的 x）。
3.能夠模擬發生的事情並不代表我們能夠預測會發生什麼事。
4. 在沒有理解的情況下，將模型外推到收集到的 x 的範圍之外，可能會危險.
5.使用歷史資料進行迴歸分析時沒有考慮取得資料的背景（例如，您知道測量不確定度嗎？）
6.很容易受到「壞」數據點的影響。
