761497_zh-TW

liliconcom

SVEM：¿

我正在使用 DoE 混合物（3 個成分）以及過程因子和反應變數（定量）進行預測模型研究。我打算應用SVEM，但我有一個問題，使用神經網路或Lasso時它取決於什麼？

謝謝您的回答。

進階統計建模自動化和腳本編寫基礎資料分析與建模消費者與市場研究內容組織資料存取資料混合與清理數據探索和視覺化實驗設計大規模客製化預測建模和機器學習品質和工藝工程可靠度分析分享和交流成果回覆：SVEM：¿ 神經網路還是 Lasso？

嗨@ChristianDoE ，

對於美國能源部的數據，出於不同的原因，我想說這兩個選項都不是我的第一選擇。

神經網路和套索（來自廣義迴歸）是兩種截然不同的分析技術：

• 神經網路是複雜的機器學習模型，能夠透過足夠的層和神經元來逼近任何函數（請參閱通用逼近定理： https://en.m.wikipedia.org/wiki/Universal_approximation_theorem ），這需要使用適當數量的層進行仔細建構和神經元，更重要的是，一個好的驗證策略。由於神經網路在任何函數的建模和逼近方面都可以非常靈活，因此如果沒有良好的驗證策略，您很快就會傾向於過度擬合，並開始對資料中的雜訊進行建模。也強烈建議使用測試集（或 DOE 設計空間中的測試點/新點），以確保 NN 的模型能夠很好地推廣到新的未知資料點。關於神經網路及其謹慎使用的更多解釋請參見先前的文章：
  神經網路同一層節點之間的區別？
  模型篩選：神經網路/K折交叉驗證
  幫助進行模型比較：DOE 與 ANN 提升
  
  
• 廣義迴歸中的套索是迴歸模型中的一種懲罰技術，在變數/因素之間可能存在高共線性的大型資料集的背景下和/或當變數多於觀察值時非常有用，因為它有助於進行特徵/變量選擇：套索有助於從相關變量中選擇最重要的變量，並將未選擇的相關變量的係數縮小到0（這就是為什麼它在特徵選擇的背景下非常有用）。
  此處查看更多資訊： 廣義回歸人格概述 (jmp.com)

在使用DoE 資料的情況下，如果您使用了自訂設計平台或傳統混合設計，您將擁有一個小型但精心規劃的資料集，並帶有假設模型，或者如果您創建了一個空間，則您的設計空間中的點具有均勻的重新分區-填充設計。

• 對於自訂/傳統混合設計，由於模型已經在設計創建時假設，我不會從 Lasso、SVEM 或任何複雜的技術開始。使用神經網路也不合適，因為點的重新分配是基於模型的，並且可能無法提供設計空間的足夠均勻/良好的覆蓋。因此，每個因素的等級可能不足以使用神經網路等高效能且複雜的插值模型。
  從假設模型和「傳統」迴歸（標準最小平方法）中包含的模型項開始，並視覺化/分析您的模型擬合。
  「實際與預測」的情節怎麼樣？殘差如何？ ETC...
  如果您發現您的模型可能不夠複雜，無法捕捉 3 個混合變數之間的聯繫，請嘗試增強您的設計以包含更高階項。考慮到混合設計強調預測性，因此最好根據 p 值以外的其他標準進行模型細化，例如最大似然、RMSE、AICc 或 BIC 等資訊標準…
  關於此主題的一些帖子： 已解決：回复：使用逐步回歸分析混合 DOE - JMP 用戶社區
  已解決：Scheffe 三次混合和 p 值 - JMP 用戶社區
  如果您想使用廣義回歸平台，可能還有其他更適合的估計方法，例如“修剪前向選擇”（使用AICc/BIC 驗證方法）、“兩階段前向選擇”或最終的“最佳子集” （僅當您的因素數量有限，因為它將測試許多具有主效應的模型以及高階項的許多組合）。
  
  
• 透過空間填充設計，在考慮神經網路之前，您可以（並且應該）嘗試許多機器學習方法。通常， 隨機森林和支援向量機是有趣的 ML 演算法：
  它們對小數據集具有良好的預測性能，不太容易過度擬合（更簡單），對異常值相當穩健，具有良好的泛化性能，處理非線性情況，需要很少的超參數調整（隨機森林在預設設定下表現非常好，您可以使用合併的選項“調整設計”輕鬆微調 SVM，更容易解釋等等...
  隨機森林（在 JMP 中稱為 Bootstrap 森林）為模型比較提供了良好的基準，並且通常是測試的預設選擇。 LinkedIn 上關於這兩種 DoE 資料集演算法的個人貼文：
  - 隨機森林： https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
  - 支援向量機： https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB

我希望這個（長）答案能幫助你，