當能源部中的一個因素遠遠超過其他因素時會發生什麼?嗨,大家好,
我制定了一個 DoE,它有一個主要目標(穩定性)和一個次要目標(生產力)。我之前曾用初始 DoE 來描述生產力。根據這些數據開發了一個很棒的模型。對於這個新的 DoE,我添加了一個以前沒有考慮到的額外因素。我知道這個因素會對生產力產生很大影響,因為它是一個明顯的主要因素,但完全不確定它對穩定性的影響。
穩定性模型恢復得很好。這種生產力模式是災難性的。在模型縮減結束時,Adj R^2 幾乎不存在,剩下的項目是我添加的新因子。 (外部學生化殘差未偵測到異常值)。
所以,我的問題是,建模能力差是否可以用以下事實來解釋:與其他因素相比,主要因素的影響要大得多,而其他影響基本上無法檢測到?
實驗設計回覆:當能源部中的一個因素遠遠超過其他因素時會發生什麼?嗨@MetaLizard62080 ,
如果沒有更多的上下文和精確度來了解這個因素的重要性(實際效果大小、統計顯著性,兩者?)、您創建的設計以及您分析和完善模型的方式,那麼嘗試幫助您是非常複雜的。
如果您可以比較最初成功的 DoE 生產力與以下因素之間的變化,您可能已經有了一些想法:因素?水平?設計 ?型號選擇?目標?用於調整/細化的模型指標 ? ……
然而,除了您提出的之外,這裡還有一些反思、問題和可能的解釋:
- 設計定義 :
- 根據因素範圍差異以及特定因素對反應的影響,與其他因素相比,您可能放大了該因素的重要性/影響大小。您可以嘗試增強您的設計並減小該因素的範圍(和/或擴大其他因素的範圍),以減少有關該因素的反應的可變性(和/或增加有關其他因素的反應的可變性)。
- 根據您的目標(因素篩選、實驗空間探索、預測…),您可能會選擇不同的設計、不同的樣本量、重複運行…您的樣本量是否足以滿足您想要檢測的差異對於其他因素?所選的設計是否適合您的目標?
- 噪音處理:你的實驗有「噪音」嗎?如果是,您是否使用策略來識別和處理來自不同來源的噪音:重複性、再現性、噪音因素、外部影響等......?
- 這個新的 DoE 是「從頭開始」創建的,還是您使用增強功能從歷史資料資訊中受益?
- 模型建構、細化 和選擇:
- 您提到減少後,調整後的 R² 非常低。您與模型建置和選擇相關的目標是什麼?您使用哪些指標? 它們與您的目標相關嗎?在縮減之前,您的完整假設模型的指標表現為何?您根據哪些資訊/基礎/指標來簡化模型?
根據您的目標(可解釋性與可預測性或兩者兼而有之)和您感興趣的相關指標(例如,針對可解釋性調整R²/R²、針對預測性的RMSE 以及兩者的資訊標準),您可能會得到不同的模型。您可以嘗試建立多個模型,特別是不要僅依賴統計顯著性和 p 值(您可以閱讀有關此主題的討論統計顯著性)。您也可以根據領域專業知識來識別和評估模型中因素/術語的效應大小/實際意義是否重要。
- 請記住,因素的重要性和效果大小取決於進入模型的因素。因此,根據您「簡化」模型的方式以及刪除哪些項,您可以完全變更 p 值和效應大小估計。您可以在此處閱讀更多內容 刪除不重要因素後,重要因素變得不重要
- 來自 DoE 的模型也依賴效應稀疏性、效應遺傳和效應層次原則。您可以嘗試驗證/評估您正在建立的模型是否遵守這些原則。請參閱是否可能有一個因子在響應曲面模型中不顯著,但同一因子的二次項卻顯著?
- 你檢查過殘差嗎?是否存在任何可能表明違反迴歸假設的模式( 迴歸模型假設 | 統計簡介 | JMP )?你們有失擬測試嗎?反應是否與涵蓋大且不同數量級的預測性相關?根據您對這些問題的回答,模型建立可能需要檢查和修正某些內容,以確保滿足迴歸模型假設(或如果您可能需要新增/刪除項目的不同迴歸模型,則需要進行以下轉換)回應、廣義迴歸模型等...)。請參閱RSM 擬合因子的問題
- 結果與領域專家相關嗎?
最後,您的模型是由您選擇的設計驅動的,因此如果您不了解您如何以及為何為您的主題選擇和創建設計,就很難幫助您了解模型。
任何顯示您所面臨情況的玩具資料集都可能有助於更精確的跟進。
希望第一個討論的開始可以對您有幫助,
回覆:當能源部中的一個因素遠遠超過其他因素時會發生什麼?正如 Victor 所指出的那樣,根本沒有足夠的上下文來適當地回應您的查詢。這是我的想法/問題。你複製了你的第一個實驗嗎?您在第一個實驗中加入的因素是什麼? (例如,保持不變或隨機變化)您如何衡量穩定性?研究過測量系統嗎?穩定性通常是您在運行實驗時放棄的特徵之一,因為您正在截斷時間序列,而穩定性需要時間序列。
回想起來,這就是為什麼你從更廣泛的推理空間開始(例如,在研究中包含更多的設計因素和噪音)。你的第一個實驗的結果是有條件的。如果推理空間、設計因素或實驗過程中變化的雜訊發生變化,結果也可能會改變。
你的想法不一定是錯的。它可能會對分析產生“壓倒性影響”,並使研究中的其他顯著影響變得難以發現。我們嘗試透過將所有因素設定為粗體來克服這個問題。如果一個因素的水平設定比其他因素大得多,則可以看出該因素確實比其他因素重要得多。