RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題嗨,大家好,
目前,我們的製程已得到很好的表徵,但我們現在正在消除起始材料中潛在的製程可變性的風險。 目的是最大限度地提高純度,並最大限度地提高該單元操作的回收率。
我們知道有 2 個參數是重要因素,因為它們已在先前的 DoE 中建模,並且只是眾所周知的參數 (B、C)。 第三個參數 (A) 正在研究中,因為它在理論上可能會產生影響。 這是材料的起始純度,它可以是可變的(而且我們無法完全控制)。
透過偶然的實驗,我已經證明了在很寬的 A 範圍內(~30-50% 起始純度)的成功純化。 我想調查失敗點在哪裡(起始原料純度是多少時,是否無法達到目標最終純度)。 我還想圍繞此充分描述我們的設計空間,以便我們可以了解 B 和 C 的最佳條件是否隨著 A 的變化而變化。
我執行了一個 RSM 模型,該模型在其正常測試範圍內的範圍為 B 和 C,A 的純度範圍為約 5% 到約 85% 純度。 它確實將 A 確定為一個重要參數,但總體而言,該模型是從歷史資料向下轉移的。 例如,在簡化模型後,它預測到操作結束時 30% 的材料將達到約 60% 的純度,但我們有多個數據點表明這一數字被低估了,應該接近 85%。
這項研究的執行出現了一個問題。 目標A條件如下:5%、40%、85%。 執行後發現實際測試的中間條件接近55%,所以這是效能錯誤。 這可能是導致問題的原因嗎?
整體而言,模型適配度非常好,RSME 較低。 低純度條件絕對是一種壓力測試,而不是我們期望在生產中看到的情況,但探索廣闊的工藝理解空間似乎是有益的。 我的理論是發生的實驗錯誤導致了問題,或者範圍太寬,並且反覆努力純化的較低 A 條件降低了模型。
1.) 如何修復此 DOE 以提高準確性?
我可以增加運行並將數據集集中在我們期望的“MFG 範圍”中
我可以添加一個三階項來評估 A 的更多條件,而不僅僅是 3 個條件。
2.) 未來如何避免模型不準確?
如果我沒有歷史數據,我就不會質疑這個數據集,因為它從表面上看是正確的。
實驗設計視窗回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題謝謝您的詳細描述。 最近的 RSM 實驗中的模型殘差分析顯示了什麼?
此外,是否有任何 RSM 運行與先前的實驗或測試相同,因此可以作為對照?
回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題^ 抱歉,我的電腦出現故障,我不小心接受了您的評論作為解決方案...
回答您的問題:
以下是參數 A 的殘差圖:


技術上沒有完全控制的條件。 之前的 DoE 是使用約 45% 的起始材料進行的,本次 RSM 中最接近的是 55%。
回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題澄清一下,「A」不是你能控制的?是來自供應商的「原料」嗎?如果是這樣,在我看來,您應該開發一個混合模型,其中 A 作為模型中的隨機變數(協變數)。
附加想法:
1. 您是否評估過 A 和純度的測量系統?
2. 當你在先前的實驗中研究B&C時,A在哪裡(例如,它處於什麼水平)?如果它與 B 和/或 C 相互作用,那麼您先前的模型將是有條件的。
3.我不明白你的意思“修復這個 DOE 以提高準確性」?我猜你想改進模型,能源部是達到目的的手段。
4. 模型是近似值,希望有用。 它們可用於解釋或預測目的。他們的預測能力取決於你的研究(例如能源部的)對未來的代表性。 從設計上來說,能源部的推理空間很窄。這是因為您正在刪除/大幅減少時間序列,從而防止 DOE 中的因素變化。為了克服這個障礙,您應該誇大實驗中的噪聲,並使用適當的策略來處理噪音(例如,重複、重複、區塊、裂區、協變量等)
回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題感謝您的答覆!
澄清一下,「A」不是你能控制的?是來自供應商的「原料」嗎?如果是這樣,在我看來,您應該開發一個混合模型,其中 A 作為模型中的隨機變數(協變數)。
「A」在 MFG 中是不可控的,但在本實驗中是可控的。 我將兩個高純度和低純度的起始材料組合在一起,儘管我的中間目標未達到純度目標(我使用了加權平均方法)。
附加想法:
1. 您是否評估過 A 和純度的測量系統?
這裡的純度測量非常精確。 我們通常可以估計在 5% 以內,通常比較準確,但這是保守的。
2. 當你在先前的實驗中研究B&C時,A在哪裡(例如,它處於什麼水平)?如果它與 B 和/或 C 相互作用,那麼您先前的模型將是有條件的。
美國能源部先前的實驗中的「A」純度維持在 40-45% 左右。 規模化運行率低至 30%,對最終純度沒有明顯影響。
3.我不明白你的意思“修復這個 DOE 以提高準確性」?我猜你想改進模型,能源部是達到目的的手段。
正確,我的術語不正確。 我該如何改進模型,以及為什麼它不準確的理論是什麼。
4. 模型是近似值,希望有用。 它們可用於解釋或預測目的。他們的預測能力取決於你的研究(例如能源部的)對未來的代表性。 從設計上來說,能源部的推理空間很窄。這是因為您正在刪除/大幅減少時間序列,從而防止 DOE 中的因素變化。為了克服這個障礙,您應該誇大實驗中的噪聲,並使用適當的策略來處理噪音(例如,重複、重複、區塊、裂區、協變量等)
我完全理解這一點,問題是這個模型表明“A”是一個已被證明不是的空間中的重要因素。 我試著確定這是否是我在能源部設計上做錯的事情,或是實驗性的,等等。
回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題「A」在 MFG 中是不可控的,但在本實驗中是可控的。 我將兩個高純度和低純度的起始材料組合在一起,儘管我的中間目標未達到純度目標(我使用了加權平均方法)。
我知道你在實驗過程中管理了A,這不是問題。問題是,你以後願意去管理A嗎? 我所說的願意是指;你有能力、有錢、有意願管理A嗎?如果不是,A 就是噪音。 我不建議將 A 視為設計因素。
這裡的純度測量非常精確。 我們通常可以估計在 5% 以內,通常比較準確,但這是保守的。
我不確定我是否理解你的術語。準確度和精確度之間存在差異,但您似乎可以互換使用它們?準確度是衡量測量值與被測量量的真實值或可接受值(例如參考標準)的接近程度的量度。 精確度是衡量一系列測量結果彼此接近程度的指標(即重複性和再現性)。但無論如何,你建議測量不是問題。
美國能源部先前的實驗中的「A」純度維持在 40-45% 左右。 規模化運行率低至 30%,對最終純度沒有明顯影響。
這是一個潛在的問題。由於 A 是恆定的,在先前的實驗中,沒有估計 A 與其他因素之間的潛在交互作用。此外,您的模型還取決於 A 的純度等級恆定在 40-45%。如果 A 發生變化,我們不知道您的模型將如何執行。
我完全理解這一點,問題是這個模型表明“A”是一個已被證明不是的空間中的重要因素。 我試著確定這是否是我在能源部設計上做錯的事情,或是實驗性的,等等
我不確定我是否遵循您的邏輯...您如何「證明」A 在設計空間中不重要?如果你已經知道 A 是微不足道的,那你為什麼要對其進行實驗呢?無論您進行了適當的設計還是實驗中存在其他問題,我只能推測。如果您已經有了 B 和 C 的模型,並且只想將 A 添加到模型中,我不確定您為什麼要運行響應曲麵類型的設計。此外,對於最佳化類型的設計,統計顯著性較不重要。 您應該已經建立了模型,現在您只需選擇模型中因素的水平來優化響應。 某種等高線映射是典型的。 同樣,如果 A 確實是噪聲,則不應將其分析和解釋為設計因素(也許作為協變量)。
回覆:RSM 模型不準確(與歷史資料不符) - 如何修復以及哪裡出了問題你好@MetaLizard62080
我將採用與其他答案不同的方法來解決此問題,重點是實驗方法和數據品質 - 如果我理解正確,您的中間條件是 55%,而不是預期的 40%? 如果是這樣,這可能是後退一步並評估您對 A 的控制準確性的情況 - 您需要確定您能夠控制在設計中選擇的 5%、40% 和 85%(如果您有)固有的可變性這將增加設計的不確定性。 您對每個點執行了多少次重複?
您使用的建模類型是什麼? 不幸的是,標準最小二乘回歸的局限性在於它對因子範圍內的較大變化和異常值很敏感(這通常意味著您錯過了數據中的“微妙”變化,可能導致您在此處描述的低估)。我也遇到過類似的問題,即RSM 中的預測模型與我對理論/歷史數據的理解不符,這歸結為我的數據集中的異常值- 為了解決這個問題,我查看了我的數據點的Cooks D 影響分數 -一個好的經驗法則是點的值 > 4/n 才能找到異常值。 另一個選擇是探索不同的預測建模形式,例如 GenReg。
另一個考慮因素是,A 在您先前的實驗中是否保持不變,而您現在正在改變它 - A 的品質/類型是否發生了變化(上一個實驗與本次實驗之間的時間間隔是多少? 是否還存在與 A 相關的潛在「隱藏因素」對流程產生影響?