最終螢幕設計 (DSD) 模型確認大家好，
我設計了一個包含以下資訊的 DSD：
- 設計：7 個連續因素和 1 個分類因素，22 次運行
- 功效和相關性設計評估：非常好
- 透過 Fit Definitive Screening 擬合模型：非常好
- RMSE = 0.2803，RSq = 0.997，P值<0.001)
- 失擬：無（F 比 191，機率 > F = 0.0561）
- 殘差和學生化殘差都很好
- 模型結構：
- 包含 5 個主因子、4 個二次因子和 1 個交互因子
- 模型確認：嘗試幾次運行（點）以達到最大合意性
由於資源限制，我們可以執行 5 到 10 次確認運行。
請指教：
- 差異的潛在原因是欠擬合還是過度擬合？
- 改進/最佳化模型的方法或程序
謝謝。
實驗設計回复：最終屏幕設計（DSD）模型確認你好@P_Bartell ,
你的評論很有啟發性。 我真的很感謝你指出DSD 首先是篩選設計。 是的，這是人們想要從中獲得更多收益之前的主要目標。
耦合與@馬克貝利關於仿真軟件的確定，我要質疑準確預測模型的必要性，而我們現在從DSD知道了方向，可以從仿真軟件中得到準確的答案。
謝謝你這麼愉快的寫作。 享受你的假期。
回复：最終屏幕設計（DSD）模型確認好吧……我無法抗拒。 我一直在旁觀這個話題……但現在我情不自禁了。@禪車您在上一篇文章中提出的問題是本文的核心。 DSD 首先是篩選設計。 用於預測目的的 DOE 是完全不同的東西。 我對 DOE 從業者最討厭的一個問題是，他們從一個實際問題開始，該問題從根本上說是一組響應的優化目標……然後以某種方式忘記了通過歸納推理進行順序實驗的可靠方法。 George Box 和其他人多年來一直在討論這個問題。 這是進行的方式。 這是所有篩選設計與其他更擅長預測的設計之間差異的核心。
還給@statman之前關於“噪音”的觀點。 系統未來運行中的噪聲會以各種形式、形狀和大小出現。 許多無法構建到設計的實驗中。 例如，當我在工業界工作時，生產系統經常會因重大維護和資本升級而關閉。 經驗法則是‘你永遠不想在資本關閉後成為第一個使用塗層機的人。 根據已經發生的過程變化，你認為你理解的物理和化學的魔力現在可能不再適用。 在升級發生之前，您將如何將主要的資本系統升級構建到 DOE 中？ 不實用，做不到。
因此，如果基於 DOE 的模型的預測能力在未來分崩離析……為什麼會有人感到驚訝？ 只是意味著需要做更多的工作才能完全理解這個過程。
吐槽完了 感謝您閱讀到這裡。
回复：最終屏幕設計（DSD）模型確認標記，
有很多因素可以影響我們要控制的響應。 我們想確定哪些是主要貢獻者。 通過工程經驗，我們能夠將其縮小為八個因素。 DOE 的目的是進一步縮小範圍並獲得有關如何改善響應的實用指導。 為此，我認為 DSD 做得很好。
我嘗試了兩件事：
1) 在 DSD 平台內，我刪除了一些不那麼重要的術語，並將模型從 5 個 ME、4 個二次方程和 1 個交互項減少到 4 個 ME、1 個二次方程和 1 個交互項。 我能夠得到更理想的確認結果。
2) 我只是將 5 次確認運行中的 4 次添加到原始 DSD 表，並使用 JMP 分析：擬合模型：標準最小二乘到與 1) 相同的設置（4 個 ME，1 個二次和 1 個交互）。 我還能夠使用剩餘的確認運行數據獲得更理想的確認結果。
Question: 我可以說篩選有效因子和生成預測模型是兩個東西，即後者可能是其他原因，比如沒有足夠的數據（runs）來擬合模型，但是篩選的結果仍然是合理和適用的？
你關於空間填充設計的觀點非常有趣。 我會調查它並在幾天后回來。
謝謝，節日快樂！
回复：最終屏幕設計（DSD）模型確認嗨斯塔特曼，
同意。 我曾經是田口的粉絲，羨慕和他有直接互動的朋友。 該方法對提高許多行業的質量有著深遠的貢獻。
感謝您的幫助。 請隨時繼續輸入。
回复：最終屏幕設計（DSD）模型確認順便說一句，我並不是在譴責田口博士的想法。 多年前，我有幸在東京與他一起教書。 我發現他關於應用統計方法的想法非常有趣，尤其是他關於創建適當響應變量的想法。 一個非常工程方法！
正如我已經評論過的，我仍然不確定我是否了解您的情況。 我知道擁有 99% 的 R 方幾乎意味著你使用的模型解釋了手頭數據集中約 99% 的變化。 它與您的模型是否對預測有用沒有關係。
回复：最終屏幕設計（DSD）模型確認嗨斯塔特曼，
對於每次運行，我們需要手動構建一個 CAD 模型，這需要時間才能運行模擬，這也需要時間。 一開始，如果運行 FF DOE 會佔用太多資源。 第一次運行 DSD 有助於將其減少到 8 個項（5 個 ME、4 個二次方和 1 個交互項）。 也許我可以進一步削減它以在 4 個 ME 上運行 FF。
我對噪音的理解來自田口方法。 從現在開始我會接受你的。
我們確實在開始時花時間識別潛在的顯著變量以確定因子水平。
DSD 旨在對功率和別名進行良好的評估。 然後我們研究了 DOE 的結果，並確定它確定了正確的效果顯著性。
正如我提到的，我在 Fit Definitive Screening 之後直接運行模型並獲得了“優秀”模型。 R 平方 = 99%。 但是確認運行不是很好。
我開始精簡條款（比如使用 4 個 ME，以及 1 個 ME 的二次項和交互項）。 結果改善了很多。 在我看來，這個模型是過度擬合的。 我將研究您指出的改進方向。 如果效率不高，我可能會追求 4 個 ME（3 級 ^4 = 81 次運行？）的 FF。
非常感謝您的投入。
回复：最終屏幕設計（DSD）模型確認我了解到您的系統是計算機模擬。 你正在設計一個計算機實驗，大概是為了適合一個代孕媽媽。 您的模擬不包含任何隨機元素，因此相同的輸入值會導致相同的輸出。 你不是在篩選輸入，而 DSD 正是為此而設計的。 您知道輸入是因為您可以檢查模擬。 我認為模擬是不切實際的（例如，計算需要很長時間才能獲得平滑的圖形）所以你想使用一個好的代理。
DSD 和其他幾個設計平台用於響應包含隨機分量的物理實驗。 您應該嘗試過空間填充設計。 它們旨在用於計算機實驗。 此外，它們還支持擬合高斯過程模型，該模型通常比線性回歸模型好得多。
所以我認為線性回歸模型中的偏差（即缺乏確認）是因為響應中的非線性無法用多項式函數很好地建模。
如果將原始 DSD 結果與新的確認結果結合起來並再次擬合模型，擬合和預測的響應是否有所改善？
回复：最終屏幕設計（DSD）模型確認如果可以，我很樂意提供幫助，但您沒有回答我的第一個問題？ 如果您正在運行模擬，為什麼要分餾？ 除非計算時間太長？ 實驗是用仿真軟件運行的，確認運行也是用仿真軟件運行的嗎？
我不確定田口方法與這次討論有什麼關係？ 他當然不是第一個確定噪聲在實驗環境中的重要性的人（見 Fisher）。 如果您指向內部和外部數組，這種方法最早是在 1950 年代與 Cox 和叉積數組一起討論的。 我不明白你的意思是“我們不需要擔心噪音”？ 每個可能變化的變量都已經研究過了？
模型擬合有很多方法/方法。 有一種逐步執行的加法方法，還有一種開始飽和並刪除項的減法方法。 針對不同的情況採取不同的方法。 有許多統計數據可以提供幫助，但沒有一個統計數據可以給您明確的答案。 我的第一個建議是使用工程和科學來確定模型建議的因素水平是否有意義，有用的統計數據包括：RMSE、RSquare-RSquare Adjusted delta（一些使用預測的 RSquares）、係數、p 值、殘差（許多地塊）、VIF 等。
回复：最終屏幕設計（DSD）模型確認嗨斯塔特曼，
謝謝你的耐心。
我熟悉噪聲概念。 我開始使用田口方法很多年了。 所以就我而言，我們不需要擔心噪音。
簡而言之，DOE 是基於運行模擬軟件的結果，除了模型在某些確認數據下效果不佳外，一切看起來都不錯。
為了找出可能導致不太好的確認的原因，我現在正在嘗試做一些事情：
1) 我沒有在 Fit Definitive Screening 之後直接使用 Run Model 生成的模型，而是使用 Stepwise Regression 來使用 AICc 和 BIC 標準選擇術語。 然後我用標準最小二乘法擬合選定的項。 我得到了一些改善。
2. 假設模型欠擬合，我還可以通過加法運行來擬合上述選定項。 問題：如何判斷一個模型是欠擬合還是過擬合？ 過度擬合的解決方案是什麼？
3. 我是否應該嘗試非線性回歸擬合？
謝謝。
回复：最終屏幕設計（DSD）模型確認不確定我能幫到你。 您是說在仿真軟件中運行實驗的結果在仿真軟件中不可重複嗎？ 或者你是說模擬軟件中的實驗結果在“現實生活”中沒有重複？
我認為可能對噪音是什麼感到困惑。 它有許多不同的名稱：滋擾、背景等。阿爾。 示例包括：周圍環境條件、材料和設備的磨損或退化、操作員技術、某些情況下的測量誤差、材料的批次間差異等。這些變量通常不會在實驗中被操縱，而是保持不變（壞主意）或在實驗執行期間發生變化。 這些需要代表未來的“條件”，以便您的實驗結果在未來適用（或讓您的模型預測未來的響應變量）。
如果您使用的是仿真軟件，則該算法已包含在軟件中。 你不知道嗎？ 我不知道你的模擬軟件是如何“模擬”噪音的。
回复：最終屏幕設計（DSD）模型確認嗨斯塔特曼，
DOE 基於模擬軟件結果。 我們發現一個因子水平 (-1,0,+1) 確實捕獲了代表變量的全部範圍，但物理上 (0, 0.5, 1) 或 (-1, -0.5, 0) 應該是目標的有效範圍回复。因此，我們可以將此因子視為噪聲因子，並在確認運行中使用相同的因子水平。
根據上面的附加信息，有什麼建議嗎？
謝謝。
回复：最終屏幕設計（DSD）模型確認這對我們來說很難提供幫助。 意識到你報告的統計數據與模型是否適用於未來無關。 推斷是一種工程或科學推斷，它在很大程度上取決於您的實驗對未來條件的代表性。 最終篩選設計是一種處理設計因素而非噪音（您不願控製或管理的因素）的策略。 你隻字不提你是如何處理噪音的。 如果噪聲因子保持不變，那麼您的推理空間太小，您的模型可能只適用於手頭的數據。 對於未來的實驗，我的建議是花盡可能多的時間考慮如何處理設計結構（噪聲）中未包含的因素。
