為什麼驗證不包含在 DOE 中？大家好，我現在正在學習在線課程。 在預測建模部分，驗證用於評估模型在新數據上的性能，並防止選擇過擬合模型。
驗證需要額外的數據。 但是，在 DOE 部分中，不包括這些額外的數據。 收集的所有數據都用於訓練模型。 甚至中心點也用於評估模型中的二次效應。
以響應面 DOE 為例。 這個 DOE 的目標是找到最佳點，通常是“新數據”（與 DOE 中的點相比）。 為什麼在這種情況下不包括驗證集？ 不重要嗎？
分析美國能源部回复：為什麼驗證不包含在 DOE 中？驗證模型是重要的一步。 使用選定的模型找到感興趣的因子水平（例如，預測它們會給出期望的響應和不期望的響應），然後設置幾次運行 (5-6) 並將新運行的平均響應與預測的響應進行比較平均反應。 我建議使用等效測試，而不是差異測試。
如果您想改進模型項的估計，這些數據本身經過驗證，可以與原始實驗相結合。
回复：為什麼驗證不包含在 DOE 中？補充一點@markbailey我同意的建議......從哲學上講，DOE 作為一種解決問題的方法，將知識收集的效率作為基本原則。 1980 年代我的一位 DOE 講師將“DOE 效率”定義為以最少的資源支出獲得所需信息的願望。 現在我們可以說，通過模型驅動的最優 DOE 策略，模型是我們的“必需信息”。 因此，最佳 DOE 方法提供了這種效率，使得每一種治療組合都是必要的。 無需額外運行。
但正如 Mark 所建議的，以及所有健全的 DOE 從業者通常遵循的那樣，一旦我們有了模型，我們就會進行額外的運行以驗證該模型實際上是否對手頭的實際問題有用。 所以 DOE 過程確實包括驗證（有人稱之為確認或驗證）作為必需的步驟......它只是在不同的時間發生，在初始實驗之後。
回复：為什麼驗證不包含在 DOE 中？同意 Mark 和 Pete 的評論……實驗結果和作為分析結果創建的模型（您使用什麼統計數據或實際判斷來執行此操作）是實驗推理空間的函數。 如果實驗不代表未來的條件，那麼無論模型在分析中如何“統計顯著”，都不會產生有用的可重複結果。
“不幸的是，未來的實驗（未來的試驗，明天的生產）將受到與影響本實驗不同的環境條件（溫度、材料、人）的影響......這只是通過對主題的了解，可能通過進一步的實驗來幫助（添加斜體）為了涵蓋更廣泛的條件，人們可能會冒著錯誤的風險來決定未來的環境條件是否會與今天的環境條件接近到足以允許使用手頭的結果。”
戴明博士
回复：為什麼驗證不包含在 DOE 中？也許通過“驗證”來驗證每個人的意思很重要。
通常，在對臨時數據進行建模時，使用保留數據集驗證模型是一個非常好的主意。 保留數據的擬合統計量用於從訓練數據評估模型的質量。 在對臨時數據進行建模時，我們試圖建立對基礎人口的估計，使用小數據集會破壞訓練和評估模型的能力。 最大化關於我們正在建模的系統的觀察數量對於更好的估計很重要。
DOE 的數據在分析之前經過精心計劃和收集。 此設計支持包含/使用先驗指定的模型術語，這與建模偶然數據相反，在這些數據中，我們可能不知道哪些術語可以包含在模型中，直到它們被評估。
在 DOE 的情況下，沒有任何數據用於模型驗證，因為所有數據都是通過設計估計模型係數所必需的。 DOE 的一個關鍵目標是生成對物理現象建模所需的最少數據量。 在 DOE 的情況下，術語“驗證”意味著在實驗完成後將完成額外的運行。 “驗證”運行將與預測值進行比較，以評估 DOE 模型預測的質量。 通常驗證運行的次數很少，可能只有 1-3 次。 這些運行提供了支持對物理系統進行更改的證據，該更改隨後將在相同的輸入設置下生成許多運行/觀察。 該模型將在未來用於調整物理系統/流程。
DOE World 使用與 Modeling World 類似的方法，但方法非常不同。
回复：為什麼驗證不包含在 DOE 中？拜倫說得好。 我忽略了區分驗證，因為你做得很好。
