為什麼驗證不包括在 DOE 中？大家好，我現在正在學習在線課程。 在預測建模部分，驗證用於評估模型在新數據上的性能，並防止選擇過擬合模型。
驗證需要額外的數據。 但是，在 DOE 部分，不包括這些額外數據。 所有收集的數據都用於訓練模型。 甚至中心點也用於評估模型中的二次效應。
以響應面 DOE 為例。 該 DOE 的目標是找到最佳點，這些點通常是“新數據”（與 DOE 中的點相比）。 為什麼在這種情況下不包括驗證集？ 這不重要嗎？
分析美國能源部回复：為什麼 DOE 中不包含驗證？好吧，拜倫。 我忽略了區分驗證，因為你做得很好。
回复：為什麼 DOE 中不包含驗證？也許重要的是通過“驗證”來驗證每個人的意思。
通常，在對臨時數據建模時，使用保留數據集驗證模型是一個非常好的主意。 holdout 數據的擬合統計用於評估訓練數據模型的質量。 在對臨時數據建模時，我們試圖建立對潛在人口的估計，使用小數據集會破壞訓練和評估模型的能力。 最大化關於我們正在建模的系統的觀察數量對於更好的估計很重要。
DOE 的數據在分析之前經過非常仔細的計劃和收集。 此設計支持包含/使用先驗指定的模型項，這與建模偶然數據形成對比，後者我們可能不知道哪些項可以包含在模型中，直到它們被評估。
在 DOE 的情況下，沒有任何數據用於模型驗證，因為所有數據都是通過設計估算模型係數所必需的。 DOE 的一個關鍵目標是生成對物理現象建模所需的最少數據量。 在 DOE 的情況下，術語“驗證”意味著在實驗完成後將完成額外的運行。 “驗證”運行將與預測值進行比較，以評估 DOE 模型預測的質量。 通常驗證運行的次數很少，可能只有 1-3 次。 這些運行提供了支持對物理系統進行更改的證據，該物理系統隨後將在相同的輸入設置下生成許多運行/觀察。 該模型將在未來用於調整物理系統/過程。
DOE World 使用與 Modeling World 類似的方法，但方法非常不同。
回复：為什麼 DOE 中不包含驗證？同意 Mark 和 Pete 的評論……實驗的結果和作為分析結果創建的模型（您使用的統計數據或實際判斷）是實驗推理空間的函數。 如果實驗不代表未來的條件，那麼無論模型在分析中有多麼“統計顯著性”，都不會產生有用的可重複結果。
“不幸的是，未來的實驗（未來的試驗，明天的生產）將受到不同於影響該實驗的環境條件（溫度、材料、人）的影響……這只能通過對主題的了解，可能得到進一步實驗的幫助（添加了斜體）為了涵蓋更廣泛的條件，人們可以決定未來的環境條件是否與今天的環境條件足夠接近以允許使用手頭的結果，但有犯錯的風險。”
戴明博士
回复：為什麼 DOE 中不包含驗證？添加一點@馬克貝利我同意的建議……從哲學上講，DOE 作為一種解決問題的方法，將知識收集的效率作為一項基本原則。 我在 1980 年代的一位 DOE 講師將“DOE 的效率”定義為以最少的資源支出獲得所需信息的願望。 現在我們可以說，通過模型驅動的最優 DOE 策略，模型就是我們的“所需信息”。 因此，最佳的 DOE 方法提供的效率使得每一種治療組合都是必要的。 無需額外運行。
但正如 Mark 所建議的那樣，所有可靠的 DOE 從業者通常都會遵循，一旦我們有了模型，我們就會進行額外的運行以驗證該模型實際上對手頭的實際問題有用。 所以 DOE 過程確實包括驗證（有些人稱之為確認或驗證）作為必需的步驟......它只是在不同的時間發生，在初始實驗之後。
回复：為什麼 DOE 中不包含驗證？驗證模型是重要的一步。 使用所選模型找到感興趣的因子水平（例如，它們預計會給出所需的響應和不需要的響應），然後設置一些運行 (5-6) 並將新運行的平均響應與預測的響應進行比較平均反應。 我建議使用等效性測試，而不是差異測試。
如果您想改進模型項的估計值，則可以將這些數據自行驗證，並與原始實驗結合使用。
