回复：驗證數據的錯誤 RMSE你好@AAYH ,
歡迎來到社區！
看來您的訓練數據過度擬合了。 如果沒有任何示例數據（例如匿名數據），很難幫助您詳細調查您完成的步驟和您擁有的數據類型。 然而，這裡有一些問題要開始：
- 您是否檢查過輸入之間的相關性（菜單分析 -> 多元方法 -> 多元）或
- 您是否檢查過過程因素之間的多重共線性（在“擬合模型”平台、面板“參數估計 (jmp.com) "，右鍵單擊列參數並單擊 Columns -> VIF 檢查它們的值）？
這可能是一個調查方向，因為如果不採取預防措施，相關性或多重共線性會嚴重“損害”線性模型的性能。
如果您的因素之間存在相關性或多重共線性，則可能更安全：
- 選擇一個能夠處理多重共線性的模型（例如偏最小二乘法、Bootstrap Forest），或者
- 使用 PCA 預處理您的輸入並使用線性模型中的主成分，或者
- 使用 LASSO、Ridge 或 Elastic Net 等懲罰方法（JMP Pro、廣義回歸）來創建更穩健的線性回歸模型。
讓我們知道第一次調查帶來了什麼，如果希望您能提供一些示例數據，其他成員將更容易參與此討論，
回复：驗證數據的錯誤 RMSE嗨維克多謝謝你的回复，我認為你是對的。 我會盡快調查。
回复：驗證數據的錯誤 RMSE嗨斯塔特曼。
感謝您花時間回答我的問題，並感謝您的有效輸入。 我會盡快調查。
回复：驗證數據的錯誤 RMSE你好，我們又見面了。
我做了一個明確的篩選設計，由於不同的日子我被阻止了。 現在，我知道我可能犯了一個錯誤，因為我從一開始就沒有考慮到不受控制的變量。
我有 3 個變量 (UB1-3)，我在兩次不同的生產運行（塊 1 和塊 2）期間更改了這些變量。 不受控制的變量 1 和 2 已測量，但我無法更改它們。 我的質量變量是在過程結束時測量的。 Uncontrolled variable 2 高度依賴於 day/Block，並且會影響 Uncontrolled Var。 1 以及 UB1 至 UB3。
我只是想知道我是否可以使用我現在擁有的數據，或者我是否需要做另一個實驗。 非常感謝您的寶貴時間。
回复：驗證數據的錯誤 RMSE你好@AAYH ,
首先，這個 DSD 是否與驗證數據的 RMSE 變化問題有關，或者這是不同的並且不是特別相關？ 只是想看看這是否是用於說明您的問題的示例數據集，或者除了您的問題之外的其他內容。 這個 DoE 的目標是什麼？ 第二個不受控變量的數據表中缺少值。
如果我理解得很好，您已經添加了一個阻塞因子（在 DSD 創建中您將其創建為一個分類因子？），以及您記錄但未以 DoE 方式隨機化/控制的 2 個不可控變量。
正如您已經看到的那樣，您的兩個不可控變量之間以及 Block 和不可控變量 1/2 之間具有很強的相關性，這可能會極大地影響模型對新數據的預測性能（腳本“1. 附加數據表中的多變量”）。
我在你的塊隨機因子和不可控變量上添加了一些列屬性（以便它們可以在 JMP 平台中正確使用），然後實現了兩個模型：
- 一個具有混合模型個性，將“塊”指定為隨機效果（腳本“2.a. 適合混合"),
- 一個具有標準最小二乘特性，具有“塊”作為隨機效果（腳本“2.b. 擬合模型（隨機塊）”）。
毫不奇怪，這兩個模型提供了相似的結果，並且如您所料，不可控變量 1 和 2 似乎對響應質量有重要影響。 隨機塊因素似乎並不重要。
模型本身非常正確（取決於您期望的模型精度），具有高 R² (0,87) 和非常低的 RMSE（大約 0,5）。 但是，正如在“多變量”平台（相關性）中已經看到的那樣，您的一些因素彼此線性相關，這會產生高 VIF（兩個不受控制的變量約為 20）並且可能導致預測中的方差增加：
減少這種共線性的一種選擇是從這兩個變量中創建主成分（腳本“3.a. 非受控變量 1 和 2 的主成分分析”)，並實現與以前相同類型的模型（但將非受控變量 1 和 2 替換為它們的 2 個主成分，腳本“3.b. 適合個人電腦的模型”）：
這不會改變模型在 R² 和 RMSE 方面的性能，但減少 VIF 有助於減少參數估計的方差（對於涉及這種共線性情況的參數）。
關於你最初的問題，你是否可以使用你現在擁有的數據，這完全取決於你的目標（解釋和/或預測），以及你如何評估數據的“有用性”（預測精度？）。
從第一個數據表中，已經有一些重要的事情需要注意，但是如果沒有進一步的信息，很難解釋或得出數據使用的結論（非受控變量 1 和 2 的範圍的代表性，或缺失值需要的修正例如...）。 但這是一個有趣的第一步，您可以在此基礎上增強您的設計，更好地考慮您的 2 個不受控制的變量，並通過在您的實驗中作為因素來控制它們。
請注意，根據您的目標和需求，我所做的可能不是最佳方法，並且其他選項也可用於相同的任務。
回复：驗證數據的錯誤 RMSE首先，我不確定我是否理解這個問題？ 你能發布你的數據表嗎？ 令我感到困惑的是明顯的衝突取決於您如何評估“新”數據？ 你能描述一下你是怎麼做到的嗎？ 預測和實際的差值是多少？ （殘差）你分析過殘差嗎？
除了維克多關於多重共線性的優秀想法，這裡是我的：
1. 你用來運行擬合模型的數據來源是什麼？ 這是生產數據嗎？ 是來自實驗嗎？
2. 你的未來狀況數據有多具有代表性？
3. 正如 Victor 所建議的，有許多關於數據的問題。 沒有一項統計數據可以提供有關我們模型的所有信息。 R-sq 本身的實用性很小（它會隨著模型中 DF 的增加而增加）。 您想要將 R-sq 與調整後的 R-sq 進行比較。 這將提供對過度擬合模型的洞察力。
驗證數據的 RMSE 錯誤你好
使用“擬合模型”，我創建了一個模型來使用不同的工藝參數來識別產品中的水分含量。 該模型很好（Rsq=0.97）並且 RMSE 相當低。 使用的變量的 Logworth 均高於限制。當我想要獲取新數據進行驗證時，問題就出現了。 這裡的預測非常糟糕。 我想要驗證的數據與測試集中使用的數據沒有太大不同。 當我將驗證數據包含為測試集數據時，它們非常適合模型，水分預測誤差與“原始”數據類似
我有一個由主效應和交互作用組成的模型。 我做錯了什麼？
數據探索和可視化
