幫助進行模型比較：DOE 與 ANN 提升早上好傢伙！
1）我有一個 DOE 和一些增強的神經網路模型，我想比較它們各自的 Rsquared（最大）、RASE（最小）和 AAE（最小），以從我的實驗中選擇最佳最佳化模型。
我看到在「模型比較」工具中，透過實驗電子表格中保存的預測公式，我可以根據模型上面的標準進行選擇，如附圖所示。 但我想將我的 DOE 及其 Rsquared、RASE 和 AAE 包含在此生成的表中。 有人有關於如何做到這一點的任何提示嗎？
2）另一個問題：在模型啟動中，「旅行次數」欄位是紀元數嗎？ 增加這個欄位如何發揮作用？ 有人對測試值有什麼建議嗎？
*** 添加
我忘了問：
3）我只有27個實驗（8個實驗的三次重複+完整階乘DOE產生的3個中心點），由於缺乏材料，我無法進行更多實驗。 我最終選擇使用 boosting 來測試 ANN 模型，因為我相信它可以透過幾個小模型的組合來創建一個具有更強預測能力的模型。 這是最好的選擇嗎？ 有人會為這種情況推薦另一種人工神經網路結構嗎？ 對於優化網路、增加 Rsquared 並減少 RASE 和 AAE 有什麼想法嗎？ 我真的是從 ANN 開始的，任何貢獻都會非常相關！
* 附件 JMP 檔案如下。
實驗設計預測建模和機器學習視窗回覆：幫助進行模型比較：DOE 與 ANN 提升你好@ivanpicchi ,
我很困惑，可能無法直接回答您的問題，因為我不確定您在此計劃中的目標是什麼：H/W 和 FN MED 是兩個答案嗎？
另外，您的目標是什麼：
- 根據您的因素解釋您的系統？
- 螢幕重要因素？
- 建立預測模型 ?
您對該系統了解多少？和許多其他問題... 以下是一些初步想法，但還有更多內容需要討論（但這可能需要很長時間才能在論壇上撰寫）。
對我來說，使用神經網路進行基於模型的 DoE 似乎是完全不可能的，因為每個因子只有 3 個級別，並且您使用高度靈活的模型，可以近似任何複雜的函數... 看起來就像用火箭筒殺死蒼蠅：過於複雜且不合適的方法。 所以一個或幾個NN在這個階段是完全不成熟的。 您也可以嘗試其他（更簡單的）演算法：決策樹/隨機森林、支援向量機…
此外，驗證列未針對機器學習正確設置，因為實驗（透過重複）可以同時位於訓練、驗證和/或測試集中。 這會導致模型過度擬合以及對預測結果過度自信。 為了在小規模資料集上驗證預測模型，您必須在同一組中保持相同的處理方式，以避免資料外洩和模型過度擬合。 交叉驗證方法，如 K 折疊和留一法，可能值得考慮（使用重複的預防措施相同）。
無論如何，一般建議是在建模之前將資料視覺化，並在建模時使用奧卡姆剃刀原理：從簡單的模型開始建模，然後迭代並增加複雜性（如果需要！）。 將您的新模型與先前的模型進行比較，並評估您獲得了多少改進（以及複雜性增加了多少）。 我建議從簡單開始，先使用迴歸模型，並根據模型正確評估優點和缺點。
我不知道您包含哪種迴歸模型和術語，但響應 H/W 可以透過擬合最小二乘模型很好地建模（請參閱腳本“Fit Group”）。 對於響應 FN，測量中似乎有很多噪聲，因此可能需要對範圍、實驗協議、因素（控制干擾因素和/或使用阻塞等）、測量設備和進行進一步的研究也許可以考慮在先驗模型上改進結果。
在此回應上擬合複雜的模型不會有幫助：最佳 NN 的結果 (R² = 0,772 - RASE = 0,174 (過度擬合...)) 和簡單的迴歸模型 (R² = 0,758 - R² 調整= 0,715 - RMSE = 0,586）。
也應考慮相應地定義所使用的建模方法、指標和設計。 例如，在關注實驗空間內部的預測目標中，空間填充設計適合使用機器學習演算法，並使用 RMSE/RASE/MSE 等可能的指標來關注預測的準確性。
我希望這些第一個討論點會對您有所幫助，
回覆：幫助進行模型比較：DOE 與 ANN 提升嗨@ivanpicchi ，
同樣，您可以擬合的模型的複雜性將與資料點的等級數量、品質和代表性相關。由於因子最小值、中位數和最大值只有 3 個水平，傳統迴歸方法只能擬合二次模型（具有交互項和二次項）。如果您期望更複雜的響應面，我建議您在實驗空間內部使用空間填充設計點來增強您的設計。
對您的問題的一些答案：
如果您對組合模型感興趣，我認為平均或整合不同類型的模型可能比組合相同類型的模型更有趣，因為它們可能會遇到相同的「理論」問題和假設（泛化效能、穩健性、預測表現） ，過度擬合，...）。組合不同類型的模型可能有助於平均誤差並透過其他模型的優點來補償某些模型的缺點，並有助於均質化找到的最佳位置（回歸和神經網路之間可能有很大不同） 。
我希望這個更完整的答案能幫助你:)
回覆：幫助進行模型比較：DOE 與 ANN 提升謝謝你這麼詳細的回答！
DOE 進行該實驗的目的是在實驗定義的空間內透過機器人 GMAW 預測 WAAM 牆，具有 10 個重疊焊縫，其中每個實驗對應於執行的牆。
我需要預測以下兩個答案：1）H/W（高度/寬度比）和FN（沉積物中的鐵素體含量，透過牆上鐵素體鏡測量10個點的平均值來獲得）。透過執行階乘 DOE，學生們能夠提出一個優化的印象，最大化 H/W 比率並以 FN 內容為目標。我們正在開始這項旨在焊接參數化的 DOE 和 ANN 之旅。
然而，該模型對於預測 DOE 運行之外的一些焊接實驗並不令人滿意，某些測量結果超出了模型預測的 95% CI。因此，試圖透過已經進行的實驗來最大化預測能力。我需要預測樣本空間內的答案，因為在它下面是不可焊接的，而在上面，我會損壞機器部件。
閱讀一些書籍和文章，由於您在答案中指出的數據量較少，我考慮將 K-fold 應用於 ANN，但是我在 JMP pro 中在哪裡選擇它？感謝您關於將三元組放入同一驗證資料集中的提示，我什至沒有想到這會影響 ANN 過度擬合。
是的，我將擬合最小平方法模型應用於迴歸。 FN 中的雜訊水準是否是因為它是點的平均值？如果是這樣，上述內容有什麼提示嗎？
再次感謝您的精彩回覆和問題！
回覆：幫助進行模型比較：DOE 與 ANN 提升例如：我想進行與文章「使用響應曲面方法和人工神經網路優化出芽短梗黴 AKW 黑色素生產的比較研究」中的圖像類似的分析（ https://doi.org/ 10.1038/s41598-023-40549 -z)。
回覆：幫助進行模型比較：DOE 與 ANN 提升我會對結果持謹慎態度，因為我們不知道（至少我不知道）神經網路驗證的分區是如何完成的。
- 他們是否考慮到最後 3 行是重複的，因此對於神經網路來說，使用此處理的反應平均值會更“公平”，而不是將 3 個不同結果劃分為可能不同的集合？
- 此外，缺乏對迴歸建模部分的解釋，所以我不知道建模中保留了哪些術語，以及哪些基礎術語可能已從模型中刪除：它是在「機器學習」中完成的嗎？方式，測試不同的迴歸模型並保持具有最佳驗證結果的模型？或基於統計顯著性、資訊標準、可能性......？
然而，即使缺乏有關如何完成建模的信息（可能存在於文章中，但無法通過提供的鏈接訪問），在比較結果時看到偏差-方差權衡的實際效果還是很有趣的通過實驗驗證得到最優值：
迴歸模型可能比神經網路具有更高的偏差（實際與預測最優值的最大平均差異），但它可能具有較低的變異數（因為使用迴歸模型找到的最優值比發現的最優值具有更低的不確定性（SD？）與神經網路），所以它可能被證明是一個更穩健的選擇。
