神經網絡收斂我有包含三個自變量的原始數據：溫度、應力和蠕變應變以及一個因變量：蠕變速率（見下圖）。 一位同事正在做一些 FEM，他需要能夠獲取圖中點之間的值，因此我使用 JMP 中的神經平台為他獲取這些值。
這非常有效，我在神經模型的預測和數據之間得到了很好的一致性。 我嘗試了幾種在隱藏層中具有不同數量節點的模型。 （我沒有 JMP PRO，所以只能使用 1 層。）
為了決定使用哪個模型（例如節點數 N），我生成了一個 R2 和 RMSE 作為模型中節點數的函數的圖。 我預計對於訓練集，R2 曲線會上升，而 RMSE 曲線會單調下降（帶有一些隨機噪聲）。 對於驗證集，我預計 R2 會上升，而 RSME 曲線會下降，直到某個 N 值，此時驗證曲線的趨勢將反轉。 這將是模型開始過度擬合訓練數據的點，因此驗證數據的性能會下降。
我得到的是這樣的：
最初，趨勢與我預期的差不多，但我有一些問題：
1）在一個模型中。 10 個或更多節點，訓練集的 RMSE 系統地低於驗證集。 這已經是過度擬合的標誌了嗎？
2) 當使用超過 ca。 43 個節點（用於 RMSE）或 ca。 63 個節點（對於 R2），模型在驗證集和訓練集上的性能下降。 這是為什麼？ 我唯一的想法是，這可能是數據集中的點數不足以正確訓練神經模型的問題。 總數據集由 1600 個點組成，其中我使用 2/3 用於訓練，1/3 用於驗證集。
分析回复：神經網絡收斂謝謝。 我會檢查一下。
回复：神經網絡收斂還有一點。 我編輯了我的原始帖子，因為我混淆了隱藏層的數量和隱藏節點的數量。 我的原始帖子現在可以正確閱讀，但是由於您沒有使用多層，因此可以忽略節點飽和的概念。
回复：神經網絡收斂討論隱藏單元數量的唯一參考文獻是 Principe, JC, NR 歐利亞諾和WC 列斐伏爾。 2000 年。神經和自適應系統. 紐約：威利。
我的陳述來自許多 SAS 神經網絡專家的多年經驗。 在我們關於神經網絡基礎知識的 SAS 課程之一中，我們有這張幻燈片和註釋：
回复：神經網絡收斂@Mark_Bailey @Dan_Obermiller @lwx228
感謝您的回复，我會在一個帖子中回复。
- 事實上，我使用 log10（應變率）進行建模。 所以顯示的是來自 log10（應變率）的 R2 和 RSME。 對不起，我應該提到這一點。
- 我使用保留功能來確定驗證集。 但是我將它與種子 0 和種子 123 一起使用。 我認為如果只提供一個種子，它會同時用於確定擬合的起始參數和選擇驗證集。 （指示種子 0 與不提供種子相同。）結果並沒有根本不同。 （種子為 0 的節點數量越少，似乎越分散，但總體趨勢看起來幾乎相同。）
@Dan_Obermiller ：您提到經常觀察到諸如改善、惡化、再次改善神經網絡性能的趨勢。 你對此有一些參考嗎？
@lwx228 : 你說“這樣的網絡只會產生過擬合”。 這就是我期望看到的。 但我預計在過度擬合的情況下，驗證集的 RMSE 會上升，而訓練集的 RMSE 會下降。 情況似乎並非如此。 （對於 SEED=123，驗證集具有較低的 R2 和較低的 RMSE。對於大量節點。 我不明白那個...）
我添加帶有原始數據和腳本的文件。
回复：神經網絡收斂這樣的神經網絡只會產生過擬合。
使用深度學習卷積神經網絡是一個很好的方向。回复：神經網絡收斂馬克提出了非常好的問題。 您絕對應該為這些結果使用固定的驗證集。
請記住，向神經網絡添加更多節點可能會或可能不會提高預測能力。 有很多例子表明性能會提高，變得更糟，然後又會再次提高。 此外，當您添加更多層時，您可能會達到節點飽和點，這意味著添加更多層不會提高性能。
回复：神經網絡收斂您是否創建並使用了驗證數據列，或者您是否使用了平台內的保留功能？
此外，您的響應跨度超過幾個數量級。 您是否嘗試過轉換響應，例如使用 log（以 10 為底）？
