神經網絡_驗證集比訓練集獲得更高的模型擬合度問題：為什麼我的驗證集比訓練集效果更好？
數據：200個數據點； 90% 用於訓練，10% 用於驗證
統計：
1.製作驗證欄
製作驗證列（
訓練集（0.90），
驗證集（0.10），
測試集（0.00），
公式隨機）；
2.神經網絡：
1 個隱藏層，3 個節點 TanH
Boosting：模型數量（10），學習率（0.1）
配件選項： 行程數量( 10 )
3.以上步驟重複1000次
4.計算訓練集和驗證集的R平方均值
問題描述：
驗證集的均值 R 方比訓練集的均值 R 方大得多。 為什麼會發生這種情況？ 我們甚至嘗試不使用懲罰方法，驗證集仍然比訓練效果更好。
JMP 如何優化驗證集的估計參數？
如果我們使用引導森林，為什麼情況並非如此？即，對於引導森林，訓練集比驗證集效果更好。
謝謝。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度你在這裡沒有打擾任何人！ 像您這樣的問題是在 JMP 社區中設立討論區的主要原因之一！ 另一方面，一些討論可能超出了這種格式的範圍或能力。
注意：我們正在討論預測模型， 不是解釋模型。 因此，我們只關心模型預測未來的能力。 未來是不可用的，而訓練模型並選擇模型。
任何類型的交叉驗證都不是理論的結果。 它解決瞭如何執行的問題誠實的評估選擇一種模型之前和之後模型的性能。 保留集方法首先是針對大型數據集的情況而開發的。 在這種情況下，推理對模型選擇沒有幫助。 未來是無法實現的。 該怎麼辦？ 留出或保留一部分數據（驗證）。 這些數據不可用於訓練程序。 然後將擬合模型應用於保留集以獲得模型預測。 模型做得如何？ 其他模型表現如何？
由於驗證數據用於選擇模型，一些建模者保留了第三部分（測試）來評估所選模型。
交叉驗證是一個非常好的解決方案，但依賴於原始觀察集的大量數據。 當樣本量較小時怎麼辦？ K 折方法是專門針對此類情況開發的。 一些建模者將其發揮到極致，將 K 設置為樣本大小。 這個版本被稱為“漏掉一個.' 在這種情況下，它比保留集效果更好，因為您可以更有效地使用數據。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度親愛的貝利先生，
按照建議，我使用了神經網絡的 k 折交叉驗證和逐步回歸（全部輸入）。 我編寫了一個循環並運行每個分析 100 次。 結果表明，驗證集的均值 R 方不高於訓練集的均值 R 方。
現在我想知道為什麼 K 折交叉驗證在小樣本情況下效果更好，為什麼使用神經網絡進行保留驗證會得到尷尬的結果，即驗證集獲得更高的均值 R 平方。 理論或數學原因是什麼？
謝謝。抱歉再次打擾您。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度JMP Pro 確實在逐步平台下提供了 k 倍回歸分析。 它用於確定模型中保留哪些項。 來自 JMP 文檔：
K-Fold 交叉驗證（僅適用於連續響應。）在選擇過程中執行 K-Fold 交叉驗證。 選擇後，此選項將啟用最大 K 重 R 方停止規則（第 250 頁的“逐步回歸控制面板”）。 了解更多
有關驗證的信息，請參閱第 275 頁的“使用驗證”。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度不，JMP 中的擬合最小二乘平台不提供任何交叉驗證。 JMP Pro 中的廣義回歸平台包含標準線性回歸模型，在啟動對話框中提供保留交叉驗證，並提供 K 折交叉驗證作為平台驗證選項。
由於樣本量較小，您可能會考慮使用 AICc 進行模型選擇來代替交叉驗證。
如果開源軟件能夠提供您所需的靈活性，您也可以考慮使用它。 例如，您可以使用 JMP 連接到 R 或 Python 並使用這兩種軟件。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度親愛的貝利先生，
謝謝。 我還有一個問題：我們可以在 JMP 中使用 K 折交叉驗證和標準最小二乘回歸嗎？
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度謝謝。 是的，我只找到了下面的腳本。 但我無法將它與引導森林模型結合起來。
obj = Open( "$SAMPLE_DATA/Car Poll.jmp" ) << Partition(
Y( :country ),
X( :sex, :marital status, :age, :type, :size )
);
obj << K Fold Crossvalidation( 5 );
obj << Go;
非常感謝您的幫助。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度您不能將 K 折交叉驗證與 JMP 中的 Bootstrap Forest 模型選擇結合使用。 您只能使用保留集。
請記住，大多數預測模型類型都是針對大型數據集的。 如果數據滿足模型假設，您也可以在您的案例中使用多元回歸。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度謝謝你的建議。 我們嘗試了 k 折，在我們的例子中它效果更好。 然而，新的問題又出現了：如何對bootstrap森林進行k折交叉驗證？
謝謝。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度感謝您的建議。 是的，1000 次迭代意味著我們對數據集進行 1000 次隨機分割。 確實，驗證集的 R 方並不總是大於訓練集（見圖）。 但對於我們所有的響應參數，驗證集的 R 平方均值始終大於訓練集的 R 平方均值。 我現在正在用 k-fold 進行分析。 讓我們看看會發生什麼。
正如貝利先生提到的：
“訓練集用於估計模型參數。 驗證集用於從候選模型中進行選擇。 測試集用於評估所選模型。”
我有兩個與上述句子相關的問題：
- 在培訓過程中，會準備多少名候選人？ 候選人如何計算？ 它是由提升決定的——“擬合按學習率縮放的模型的附加序列”嗎？
- 軟件如何選擇最佳候選者？ 最佳候選人的標準是什麼？ 是為驗證集提供最佳 R 方的候選者嗎？
至於k折，我還有兩個問題：
- 如果我們有 200 個數據點，並且我們對訓練集和驗證集使用 90%/10% 的劃分（無重疊），那麼我們可能會得到 180 個數據點的訓練集和 20 個數據點的驗證集。 如果我們使用 10 倍驗證方法，情況也是一樣的。 是對的嗎？ k 倍驗證和 90%/10% 驗證有什麼區別？
- 在K折交叉驗證中，最佳候選的標準是什麼？ 如何找到優化模型？ 它與 90%/10% 驗證的方法相同嗎？
在手冊中，我讀到“當使用 K 折交叉驗證時，所描述的過程適用於懲罰參數的每個試驗值的數據的每個 K 訓練保留分區。 模型適合所有折疊後，驗證集似然為總結使用每個單獨折疊的參數估計來跨折疊。 這是在選擇懲罰參數時優化的值。 參數估計在完整數據集上給出最佳值的折疊是平台保留和使用的參數估計。 導致最好模型的訓練-抑制對是其模型診斷在報告中給出的那對。”這是否意味著該模型具有最大的總似然度是最好的？
再次感謝你。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度我不確定，但我認為這種說法並不具有優越性。 它基於訓練集和驗證集之間均值 R 平方的差異。 事實上，不可能因為抽樣分佈重疊而優越。 使用正態分佈來近似 R 方的採樣分佈，我使用指定的分佈參數值得到正態 PDF 的這兩個圖：
注意：我知道 R 方由於其邊界 [0,1] 而不是正態分佈，但這種情況距離兩個邊界足夠遠，近似值可以很好地工作。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度如果我理解你的描述，那麼我有點困惑。1000 次迭代是指在數據集的 1000 個隨機分割上運行神經網絡嗎？如果是這樣，那麼我認為如果每一個分割都在驗證數據上產生比在訓練數據上更好的性能，那就很奇怪了。我對樣本大小和特徵數量的擔憂會導致許多（甚至很多）迭代出現這種行為，但可能不是全部 1000 次。如果我理解正確，那麼這可能是您的數據和您擁有的特定功能。如果你願意發布數據，我也許可以提供更多幫助，但我認為根據你所說的，這耗盡了我的想法 - 除非我不明白你做了什麼。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度謝謝你的建議。 我們有七個特徵可用作預測因子。 在某些情況下，驗證集的 Std 並不大：平均值 R2train = .56，SDtrain = .11；平均值 R2val = .70，SDval = .11。
我們還嘗試了十二個預測變量。 我們的結果模式是相同的：1000 次迭代後驗證集的均值 R 方始終大於訓練集的均值 R 方。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度訓練集用於估計模型參數。驗證集用於從候選模型中進行選擇。 測試集用於評估所選模型。
我同意@dale_lehman您的數據集太小，無法使用保留交叉驗證方法。 我推薦K折交叉驗證。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度你有多少功能？我仍然對樣本量太小表示懷疑。請注意，驗證數據的 R 方和標準差都較大。我認為，如果你有足夠的功能，你就可以很好地“擬合”相對較小的驗證集（即使有 30% 的分割），而不會延續到測試數據。也許 mbailey 可以對此做出一些說明 - 但我的印像是驗證數據用於調整神經網絡，因此它與測試數據不同，測試數據在建模過程中根本不使用。因此，通過很少的數據點和足夠的特徵，您可以很好地擬合驗證數據，但在測試數據上的性能較差。
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度謝謝。 進一步解釋我的研究：
對於每次迭代，我在訓練和驗證集中使用了新的分割。
有訓練和驗證的結果：mean R2列車= .58, SD列車= .09；意思是R2值= .71,標準差值= .12
響應參數是連續變量。
70%/30% 分割的模式相同。所以，我不太明白驗證中發生了什麼。 應該不僅僅是測試模型？
例如，當我使用 3 步程序（訓練、驗證和測試）時，驗證集的均值 R 平方再次高於訓練的均值 R 平方，而測試集的均值 R 平方則有所下降。 那麼測試和驗證之間有什麼區別呢？
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度我忘了提一下，K 折交叉驗證專門針對樣本量較小的情況。 您是否嘗試過此方法而不是驗證保留集？
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度請確認我對你的研究的理解。 在 1000 個訓練事件中的每一個之前，您都將行重新分配給訓練和驗證保留集嗎？
JMP 不會優化驗證保留集的訓練。 它僅在訓練完成後評估驗證保留集。
訓練和驗證保留集的 R 方樣本統計量的平均值和標準差是多少？
響應的性質是什麼？ 是連續的嗎？ 是絕對的嗎？ 如果是這樣，響應有多少級？
回复：神經網絡驗證集比訓練集獲得更高的模型擬合度你說得對，這不是一個典型的結果——儘管它可能而且確實發生了。我懷疑，在這種情況下，這主要是你們最初分裂的結果。10% 的驗證集（尤其是觀測數量如此之少）意味著驗證結果適用於應用於極少數數據點的模型。神經網絡可能會使問題變得更加複雜，但即使是 OLS 模型也能很好地擬合 20 個數據點。我相信，如果您將訓練/驗證比例更改為 70%/30%（特別是如果您還有更多數據），這種異常現象將會消失。
