回复:拆分不打算用作驗證列的數據我已經在內部記錄了這一點,並在上面添加了缺陷 ID。
@reese_sj ,您能否為此請求的第二部分輸入一個新項目(即模型驗證的袋外估計)? 這是兩個不同的請求。
謝謝!
拆分不打算用作驗證列的數據驗證列:我們經常需要將數據拆分為訓練和測試集中,而不是拆分為用於模型選擇的驗證集。 這在 JMP 中不起作用。 例如,對於我們可以使用交叉驗證的建模方法,如 NN 或 GLR,並希望根據訓練數據進行模型選擇/驗證,並且僅將測試數據用於測試模型。 此外,當排除測試數據時,增強樹和隨機森林使用排除的數據來驗證模型(可能用於 NN)。 這需要額外的步驟來刪除用於建模的測試數據並稍後再次添加它們以進行模型比較。
統計和分析回复:拆分不打算用作驗證列的數據 - 狀態更改為:暫時未計劃@reese_sj是否擔心驗證數據作弊?您如何建議模型決定何時最適合數據?我們經常看到沒有測試集的驗證數據,反之則看不到。如果沒有某種形式的驗證或保留,JMP 無法擬合 NN。如果您讓算法盡可能地擬合訓練數據,那麼您很可能最終會得到一個過擬合模型。我會創建模型並將其發佈到公式庫,然後在測試數據集上運行它,如果您想查看它的適合程度。