用於將資料子集劃分為用於建立模型的資料集(訓練集)和用於評估模型預測性能的資料集(驗證集)。如果擬合多個模型,通常會選擇在驗證集上表現最佳的模型。有時,也會使用第三個資料集(測試集)來評估所選模型在新資料上的預測效能。由於測試集既未用於模型構建,也未用於模型選擇,因此這種方法被認為是評估模型未來性能的更準確方法。使用驗證列對於建立容易過度擬合資料的模型尤其有用。 JMP 中的某些建模平台提供了在擬合模型時指定驗證部分的選項,因此無需建立驗證列。
在 JMP Pro 中建立驗證列(訓練集、驗證集、測試集)
- 從開啟的 JMP 資料表中,選擇「分析」>「預測建模」>「建立驗證列」 。
- 可以使用分層、分組和分割點列來自訂分區。如果需要簡單的驗證列,請按一下「確定」 。
- 在彈出的視窗中,輸入數值(計數或比例),以指示資料將如何分配到訓練集、驗證集和測試集。如果需要,可以選擇一個隨機種子來重複相同的隨機分配。按一下“確定”。此時將建立一個新列,其中填入了指定比例(或計數)對應的值 0、1 和 2。
• 3,576 (60%) 個觀測值(訓練集)將用於建構(訓練)模型。
• 將使用 1,758 (30%) 個觀測值(驗證集)來驗證和選擇最佳模型。
• 將使用 596 個(10%)觀測值(測試集)來測試所選模型在新資料上的表現。
在 JMP 中建立驗證列
- 在開啟的 JMP 資料表中,從「列」功能表中選擇「新列」 。
- 在出現的「新專頁」視窗中,將列名稱變更為「驗證」 。
- 在“初始化資料”旁邊,按一下箭頭並選擇“隨機” 。
- 選擇隨機指標。輸入所需的比例。這裡我們選擇 50% 的 0(訓練集),30% 的 1(驗證集)和 20% 的 2(測試集)。
- 若要顯示「訓練」、「驗證」和「測試」標籤而不是 0、1 和 2,請以滑鼠右鍵按一下該列,然後選擇「列屬性」>「值標籤」 。輸入值和所需的標籤,然後按一下“新增”,一次新增一個值。
- 點擊「應用」按鈕可在資料表中查看新列(以確認列是否如預期建立)。然後點選「建立」按鈕建立列。



造訪JMP 幫助中的「預測和專用模型」>「建立驗證列」以了解更多資訊。