數據挖掘正在尋找（有時是大量）數據中的模式和關係。許多方法（例如遞歸分區和神經網絡）對所挖掘的數據樣本極其敏感。您如何知道您是否正在創建一個對預測未來結果有用的模型？
我們想要一個可重複的模型。也就是說，如果在未來的數據中使用，您在預測結果方面也會取得類似的成功。數據挖掘者將他們的數據分成三個不同的子集，以確保模型的準確性。它們是培訓數據，驗證數據和測試數據。關於每個數據集中數據的比例沒有固定的規則，但一個好的經驗法則是40/40/20。
讓我們創建兩個新變量。第一個變量從隨機均勻分佈中分配值，隨機分配0到1之間的值，包括0和1。接下來，使用公式編輯器創建一個名為“Subset”的新變量，該編輯器將我們的數據分組為三個子集。如果該值小於0.40，則該數據將用於訓練。0.40和0.80之間的數據用於驗證。超過0.80的數據用於測試。請參閱下面的公式編輯器。請繼續關注下一版本中更簡單的方法 JMP 。
訓練數據用於構建模型。當您覺得您已經模擬了模式而不是噪聲時，請在驗證數據集上運行模型。結果，特別是如果數據集很大，應該是相似的。如果結果不同，則您創建的模型會過度擬合數據（即，模擬噪聲）。在這個過程中會有一些來回。一旦訓練和驗證結果相似，您就找到了一個可以重複的好模型。該模型用測試數據集進行測試。所有三個模型應該具有相似的適合度;否則，您還沒有發現數據中的基礎模式。
使用訓練數據訓練模型，方法是使用JMP中的數據過濾器隱藏和排除驗證和測試數據。使用驗證重新運行模型，然後通過使用數據過濾器在驗證和測試數據之間切換來測試數據集。
在比較不同方法的模型時，使用train-validate-test方法尤為重要。例如，如果您發現模型對於神經網絡而言不是可重複的而不是遞歸分區，那麼您將發現模型以及預測未來結果的最佳方法。
編者註：此條目最初由其他博主發布。
使用JMP快速製作更好的預測模型中寫道：
[...]回過頭來，這個博客上有一篇關於培訓，驗證和測試集概念的精彩文章來構建你的模型。要建立一個不僅具有描述性而且具有預測性的模型，[...]
邁克爾喬納中寫道：
在公式編輯器屏幕截圖中，實際上有兩個“Random Uniform（）”調用。這導致火車獲得40％，然後對剩餘（非火車）60％的數據進行40/60分割。因此，您可以使用該代碼進行40/24/36拆分。您可以通過創建所描述的公式列，然後針對該公式列運行分發平台來直接看到此信息。這個問題有一些解決方案。一種方法涉及創建兩列：一列隨機統一（）數字和第二列進行分類。
