JMP Pro 是一個很好的工具,使用各種技術快速構建多個模型,即基於樹的方法(Boostrap Forest,分區平台中的Boosted Tree選項),神經網絡和懲罰回歸(使用廣義回歸適合模特中的個性)。
在構建預測模型時,您需要合理的方法來驗證模型,否則您很容易陷入過度擬合的困境。JMP Pro中的許多建模平台都支持驗證列。驗證列用於在訓練和驗證部分中分割您的數據。訓練數據用於構建模型,和驗證數據用於調整模型。有時是第三次分裂 - 測試 - 用於模擬已進入的新數據,以便您可以看到模型如何使用模型以前未見過的數據執行。
假設您希望使用70%的數據來構建模型,並節省30%來驗證或微調模型。您可能認為對所有行進行隨機抽樣可能是最好的方法 - 但如果您處理大量異常值或罕見事件,這很容易導致問題。一個簡單的隨機樣本可以輕鬆地將所有重要數據點(如罕見事件)放在訓練集或驗證集中。這會創建次優的建模條件,並可能導致您構建不太有用的模型。
JMP Pro中的神經平台可以幫助您在幾個步驟中自動創建無偏和平衡的驗證列。我正在使用Boston Housing數據集,該數據集位於JMP中的示例數據(幫助>示例數據)中。對於這些數據,我想預測一個房子 mvalue 基於許多可能的預測因子。下面的分佈表明響應的數量很高 mvalues 我們要確保將其分為我們的培訓和驗證集。

在神經模型啟動中,我可以為驗證方法指定保留比例。因為我想要70/30分裂,我會把.3放到場上。神經平台將自動將響應從最低值到最高值進行排序,然後根據我所需的比例將記錄隨機分配到訓練集或驗證集。

我對這裡的實際神經模型並不特別感興趣,所以我可以接受默認值並點擊:Go。然後從fit上的紅色三角形菜單中,我將選擇“保存驗證”選項。

這將在我的數據表中自動創建一個新的Validation列,每行標記為“Training”或“Validation”。

如果我們再次將分佈符合響應,並將驗證作為通過 ,您可以看到訓練和驗證集的屬性非常接近。神經平台在以智能方式自動劃分數據方面做得非常出色。

現在,我已準備好開始構建模型的過程 - 我知道我有一個可靠的數據分割方案,可以讓我使用我的數據構建最豐富,最有用的模型。謝謝 Chris Gotwalt ,神經平台的開發人員,向我展示了這種強大的功能。到目前為止,它肯定是在JMP Pro中構建驗證列的最快,最可靠的方法。
丹尼爾瓦倫特中寫道:
謝謝斯科特,很高興你喜歡它!您是對的,您只能使用此方法生成培訓和驗證集。只有在使用驗證列時(在平台啟動中),測試集才可用。
斯科特懷斯中寫道:
偉大的博客丹!我們是否也可以使用此方法進行測試,訓練和驗證分割...或僅測試和訓練分裂?我想我知道答案(不),但想檢查一下!