在我們的免費在線課程中了解更多信息:
工業問題解決的統計思維
在本視頻中,我們展示瞭如何在 JMP Pro 中比較和選擇預測模型。 我們使用數據集 Bodyfat 07 來擬合使用所有可用預測變量的連續 %Fat 的預測模型。
驗證 2 列將數據劃分為訓練集、驗證集和測試集。
我們使用廣義回歸建立了三個線性模型。 我們還構建了一個回歸樹和一個簡單的神經網絡。
為了確定哪個模型表現最好,我們查看測試集的擬合統計量。 但是,當您比較多個模型時,這可能會有點挑戰。
相反,我們會將所有模型的公式保存到數據表中,然後使用 JMP Pro 中的模型比較平台來比較模型。
要保存廣義回歸模型,我們選擇保存列,然後從模型的紅色三角形中選擇保存預測公式。 這會將預測公式列保存到模型的數據表中。
要將回歸樹模型保存到數據表中,我們還選擇保存列,然後從模型的頂部紅色三角形中選擇保存預測公式。
為了保存神經網絡模型,我們從模型的紅色小三角中選擇 Save Profile Formulas。 這不是將幾列保存到數據表中,而是將整個神經模型保存在一個預測公式列中。
為了比較這些模型的性能,我們使用模型比較平台。 為此,我們選擇分析、預測建模,然後選擇模型比較。
我們選擇五個預測列作為 Y,Predictors。 您也可以將 Y、預測變量字段留空,JMP 將為您找到所有包含預測公式的列。
我們想要報告訓練集、驗證集和測試集的單獨擬合統計量因此,我們選擇 Validation 2 作為 BY 變量並單擊 OK。
您會看到每個數據分區的單獨報告。
模型使用訓練數據進行擬合,模型複雜度由驗證數據確定。 所以我們使用測試集的統計數據來選擇性能最好的模型。
為了更容易識別最佳模型,我們將對測試集的 RASE(均方根誤差)進行排序。 為此,我們右鍵單擊表格並選擇按列排序。 然後我們選擇 RASE,單擊 Ascending 框,然後單擊 OK。
在我們為這些數據構建的模型中,性能最好的模型是剪枝前向選擇模型。 該模型具有最低的 RASE、最低的 AAE 和最高的 R 方。
將公式列保存到數據表的另一種方法是將它們發佈到公式庫。 例如,讓我們看一下廣義回歸模型。
我們將選擇發布預測公式,而不是從模型的保存列菜單中選擇保存預測公式。
這會將模型寫入公式庫。
從這裡我們可以使用頂部的紅色三角形啟動模型比較平台,您可以將模型應用於不同的數據表,您可以為模型生成不同編程語言的評分代碼等等。
模型比較平台可以輕鬆比較和選擇性能最佳的預測模型。 公式庫提供對模型比較的訪問,但它也使您能夠輕鬆地將最佳模型應用於新數據。