在我們的免費在線課程中了解更多信息:
解決工業問題的統計思維
在本視頻中,我們展示瞭如何在 JMP Pro 中使用廣義回歸來擬合懲罰回歸模型。 我們使用文件 Bodyfat 07.jmp 並使用 Lasso 進行驗證來擬合 %Fat 模型。
首先,我們擬合脂肪百分比的線性回歸模型。
為此,我們從“分析”菜單中選擇“擬合模型”。 我們為 Y 角色選擇 %Fat,選擇所有預測變量作為模型效應,並使用驗證角色中的驗證列。
然後我們從“個性”菜單中選擇“廣義回歸”。
默認響應分佈為正態。我們將使用正態分佈運行該模型。
您可以看到我們已經擬合了標準的最小二乘回歸模型。 當我們查看參數估計表時,您可以看到其中三個預測變量很重要。
然而,讓我們看看 VIF(即方差膨脹因子),看看是否存在多重共線性問題。
為此,我們右鍵單擊參數估計表並選擇列,然後選擇 VIF。 您可以看到其中許多值都大於 10,其中兩個值大於 100。 這告訴我們多重共線性確實是這些數據的問題。
當您有相關預測變量時,您可以使用懲罰估計方法而不是最小二乘回歸。
默認方法是 Lasso,它是最小絕對收縮和選擇運算符的縮寫。 套索應用懲罰來縮小參數估計。 因為 Lasso 可以將估計值縮小到零,所以它也可以用於變量選擇。
套索有很多可用選項,但我們將使用默認值運行模型。
我們在指定模型時使用了驗證列,因此驗證列是默認的驗證方法。
我們將單擊“Go”來運行該模型。
顯示了套索選擇的最佳模型。 這是具有最佳懲罰參數 Lambda 值的模型。
讓我們從模型中的所有項開始。 這與我們的最小二乘模型相同。 為此,我們將參數估計解路徑中的紅線一直拖動到右側。
解路徑顯示了中心化和縮放後的參數估計值的大小。 為了顯示這些估計值,我們從模型的紅色三角形中選擇回歸報告,然後選擇中心和縮放預測變量的參數估計值。
最上面一行是腹部的參數估計值,為 117.87。
從上往下數第二行是 BMI。 這個估計是88.9。
當我們從右向左拖動紅線時,我們會增加懲罰參數 Lambda 的值。 您可以看到,當我們這樣做時,許多參數估計值變得更小。 也就是說,它們收縮了。
例如,BMI 的估計值從 88.9 縮減至 51.25。 重量的參數估計值已縮小至零。 該術語已從模型中刪除。
在這裡,處以巨額罰款。 除了身高和腹部之外,模型的所有內容都已被刪除。
如何確定何時停止從模型中刪除項? 也就是說,我們如何確定懲罰參數的最優值?
該模型是使用驗證列構建的,因此 JMP 使用稱為縮放負對數似然的統計量。
該模型是使用訓練集中的數據構建的。 最佳模型是驗證集的縮放負對數似然值最小的模型。
該模型包括幾個參數。 體重、BMI、大腿和膝蓋的估計值已從模型中刪除。
讓我們看看這個簡化的模型。 為此,我們從模型的紅色小三角中選擇“顯示預測表達式”。
參數估計值只是線性模型中的係數,就像擬合多元線性回歸模型時得到的一樣。
這使得懲罰模型易於解釋和解釋。