廣義回歸平台於2007年推出 JMP Pro 11用於裝配懲罰回歸模型 。我們對JMP Pro 12的關註一直是使用廣義回歸平台(我們簡稱為Genreg)將模型構建成為一個簡單而自然的過程。這篇文章將重點介紹我在Genreg中最為興奮的新功能: 交互式解決方案路徑 。
如中所述以前的帖子 ,懲罰回歸擬合不會導致單一回歸模型。相反,我們最終得到一系列候選模型,我們根據驗證方法(如交叉驗證)從中選擇最佳擬合模型。總結候選模型序列的最佳方法是繪製解決方案路徑,如圖1所示,這是JMP中樣本數據文件夾中糖尿病數據的套索擬合。

圖1:糖尿病數據的Lasso解決方案路徑
在圖1的左側,我們看到每個變量如何進入模型並作為套索懲罰函數的變化的摘要。我已經標記了兩條路徑並使它們變得更加強調。這裡BMI(體重指數)是進入預測糖尿病進展模型的第一個變量。隨著套索懲罰的放鬆(圖中從左向右移動),BMI係數穩步上升,直至其在500左右達到平衡。HDL(好膽固醇)是進入我們模型的第四個變量。它以負係數進入模型,但實際上在路徑末端具有正係數。這個符號變化提醒我們為什麼變量選擇如此重要:選擇一個模型而不是另一個模型可能意味著HDL膽固醇加速,減慢或對糖尿病進展沒有影響的結論之間的差異。最好的模型(基於貝葉斯信息準則 )由垂直紅線標記。
在圖1的右側,我們看到候選模型與懲罰的函數相符的數據。在這裡,我們使用BIC進行驗證(越小越好),但交叉驗證的結果可以用相同的方式進行總結。當我們放鬆懲罰(從左向右移動)時,模型會提升到一定程度,然後開始變得更糟/過度適應。再次,我們使用垂直紅線標記最佳解決方案。
那麼JMP Pro 12中的解決方案路徑有什麼特別之處呢?這是互動的!這意味著我們可以單擊圖1中的垂直線並拖動它以探索解決方案路徑中的所有候選模型。當我們使用解決方案路徑中的句柄來更改模型時,報告中的所有內容都會更新以反映新模型:參數估計,殘差圖,剖析器等。這使我們能夠快速探索不一定最合適但仍然有趣或有用的候選模型。例如,可能有一個更簡單的模型,其性能幾乎與最佳模型一樣好。現在我們可以快速找到更簡單的模型並使用它。或者,有情況我們希望將手柄向右拖動,並使用更大的模型,其效果與最佳效果相似。通過使用更大的模型,我們可以更自信地確定了真正影響響應變量的因素。
現在讓我們看一個使用交互式解決方案路徑為南非構建邏輯回歸模型的示例心髒病數據 。圖2顯示了使用5倍交叉驗證調整的套索擬合的解決方案路徑和參數估計表的一部分。我們可以看到,驗證可能性在最佳模型周圍變得平緩,這意味著我們有機會備份到一個仍然非常適合的更簡約的模型。事實上, JMP 甚至提供了綠色陰影區域,其中模型的性能類似於最佳模型。

圖2:心髒病數據的最佳模型
在圖3中,我們放大了解決方案路徑的右側,以便綠色區域中的模型範圍更加明顯。我們還支持綠區內最小的模型。請注意,參數估計值已更改,其中兩個交互已從模型中刪除。我們的新模型的非零項目數量不到最佳模型的一半,因此它很容易理解,同時仍然非常適合。

圖3:心髒病數據的更簡單模型
有助於查看交互式解決方案路徑。圖4是為特別有趣的數據集構建回歸模型的動畫(您可能必須單擊圖形才能看到動畫)。有關創建獨特數據集的更多信息,如圖4所示,請查看北卡羅來納州立大學教授Leonard Stefanski的網站。

圖4:交互式解決方案路徑
我們為Genreg平台添加了各種令人興奮的新功能,但我對交互式解決方案路徑感到非常興奮。交互性使我們能夠在JMP Pro中快速輕鬆地構建回歸模型。Genreg的其他一些亮點包括:
顯著改善了計算時間前向選擇更多用於建模響應的分佈(指數,Beta,Beta二項式,Cauchy等)分位數回歸反向預測更多診斷圖