在上一篇文章中，我使用了廣義回歸 (Genreg) 平台JMP 專業版至分析我和女兒玩棋盤遊戲時收集的數據. 由於我的模型（播放器）中只有一個效果，因此我無法展示 Genreg 中可用的變量選擇方法。
當您的響應是非數字的（如紅色/藍色/綠色或小/中/大）時，訪問變量選擇方法（如套索或前向選擇）尤其重要，因為序數和名義邏輯回歸模型很容易過擬合。 在這裡，我們將看一個示例，在該示例中，我們考慮了更多影響來模擬響應。
數據
我們將使用 Diabetes.jmp 文件，該文件可在JMP樣本數據文件夾。 該數據集測量了一年中糖尿病的進展情況，包括 442 名患者樣本中每個人的年齡、性別和膽固醇水平等屬性。 我們想使用這些屬性來模擬“Y Ordinal”，它標記了每個患者糖尿病的嚴重程度：低、中或高。 正如響應列的名稱所暗示的那樣，我們將使用序數邏輯回歸模型對其進行建模，該模型是 Genreg 版本 14 中的新模型。 有理由懷疑我們的解釋變量之間存在交互作用，因此我們將在模型中包含主效應和兩因素交互作用。 使用“Factor to Degree”宏可以輕鬆地在“擬合模型”對話框中指定此模型。
Launching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes data啟動糖尿病數據的序數邏輯模型
在指定我們的模型並點擊運行按鈕後，我們進入廣義回歸平台。 Genreg 自動為我們在訓練數據上進行最大似然擬合（完整模型，無變量選擇）。 但我擔心過度擬合，所以我不想要 MLE。 我想改用 Lasso，因為它將為我們提供一個更簡潔的模型，該模型應該更好地適應新數據。
Doing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in Genreg在 Genreg 中進行套索擬合
Lasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes data糖尿病數據的套索輸出
正如我們在輸出中看到的那樣，套索產生的模型只使用了原始 57 個候選參數中的 15 個參數。 所以我們有一個比 MLE 更容易解釋/解釋的模型。 套索模型在新觀測值上的表現比完整的 57 項模型好多少？ 使用模型比較平台最容易看到這一點。 我們可以看到，完整的模型非常適合訓練數據，但非常適合驗證數據（驗證 R^2 為負，總是一個壞信號）。 這是一個經典案例過擬合. 同時，lasso 模型在驗證數據上具有更好的 R^2 和誤分類率。 所以套索模型顯然是這裡的最愛。
Lasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platform使用模型比較平台的 Lasso 與 MLE
多項式案例
如在我以前的帖子，我們的反應有一個自然的順序。 但是讓我們暫時忽略這一點，以便我們可以對多項問題進行變量選擇。 在這種情況下，變量選擇尤其重要，因為多項式模型很容易過度參數化或過度擬合。
為什麼這個模型這麼容易過擬合？ 如果我們有 p 個預測變量並且我們的響應採用 k 個級別，那麼我們正在擬合的模型具有 p*(k-1) 個參數。 對於我們的糖尿病數據，我們有 56 個預測因子和三個響應水平，因此我們需要考慮 56*(3-1) = 112 個參數。 這會很快失控！ 有關此型號的更多信息，請查看JMP 幫助.
我們以與之前完全相同的方式啟動 Genreg。 我們只是將分佈切換到多項式。
Launching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in Genreg在 Genreg 中啟動多項式
我們將再次使用套索進行估計和變量選擇。 這一次，套索生成的模型只有 25 個變量，這意味著它從我們的模型中刪除了近 90 個參數。 雖然看起來 lasso 模型在驗證數據上的廣義 R^2 似乎並不大（大約 0.35），但完整模型在驗證集上的廣義 R^2 比 -2 差！
Lasso summaryLasso summaryLasso summaryLasso summary套索摘要
Lasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso 在多項式情況下比 MLE 更差
自己試試吧！
我很高興支持 Genreg 中的序數和多項式響應JMP 專業版14. 這種類型的數據在實踐中非常常見，但正如我們在糖尿病數據中看到的那樣，我們必須小心構建模型。 Genreg 中的交互式變量選擇工具可以幫助您構建更適合且更易於解釋的模型。 讓我知道你的想法。
