了解如何使用 JMP 和 JMP Pro 來識別適合預測建模的重要預測變數、減少因估計不必要的項而導致的變異數以及建立預測模型。查看案例研究,了解如何使用 JMP 逐步迴歸來尋找重要變數和主動模型效應,以及該方法與自動合併變數選擇的 JMP Pro 廣義迴歸技術的比較。
請參閱如何:
- 了解逐步迴歸方法的基礎
- 選擇逐步迴歸選項以自動選擇因子
- 分析 > 擬合模型 > 個性:逐步
- 設定停止規則/標準
- 設定前進、後退或混合方向
- 前向選擇選擇具有最低 p 值的變量,將其添加到模型中,然後重新計算 p 值,並停止標準,直到滿足停止標準
- 向後消除選擇具有最高 p 值的變量,將其從模型中刪除,然後重新計算 p 值和停止標準,直到滿足停止標準
- 前向選擇與後向消除之間的混合交替,使用 p 值作為停止標準
- 運行模型
- 使用額外的逐步選項
- 替代停止規則 - KFold 驗證 R2
- 建構並比較所有可能的模型
- 根據每個模型中的 AICc 權重使用模型平均
- 在 JMP Pro 廣義迴歸中實作逐步方法,以輕鬆部署變數選擇、驗證、懲罰迴歸以協助處理相關因素、互動式模型視覺化、比較模型、使用高階項目輕鬆重新啟動模型
JMP Stepwise Regression FlowJMP 逐步回歸流程JMP 逐步回歸流程
Scott Allen @scott_allen和 Byron Wingerd @Byron_JMP在現場網路研討會上回答的問題:
Q:是否有關於何時優先選擇 AICc 而不是 BIC 的指南?
A:BIC為您提供最少的項最好的模型; AICc 為您提供解釋最多變化的模型,並根據項數進行懲罰。 AICc 中的小寫 c 代表 Corrected,表示針對小資料集進行了校正。 AIC 試圖選擇最能充分描述未知的高維度現實的模型。這意味著現實永遠不在考慮的候選模型集中。相反,BIC 試圖在候選集合中找到 TRUE 模型。
簡短的答案是,我只是運行它們並比較它們,或者您甚至可以將兩者一起計算,然後將它們平均。您可以在逐步平台中使用工具來執行這些操作,然後比較它們並自動比較圖表中的結果。在某些情況下。這取決於您的目標,您是否同意擁有更多條款,或者您是否真的希望將其減少到最低限度。在具有 500 個資料點的範例中,BIC 可能是首選。
Q:如何檢查過擬合?
答:如果我們只是在 JMP 中擬合線性模型,即使使用 Stepwise,識別過度擬合問題也會更加棘手。在 JMP Pro 中,我們可以設定測試、訓練和驗證子集(或者,如果您願意,至少可以設定測試和訓練)並比較 R 方。因此,如果您發現訓練集的 R 方非常好,而您的驗證集的 R 方非常糟糕,則意味著您很好地擬合了數據,並且您將無法很好地預測未來的觀察結果。
Q:在模型中,總共 568 行也有驗證行。我們是在模型中使用所有這些還是保留它們?
答:它們將作為驗證子集進行驗證和單獨評估。
Q:在舊的 SAS Enterprise Miner 中,「Ensemble」節點通常表現最佳。對於運行一堆模型、保存預測,然後簡單地對所有這些預測值求平均值,您有何看法?
答:在JMP中,我們使用神經網路平台來建立整合模型。它們通常傾向於優於單一模型。
Q:您是如何獲得相關性顏色圖的?
答:在紅色三角形下,尋找顏色圖選項。
Q:您如何偵測和處理多重共線性?
答:JMP 中單獨的逐步無法處理多重共線性,因此您必須提前將它們拉出來和/或使用聚類來找到代表性變數。如果您使用 JMP Pro 廣義回歸,懲罰回歸方法也將有助於解決這個問題,因此,如果您真的關心它,廣義回歸絕對是正確的選擇。您可以建立最小二乘模型,運行它並查看您的參數估計值。高 VIF 值可能表示存在多重共線性。請參閱下面的影片。