混合逐步迴歸:P 值停止規則你好,
我正在嘗試執行混合逐步回歸:
選擇分析>適合模型。
選擇響應列並點擊是,回應。
選擇預測變數列並點選添加或使用其中之一宏如果你想包括更高階的效果。
點擊旁邊的按鈕性格並選擇逐步。
點選跑步。
點選最低 BIC並選擇P 值閾值。
點擊“前進”並選擇混合。
點選去。
我該如何決定進入和離開的P值? 如果我不想過度擬合我的模型?
回覆:混合逐步迴歸:P 值首先,要明白逐步迴歸是一種生產力工具,可以快速拒絕較差的模型,但它不能保證最後一個模型是最好的模型。 可能是,也可能很接近。 你必須幹預。 其次,結果來自向前或向後的引導搜尋。 搜尋路徑不會檢查許多可能的模型,因此您可能會錯過最佳模型(即本機模型與全域模型)。 第三,您還必須檢查資料和估計誤差(殘差),以確定是否存在可能誤導此類搜尋的異常資料或違反線性迴歸的情況。
逐步搜尋標準的選擇很重要。 每一種都有優點和缺點。 我不使用很多“經驗法則”,因此我不認為高 R 平方表示過度擬合。 它發生了。 過度擬合意味著模型無法推廣到新數據,這在您的情況下很重要。 調整後的 R 方試圖解決過度擬合問題。 交叉驗證是最好的方法,但您沒有足夠的數據來實現此方法的各種 CV 技術。 如果您有 JMP Pro,您可以嘗試 Bootstrap 功能。
第二個區塊是否只是第一個區塊的重複,或者它是否包含第一個區塊中不存在的獨特處理? 另外,運行第二個區塊的成本是多少(時間、金錢等)。
回覆:混合逐步迴歸:P 值嗨馬克貝利,
非常感謝您熱心幫助回答我們大部分的問題。
您能回答我有關逐步回歸的問題之一嗎?
我有一個帶有 7 個連續因子和完整響應曲面模型的客製化設計。 總設計有 2 個模組 48 個實驗。 第一個區塊完成後,我嘗試使用逐步迴歸控制來擬合我的資料。 透過使用 P 值閾值和最小 BIC,我得到了類似的模型。 兩個模型都給出了 P 值<0.05,並且 R^2=0.999998,Rsquare Adj = 0.99996。 R^2=1 表示該模型過度擬合。 P 值小於 0.05 表示模型顯著。 我該如何解釋這個模型? 不運行第二塊就夠了嗎?
回覆:混合逐步迴歸:P 值停止規則基於p -values 是 Stepwise 平台的第一個實作。 在缺乏任何有關數據或最佳模型的先驗知識的情況下,輸入和離開的預設值是很好的。 (但是,如果您知道答案,則不需要逐步迴歸來搜尋最佳擬合。)
Stepwise 不保證您的資料不會欠擬合或過度擬合。 它是一種「生產力」工具,可以節省您檢查較差配合的時間,並讓您接近(如果不是)最佳配合。
現代標準包括AICc和BIC。 這兩個標準都試圖最小化偏差(欠擬合),同時也最小化變異數(過度擬合)。 它們不需要像p -值停止規則。 我建議您使用這些停止規則之一。
歷史記錄可讓您檢查搜尋路徑中遇到的不同模型的一些關鍵資訊。 您可以使用此清單右側的單選按鈕選擇其中任何一個。 然後,您可以返回頂部並點擊“製作模型”(對於“擬合模型”對話框)或“運行模型”(對於“擬合最小二乘法”平台),您可以在“效果摘要”表中進行微調。