關於名義Logistic回歸的問題:保存概率公式考慮到與每棵樹相關的一些環境屬性,我正在嘗試開發一種模型來預測一棵樹在25年內將生存還是死亡。我運行了名義Logistic回歸模型,該模型表明每個屬性的Prob> ChiSq <0.0001,這似乎暗示著環境屬性可以用作良好的預測指標。要查看預測的效果如何,我選擇了“保存概率公式”選項。這將幾列添加到表中,其中包括最後一列,該列提供了預測(最有可能),有效或無效。這些預測是可怕的。該模型預測,在25年後,總共將有140棵樹存活,而實際上,大約有1000棵。不僅如此,實際上140棵預測的活樹中有許多已經死亡。所以,我的問題是,為什麼預測結果甚至與實際的“生死數據”不符?
分析工具數據表回复:名義Logistic回歸問題回复:保存概率公式您可以使用具有統計意義的模型來進行預測工作。 統計顯著性告訴您,那些重要術語可以幫助您解釋響應,但不能保證很好的擬合。
例如,在連續響應的情況下,請查看以下圖片:

該模型具有統計意義,但顯然不能很好地預測。
名義上的邏輯回歸很難確定為什麼模型擬合得不好。 一些可以幫助您確定預測能力的事情,而不是“盯著桌子”。
*您可以要求ROC曲線。 曲線下面積(AUC)表示預測能力。 AUC為0.5是“基準”。 這就像使用硬幣來確定樹是否會存活。 任何高於0.5的值都會開始提供預測能力的證據。 高於0.7的AUC開始達到不錯的預測能力。 高於0.9太棒了。
*您還可以要求輸入混淆矩陣。 這是觀察結果與預測結果的表。 該表實質上就是您通過保存預測公式考慮的內容。 這可以幫助您確定模型在哪裡開始出現問題。 分類死樹是否有困難? 還是只活著的樹木有麻煩? 或兩者?
不要忘記評估模型所基於的數據。 活樹和枯樹之間的數據如何“平衡”? 例如,如果只有1%的樹木死亡,那麼一個很好的預測模型就是說所有樹木都還活著。 99%的準確性! 雖然不是很有幫助。 因此,響應非常接近於平衡可能會有所幫助。
該模型僅包含主要效果嗎? 互動會有所幫助嗎? 二次項呢? 數據是否足夠“豐富”以支持具有這些高階項的模型(如果模型中已經存在這些高階項,這是一個很大的問題!)。
我確信其他人可以添加更多幫助,但這就是您真正開始玩的地方! 祝你好運!
回复:名義Logistic回歸問題回复:保存概率公式我有點困惑...您從哪裡獲得了用於創建模型的數據? 大多數模型不能很好地預測的原因是,用於創建模型的數據不能代表未來的情況。 這就是為什麼計劃數據收集比數據分析更重要的原因。 儘管我會說這是一個困難的局面。 25年內許多事情可能會發生變化,這是無法預期的。
回复:名義Logistic回歸問題回复:保存概率公式Dan,我運行了Confusion Matrix,它顯示模型正在合理地預測死樹,正確地將其中的3/4預測為死樹。但是,它對活樹的預測非常糟糕,預測其中63%的樹木已經死亡。活樹和枯樹的分佈大約為45%,55%,因此非常平衡。該模型為什麼要對死樹而不是活樹做出不錯的預測?-馬克
回复:名義Logistic回歸問題回复:保存概率公式Dan的評論是相關的,但是您應該檢查的一件事是,預測(有效或無效)基於對樹進行分類的50%閾值。如果AUC(根據ROC曲線)較高(接近於1而不是接近0.5),則可能使用不同的閾值對樹進行分類將產生更好的預測。如果數據非常不平衡,則尤其如此(即,如果死樹很少,那麼從邏輯回歸估計的大多數概率很可能會很低,從而導致默認預測為“未死” )。您可以使用(只需搜索)一個不錯的加載項,該加載項會產生混淆矩陣,以提供替代的截止分類概率。
在另一方面,我對您的描述感到震驚。聽起來好像是經過審查的數據-25年後,活著的樹木可能並非全部健康。如果環境條件導致樹木死亡,那麼倖存的樹木可能也會受到影響,但尚未死亡。如果您可以衡量樹木的死亡時間,則可以嘗試進行生存分析,其中因變量是死亡時間,並且可以在分析中使用審查數據。
回复:名義Logistic回歸問題回复:保存概率公式戴爾可能是正確的。 但是,假設臨界值不起作用很大,則您的模型傾向於預測Dead。 這似乎表明您的模型中可能缺少某些指示活動樹的東西。 我不能告訴你那是什麼。 我也不完全相信我的說法是正確的。 在這裡,需要查看數據並具有該領域的知識。
回复:名義Logistic回歸問題回复:保存概率公式丹,謝謝您回到我身邊。 首先,非常感謝ROC和混淆矩陣(奇數名稱)的建議。 他們非常有幫助。 我最好的模型產生的ROC為0.798,這相當不錯。 當然,這是在預測25年後活樹和枯樹的總數,而不是單個樹的死樹或活樹的預測,如下所述,這大約佔63%。 在25年期間,2020年的樹木大約有1/3棵活著,而2/3棵死了。 雖然沒有達到50/50的平衡,但仍然不太偏斜。 我接受了Dale的建議,並嘗試調整用於將單個樹分類為生的或死的預測閾值(設置為0.5)。 通過將閾值調整為0.5 + 0.284,我可以將活樹和死樹的正確預測百分比平衡為63%,儘管正確預測的數量實際上從原始高度偏斜的0.5%預測閾值略微下降了(4%)。 您可能會認為25年內67%的樹木死亡率確實很高。 它將是在正常情況下。 高死亡率是因為我跟踪的大約10,000棵樹的區域在25年中被燒了8次。 - 標記