具有不對稱成本/不平衡數據集的預測建模你好,
如何指示 JMP Pro(分區、隨機森林等)上的預測建模平台為錯誤預測少數類分配更高的成本。 我有一個高度不平衡的數據集,假陰性(急性患者的再入院率)成本很高,當我使用分類器時,AUC 很低,所有陽性病例都被錯誤分類。
請提供可用於解決此問題的工具的幫助。
謝謝
回复:具有不對稱成本/不平衡數據集的預測建模正如已經指出的那樣,提高 AUC 和納入不對稱的成本/收益是兩件不同的事情。AUC 與模型正確分類的能力有關,而利潤矩陣將分類錯誤引導到它們造成最小損害的地方。如果 AUC 度量還不錯,但分類犯了代價高昂的錯誤(例如未能對 1 個值中的任何一個進行分類),那麼您應該為分類嘗試不同的截止概率 - 這就是利潤矩陣會自動執行的操作,但是您也可以手動更改截止概率以更改錯誤分類。如果你仍然不喜歡你能得到的東西,那麼你想要一個更好的模型——一個能產生更高 AUC 的模型。錯誤分類成本不會提高 AUC - 只有更好的模型才能提高 AUC。因此,如果您需要更好的模型,請嘗試其他技術,轉換變量、更改模型設置等,但不要使用利潤矩陣來嘗試改進模型本身。
回复:具有不對稱成本/不平衡數據集的預測建模我嘗試了所有模型,但由於這個不平衡的數據集,所有零個案例都被正確分類,所有一個案例都被錯誤分類。 成本計算偏差在邏輯上應該能夠優化 AUC,但不明白為什麼它不會影響它。 這就是讓我感到困惑的地方。
回复:具有不對稱成本/不平衡數據集的預測建模聽起來現在你真的只是想獲得一個改進的 AUC。 到目前為止,您只討論了基於樹的模型。 你試過神經網絡技術嗎?
回复:具有不對稱成本/不平衡數據集的預測建模那麼它如何幫助我提高模型的靈敏度呢?和 AUC?確保 AUC 在對結果進行分類時考慮成本的其他方法是什麼?謝謝
回复:具有不對稱成本/不平衡數據集的預測建模使用利潤矩陣不會改變 AUC。它只會更改選擇的概率截止值 - 它會根據您指定的不對稱利潤/成本來選擇它。本質上,它是根據利潤矩陣在 ROC 曲線上選擇一個點(我不確定,但我認為這是一個最佳點,錯誤的相對成本等於 ROC 曲線的斜率)。當您保存預測時,應該有額外的列顯示與最佳分類相關的盈利能力 - 並且該分類應該不同於默認分類(假設成本是不對稱的)。
回复:具有不對稱成本/不平衡數據集的預測建模謝謝。 我試過了,但我的模型的 AUC 在不同的方法下仍然是相同的。 它並沒有強制模型對少數類賦予更高的重要性。
回复:具有不對稱成本/不平衡數據集的預測建模利潤矩陣可以在構建任何預測模型之前定義為列屬性,並且應該滿足您的要求。但是,我會注意到我在填寫利潤矩陣時遇到了困難 - JMP 幫助指南中的示例很清楚,但通常與實際情況不符。如果您的決策問題是這樣的,您可以準確地指定誤報和誤報的成本是多少,那麼利潤矩陣應該起作用。例如,JMP 示例適用於進行航空公司預訂的代理,其中錯誤的預測會給代理帶來已知的額外成本。另一方面,如果您要預測諸如客戶保留之類的事情,那麼錯誤預測的成本就不那麼清楚了。如果您錯誤地預測客戶將會流失,那麼您可能會產生額外的成本來試圖留住客戶。對於一些客戶來說,這可以讓他們從流失變為保留,但肯定不會 100% 有效。在這種情況下,弄清楚將什麼放入利潤矩陣變得很複雜——我建議不要使用該功能。最好看看替代截止和混淆矩陣。
回复:具有不對稱成本/不平衡數據集的預測建模請問有什麼幫助嗎?
回复:具有不對稱成本/不平衡數據集的預測建模我不確定我是否理解它是如何工作的。 我的理解是,利潤矩陣是在我運行模型後出現的。 我希望能夠為少數類指定更高的成本,並確保模型在構建預測時考慮到這一點。
你能詳細說明實現這一目標的過程嗎?
謝謝
回复:具有不對稱成本/不平衡數據集的預測建模看看利潤矩陣(並鏈接此)。